遙感大數(shù)據(jù)處理系統(tǒng)測(cè)試策略與系統(tǒng)優(yōu)化.pdf

1、隨著全球觀測(cè)時(shí)代的到來,衛(wèi)星遙感信息正對(duì)人類社會(huì)發(fā)展的各個(gè)領(lǐng)域起著重大的促進(jìn)作用,傳感器分辨率的不斷提高,每天產(chǎn)生的遙感影像也急劇增長,遙感影像作為一種特殊的大數(shù)據(jù),以其快速獲取高分辨率影像的特點(diǎn)占有著越來越重要的地位,海量遙感數(shù)據(jù)的快速處理成為了越來越勢(shì)不可擋的需求,而目前的遙感處理軟件已無法滿足其需求。我國針對(duì)大規(guī)模的遙感數(shù)據(jù)以及多行業(yè)多區(qū)域的應(yīng)用需求在國務(wù)院《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006-2020年)》中提出了16個(gè)

2、重大專項(xiàng),高分辨率對(duì)地觀測(cè)系統(tǒng)是其中一大專項(xiàng)。而GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)項(xiàng)目是高分辨率對(duì)地觀測(cè)系統(tǒng)專項(xiàng)的重要組成部分。本文是根據(jù)作者在參與GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)項(xiàng)目時(shí),負(fù)責(zé)在原有遙感大數(shù)據(jù)處理系統(tǒng)的基礎(chǔ)上對(duì)GF信息產(chǎn)品“生產(chǎn)線”系統(tǒng)架構(gòu)進(jìn)行測(cè)試和優(yōu)化設(shè)計(jì)部分所做工作的提煉,也是遙感應(yīng)用推廣和遙感大數(shù)據(jù)處理的關(guān)鍵問題。
　　首先,根據(jù)遙感處理系統(tǒng)的特性設(shè)定了測(cè)試策略并有效地進(jìn)行了系統(tǒng)測(cè)試與分析。第二章中分析了現(xiàn)有遙感大數(shù)據(jù)處理

3、系統(tǒng)的體系結(jié)構(gòu)、技術(shù)流程、運(yùn)行環(huán)境、系統(tǒng)組成和各模塊的功能,在此基礎(chǔ)上第三章針對(duì)集群式遙感處理系統(tǒng)的功能和性能的特點(diǎn)對(duì)原系統(tǒng)的測(cè)試策略進(jìn)行了合理的設(shè)計(jì)和規(guī)劃,如嚴(yán)格選定了測(cè)試環(huán)境、測(cè)試方法以及測(cè)試用例,接著對(duì)每個(gè)子系統(tǒng)的功能進(jìn)行了測(cè)試與分析,也對(duì)系統(tǒng)性能如任務(wù)調(diào)度機(jī)制以及GPU加速比等進(jìn)行了測(cè)試。該測(cè)試策略的測(cè)試用例條條清晰、性能指標(biāo)詳細(xì)具體和功能目標(biāo)明確,提高了測(cè)試效率,發(fā)現(xiàn)并總結(jié)了現(xiàn)有的系統(tǒng)架構(gòu)中不完善的地方和需要改進(jìn)的技術(shù)等等,為

4、后續(xù)的架構(gòu)優(yōu)化提供了可參考性,保障了系統(tǒng)的運(yùn)行效果。
　　其次,設(shè)計(jì)了一種新的架構(gòu)—海量遙感影像的快速軟硬一體化處理系統(tǒng)。通過對(duì)原有系統(tǒng)的測(cè)試,發(fā)現(xiàn)遙感大數(shù)據(jù)處理系統(tǒng)雖然具備良好的產(chǎn)品生產(chǎn)能力,但針對(duì)遙感影像的架構(gòu)體系仍然相對(duì)不夠成熟,仍存在響應(yīng)時(shí)間和計(jì)算速度等方面的問題,所以本文在對(duì)現(xiàn)有系統(tǒng)測(cè)試分析的基礎(chǔ)上提出了改進(jìn)軟硬件的優(yōu)化方案,在方案中設(shè)計(jì)了Infiniband、光纖交換機(jī)、小巨人等整個(gè)系統(tǒng)的部署方案與軟硬件配置,并且對(duì)系

5、統(tǒng)流程和硬件結(jié)構(gòu)都重新進(jìn)行了優(yōu)化設(shè)計(jì),同時(shí)融入了有效的控制數(shù)據(jù)流、GPU處理流程優(yōu)化和快速存儲(chǔ)的新技術(shù),本文優(yōu)化設(shè)計(jì)后的架構(gòu)方案能夠滿足大容量、高I/O帶寬以及高擴(kuò)展性的遙感處理系統(tǒng)的需求。
　　最后,從功能和性能的角度對(duì)新架構(gòu)進(jìn)行了模擬測(cè)試和評(píng)價(jià)分析。對(duì)比分析優(yōu)化后的各種指標(biāo)和原系統(tǒng)的指標(biāo),包括訂單處理時(shí)間的對(duì)比、多任務(wù)并發(fā)響應(yīng)時(shí)間的對(duì)比、并行計(jì)算節(jié)點(diǎn)執(zhí)行子任務(wù)的時(shí)間對(duì)比等,同時(shí)也評(píng)價(jià)了新架構(gòu)的易用性、穩(wěn)定性、可靠性和自適應(yīng)能力