云計算平臺下遙感圖像分類算法的并行化技術(shù)研究.pdf

1、高光譜遙感圖像中包含著豐富的空間信息和光譜信息，使其在地物識別和分類方面較其他遙感圖像更具優(yōu)勢，因此它在軍事偵查、資源勘探和環(huán)境監(jiān)測等領(lǐng)域廣泛應(yīng)用。高光譜遙感圖像分類是高光譜圖像處理的重要內(nèi)容之一，由于高光譜遙感圖像具有高維、波段多、數(shù)據(jù)量大的特點(diǎn)，現(xiàn)有串行分類算法計算復(fù)雜度較高，算法的實時性并不好，同時隨著遙感器分辨率的不斷提升，高光譜遙感圖像數(shù)據(jù)量呈幾何式增長，現(xiàn)有的單機(jī)計算平臺難以處理產(chǎn)生的海量高光譜遙感圖像數(shù)據(jù)。云計算技術(shù)具備分

2、布式存儲和分布式計算的特點(diǎn)，能夠有效解決高光譜遙感圖像分類的單機(jī)瓶頸問題。云計算平臺下任務(wù)調(diào)度算法對任務(wù)的執(zhí)行性能有著非常重要的影響，合適的調(diào)度策略可以提高任務(wù)的執(zhí)行速度。因此本文對云計算平臺下基于空間相關(guān)性正則化稀疏表示的高光譜遙感圖像分類方法SCSRC的并行化和任務(wù)調(diào)度展開了深入研究，主要工作有:
　　(1)常規(guī)遙感圖像的傳統(tǒng)分類算法并不能滿足大數(shù)據(jù)量的高光譜遙感圖像的分類需求，因此有學(xué)者提出了基于空間相關(guān)性正則化的稀疏表示分

3、類方法SCSRC，這種分類方法不僅利用了高光譜遙感圖像的光譜信息，而且添加了圖像空間相鄰數(shù)據(jù)之間的信息，取得了較好的分類效果。本文首先研究并在單機(jī)上實現(xiàn)了SCSRC方法，并通過實驗分析了該方法的時間性能，為后續(xù)云計算平臺下的并行化研究提供對比依據(jù)。
　　(2)由于SCSRC算法的計算復(fù)雜度較高，并且還受到單機(jī)尺度的限制，因此在分析SCSRC算法性能瓶頸的基礎(chǔ)上，分別在Hadoop和Spark平臺下設(shè)計了SCSRC的并行化方法MR_

4、SCSRC和SK_SCSRC。在MR_SCSRC算法中首先設(shè)計了基于外積法實現(xiàn)矩陣相乘的MapReduce方法，然后從降低Map階段IO次數(shù)、合并計算邏輯和實現(xiàn)本地化規(guī)約三個方面對算法進(jìn)行了優(yōu)化。鑒于在Hadoop的基礎(chǔ)上發(fā)展而來的Spark更適用于迭代計算，參考MR_SCSRC的實現(xiàn)思路，進(jìn)一步設(shè)計了基于Spark_RDD編程模型的SK_SCSRC方法。最后通過實驗給出了SK_SCSRC算法的加速比和擴(kuò)展比，并將MR_SCSRC和SK