基于Hadoop的K-means遙感影像分類(lèi)算法的研究.pdf

1、K-Means算法是一種數(shù)據(jù)挖掘分析方法，由于其簡(jiǎn)單高效的優(yōu)點(diǎn)，并且在缺乏先驗(yàn)知識(shí)的情況下，可將具有相似光譜特征的對(duì)象聚集在一起，因此在遙感圖像分類(lèi)中得到廣泛應(yīng)用。但對(duì)于海量遙感影像的分類(lèi)，傳統(tǒng)并行計(jì)算框架MPI對(duì)硬件基礎(chǔ)設(shè)施性能要求較高，且編程復(fù)雜，具有較大的應(yīng)用局限性。因此具有高效性、高擴(kuò)展性以及高容錯(cuò)性等優(yōu)勢(shì)的Hadoop分布式系統(tǒng)平臺(tái)，在解決海量數(shù)據(jù)的存儲(chǔ)與計(jì)算問(wèn)題方面得到了廣泛的應(yīng)用。但由于遙感影像數(shù)據(jù)格式的特殊性，目前基于H

2、adoop云平臺(tái)實(shí)現(xiàn)K-means算法對(duì)遙感影像數(shù)據(jù)的分類(lèi)處理都需要對(duì)其進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，將其轉(zhuǎn)換為CLILAB格式像素點(diǎn)的文本文件，造成Map和Reduce數(shù)目分配過(guò)多，出現(xiàn)網(wǎng)絡(luò)傳輸耗時(shí)過(guò)多和內(nèi)存分配不足的問(wèn)題。因此如何對(duì)海量遙感數(shù)據(jù)進(jìn)行有效組織、快速讀取以及高效分類(lèi)處理成為當(dāng)前遙感領(lǐng)域研究的熱點(diǎn)。
　　本文利用Hadoop云平臺(tái)強(qiáng)大的存儲(chǔ)和計(jì)算能力，結(jié)合GDAL（柵格空間開(kāi)源數(shù)據(jù)庫(kù)）快速讀取柵格圖像能力，實(shí)現(xiàn)在Hadoop云平

3、臺(tái)上利用K-means算法直接對(duì)遙感影像數(shù)據(jù)進(jìn)行分類(lèi)處理，在保證分類(lèi)精度的前提下，提高在Hadoop平臺(tái)上利用K-means算法對(duì)海量遙感影像數(shù)據(jù)的分類(lèi)效率。本文主要研究?jī)?nèi)容包括以下幾個(gè)方面：
　?。?）設(shè)計(jì)遙感影像的輸入輸出格式：由于Hadoop內(nèi)置的數(shù)據(jù)輸入輸出格式不能實(shí)現(xiàn)對(duì)遙感影像數(shù)據(jù)的傳輸，本文繼承Hadoop提供的數(shù)據(jù)輸入輸出格式的基類(lèi)，在不破壞遙感影像數(shù)據(jù)結(jié)構(gòu)的情況下，實(shí)現(xiàn)在Hadoop上對(duì)遙感影像數(shù)據(jù)的輸入和輸出，保

4、證遙感影像數(shù)據(jù)信息的完整性。
　?。?）提出基于Hadoop平臺(tái)的遙感影像數(shù)據(jù)組織方式并采用相應(yīng)的數(shù)據(jù)存取方法：結(jié)合HDFS和HBase各自的優(yōu)點(diǎn)，將影像文件存儲(chǔ)在HDFS，元數(shù)據(jù)信息存儲(chǔ)在HBase，并采用相對(duì)應(yīng)的基于特定分割粒度的遙感影像數(shù)據(jù)的存取方法，有效提高了云平臺(tái)上對(duì)海量影像數(shù)據(jù)的存取效率。
　　（3）提出基于Hadoop的K-means遙感影像分類(lèi)算法：結(jié)合MapReduce分布式計(jì)算框架的編程模型以及GDAL對(duì)

5、影像數(shù)據(jù)的快速讀寫(xiě)能力，并對(duì)影響K-means算法分類(lèi)的三個(gè)基本因素進(jìn)行詳細(xì)的分析，實(shí)現(xiàn)了K-means算法在Hadoop平臺(tái)上直接對(duì)遙感影像數(shù)據(jù)的分類(lèi)處理。利用搭建的Hadoop平臺(tái)對(duì)不同數(shù)據(jù)量大小的影像數(shù)據(jù)進(jìn)行了分類(lèi)實(shí)驗(yàn)，從分類(lèi)精度和平臺(tái)性能兩方面進(jìn)行了分析。實(shí)驗(yàn)結(jié)果表明：本文方法分類(lèi)結(jié)果的精度比ENVI軟件K-means算法的處理結(jié)果有所提高，并與在Hadoop平臺(tái)上利用K-means算法對(duì)轉(zhuǎn)換后影像數(shù)據(jù)的分類(lèi)處理結(jié)果相比提高了平