κ-means聚類算法的改進(jìn)研究及其應(yīng)用.pdf

1、數(shù)據(jù)挖掘是為使人們能夠充分理解和應(yīng)用隱藏在數(shù)據(jù)中的有效信息和知識而發(fā)展起來的一門新興技術(shù)。聚類分析作為數(shù)據(jù)挖掘中的一種重要無監(jiān)督模式，大致可分為以下幾類方法:基于劃分的聚類方法、基于層次的聚類方法、基于網(wǎng)格的聚類方法、基于密度的聚類方法等。k-means算法是一種基于劃分的聚類算法，由于易行、高效等優(yōu)點(diǎn)，在遙感領(lǐng)域得到廣泛應(yīng)用，但是隨著遙感技術(shù)的發(fā)展，遙感圖像中包含的數(shù)據(jù)量越來越大，并且k-means聚類算法易受初始中心點(diǎn)的制約。

2、>　　本文在對k-means聚類算法分析的基礎(chǔ)上，針對k-means聚類算法所存在的問題，對其進(jìn)行了相應(yīng)的改進(jìn)，主要集中在以下兩個(gè)方面：⑴針對k-means聚類算法在處理大規(guī)模數(shù)據(jù)時(shí)，會消耗較大的內(nèi)存資源和計(jì)算成本，以至無法進(jìn)行有效聚類的問題，提出一種采用MapReduce編程模型實(shí)現(xiàn)并行k-means聚類的方法。該方法首先將大規(guī)模數(shù)據(jù)分割成塊，然后分配到集群中的各個(gè)子節(jié)點(diǎn)上，對樣本數(shù)據(jù)進(jìn)行聚類后，同步更新聚類中心再進(jìn)行下一次聚類，直到

3、聚類中心不再變化。通過UCI數(shù)據(jù)集中的4組數(shù)據(jù)仿真實(shí)驗(yàn)，驗(yàn)證并行k-means算法的有效性，并采用數(shù)據(jù)規(guī)模較大的遙感數(shù)據(jù)驗(yàn)證該方法對于遙感圖像處理的有效性，同時(shí)測試并行集群的加速比和可擴(kuò)展性。⑵針對k-means算法受初始聚類中心和異常數(shù)據(jù)的制約，易出現(xiàn)不穩(wěn)定聚類結(jié)果的問題，提出一種基于差分進(jìn)化的加權(quán)k-means算法。該算法首先基于差分進(jìn)化算法，提出一種新的獲得更好初始聚類中心的方法;然后根據(jù)樣本對聚類分析影響的不同程度而引入權(quán)值，設(shè)