高伸縮性聚類(lèi)分析方法研究.pdf

1、聚類(lèi)問(wèn)題一直是模式識(shí)別領(lǐng)域的熱點(diǎn)課題,其應(yīng)用領(lǐng)域廣泛,包括統(tǒng)計(jì)學(xué)、圖像處理、醫(yī)療診斷、信息檢索、生物學(xué)以及機(jī)器學(xué)習(xí)等。近年來(lái),很多聚類(lèi)方法紛紛涌現(xiàn)。這些方法大多受到自身算法的伸縮性限制,在特定數(shù)據(jù)規(guī)模的數(shù)據(jù)集上表現(xiàn)出優(yōu)良的性能,但在超出其規(guī)定規(guī)模的數(shù)據(jù)集上往往收效甚微,甚至無(wú)法運(yùn)行。隨著信息采集與存儲(chǔ)技術(shù)的飛速發(fā)展,數(shù)據(jù)的多樣性越發(fā)突出,因此,對(duì)于高伸縮性的聚類(lèi)方法的探索越發(fā)成為關(guān)注的焦點(diǎn)。
　　本文主要針對(duì)聚類(lèi)算法的伸縮性以及一

2、些聚類(lèi)算法存在的高昂計(jì)算復(fù)雜度和巨大內(nèi)存需求而難以應(yīng)用于大規(guī)模數(shù)據(jù)集的處理中的問(wèn)題展開(kāi)研究和討論。在此過(guò)程中,本文的主要?jiǎng)?chuàng)新體現(xiàn)在以下幾方面:
　　(1)許多經(jīng)典的聚類(lèi)算法在小數(shù)據(jù)規(guī)模的數(shù)據(jù)聚類(lèi)任務(wù)中取得了非常優(yōu)秀的效果,但由于其伸縮能力不強(qiáng),使得大多數(shù)算法在大規(guī)模數(shù)據(jù)的聚類(lèi)任務(wù)中很難勝任或無(wú)法完成聚類(lèi)分析的任務(wù)。針對(duì)探索高伸縮性聚類(lèi)方法的問(wèn)題,使得算法能夠適應(yīng)大幅度的數(shù)據(jù)規(guī)模變化,本文以化整為零的 處理思想為基礎(chǔ),對(duì)于數(shù)據(jù)

3、集先進(jìn)行切分后劃分的處理方式進(jìn)行了深入的研究。提出一種基于這種處理方式的聚類(lèi)方法—基于數(shù)據(jù)切分與劃分的聚類(lèi)方法。該方法處理數(shù)據(jù)不須將數(shù)據(jù)一次讀入主存,可以大幅度的降低了算法對(duì)硬件資源的需求,相比于傳統(tǒng)迭代產(chǎn)生的質(zhì)心不易陷入局部最優(yōu)。
　　(2)DP是一種伸縮性較強(qiáng)的聚類(lèi)方法,在小數(shù)據(jù)集合和大數(shù)據(jù)集合的聚類(lèi)任務(wù)中都表現(xiàn)出了優(yōu)異的聚類(lèi)性能,但對(duì)于數(shù)據(jù)規(guī)模過(guò)大的情況下,其局部特征樣本集過(guò)大,超出主存要求,仍然存在不足。針對(duì)這種情況,本文

4、對(duì)于DP理論進(jìn)行深入分析后提出了逐級(jí)壓縮的思想,并對(duì)DP方法進(jìn)行了改進(jìn),提出了一種基于均值徑向壓縮的聚類(lèi)方法(MeansRadialCompression,MRC),相比于DP方法,均值徑向壓縮方法MRC具有更好的伸縮性能,并且其優(yōu)良的時(shí)間復(fù)雜度O(n)也使得其應(yīng)用范圍更廣。
　　(3)提出一種基于最小距離譜的數(shù)據(jù)特征聚類(lèi)特性的可視化分析方法(MinDS)。通常情況下,用于參與聚類(lèi)分析的數(shù)據(jù)是經(jīng)過(guò)數(shù)據(jù)表示后產(chǎn)生的數(shù)據(jù)特征,應(yīng)具有內(nèi)