高維數(shù)據(jù)的聚類方法研究與應用.pdf

1、聚類分析是數(shù)據(jù)挖掘中重要的研究課題，在信息過濾、資料自動分類、生物信息學等領域得到廣泛應用。隨著技術進步，聚類分析許多應用領域的數(shù)據(jù)具有很高的維度，例如，各種類型的文檔數(shù)據(jù)、基因表達數(shù)據(jù)等其維度(屬性)可以達到成百上千維，甚至更高。由于高維數(shù)據(jù)存在的普遍性，高維數(shù)據(jù)的聚類分析具有非常重要的意義。 數(shù)據(jù)在高維空間中的表現(xiàn)相對于低維空間有很大的差異。在高維空間的許多情況下，由于數(shù)據(jù)分布的內(nèi)在稀疏性，低維數(shù)據(jù)聚類常用的Lp距離等相似度

2、度量有效性大大降低；高維空間中簇類往往只存在于某些低維子空間中，而不同的簇類其所處的子空間也可能存在差異。受“維度效應”的影響，許多在低維數(shù)據(jù)上表現(xiàn)良好的聚類方法運用于高維數(shù)據(jù)時無法獲得很好的效果，需要采用一些特殊的方法進行高維數(shù)據(jù)的聚類分析。 本文從高維數(shù)據(jù)子空間聚類的數(shù)學統(tǒng)計模型入手，研究其潛在的概率統(tǒng)計模型，繼而提出新的聚類算法、開展高維數(shù)據(jù)的聚類有效性等研究；并在文本分類、網(wǎng)絡入侵檢測和惡意軟件鑒別中進行應用研究，具有一

3、定的理論意義和實際應用價值。 本文的主要工作及貢獻如下： 1．提出了一種高維數(shù)據(jù)子空間聚類的概率統(tǒng)計模型及其學習算法，分析了子空間聚類算法的目標優(yōu)化函數(shù)； 2．建立了現(xiàn)有軟子空間聚類算法與統(tǒng)計模型之間的聯(lián)系，對其中兩種代表性算法進行了多方面的改進；提出檢測局部離群點的方法，提高了子空間聚類算法的魯棒性； 3．基于統(tǒng)計模型給出了模糊隸屬度的新定義，提出一種高維數(shù)據(jù)的模糊聚類算法；結合三種改進的子空間聚類有效