大規(guī)模文檔聚類中若干關(guān)鍵問題的研究.pdf

1、聚類技術(shù)是一個來源已久且與人們的生活息息相關(guān)的實用技術(shù)，在現(xiàn)實生活中有很多領(lǐng)域需要聚類技術(shù)，尤其隨著信息產(chǎn)業(yè)的發(fā)展、網(wǎng)絡(luò)的進步，人們每天接觸的信息與日劇增，如何對這些大規(guī)模的信息進行處理已經(jīng)成為當今研究的熱點，而聚類恰恰可以作為該問題的一個很好的解決辦法。聚類不依賴任何先驗知識而將相似的數(shù)據(jù)劃分到一個類別中，由于類別數(shù)是遠小于數(shù)據(jù)數(shù)的，因此對大量數(shù)據(jù)進行聚類后，用戶可以快速發(fā)現(xiàn)自己感興趣的信息所在的類別。
　　由于網(wǎng)絡(luò)信息大多以文

2、本形式表示，因此文檔聚類已逐漸成為一個熱門的研究領(lǐng)域，然而隨著文檔數(shù)量的增多，傳統(tǒng)的文檔聚類算法已經(jīng)無法對大規(guī)模文檔聚類中存在的向量稀疏性和語義相似性等問題進行處理。因此，本文從以下四個方面研究了大規(guī)模文檔聚類算法中存在的特有問題，并給出了相應(yīng)的解決方法。
　　第一，傳統(tǒng)的基于統(tǒng)計信息的特征選擇方法選取的特征不僅無法完全覆蓋文檔的主題，并且其中含有大量的冗余信息。隨著文檔規(guī)模的增大，此方法會嚴重增加特征空間的維數(shù)而降低了聚類的效率

3、?；诖吮疚奶岢隽艘环N基于主題分析的特征選擇技術(shù)，該方法通過構(gòu)建詞匯鏈從多個側(cè)面分析文檔所描述的主題信息，然后在詞匯鏈中選擇能夠充分代表該鏈所述信息的特征作為聚類特征，此方法能夠有效提升聚類的效率。
　　第二，隨著文檔規(guī)模的增大，特征空間中存在大量的文檔具有語義相似性，而傳統(tǒng)聚類算法中的相似度計算方法是無法發(fā)現(xiàn)這個問題的?；诖吮疚膶⒄Z義相似度引入聚類中，使聚類算法能夠發(fā)現(xiàn)文檔間的語義相似性從而提升聚類的準確度。同時不同的特征對文

4、檔的劃分能力是不同的，而傳統(tǒng)聚類算法中的相似度計算方法將所有特征的權(quán)值看作是同等重要的，基于此本文提出了一種基于特征分布的特征權(quán)值量化方法，其可以通過統(tǒng)計特征的分布來計算特征在文檔與神經(jīng)元相似度計算中權(quán)值，此方法能夠提升那些可以有效描述數(shù)據(jù)間相似性的特征在相似度計算中的作用。
　　第三，隨著文檔規(guī)模的增大，作為每個文檔類的代表特征僅占特征空間的很小一部分，而傳統(tǒng)聚類算法以特征空間內(nèi)的所有特征構(gòu)造類別特征集合，此方法顯然會引入無關(guān)特

5、征的干擾而降低聚類的準確率。針對此問題，本文提出了一種基于向量壓縮的神經(jīng)元聚類算法，該算法首先從特征空間中選擇能夠代表類別描述信息的特征對文檔進行劃分，然后通過神經(jīng)元算法對劃分進行迭代調(diào)整以得到更加優(yōu)化的類別特征表示和類別劃分結(jié)果，其可以有效降低聚類的運行時間并提升聚類的準確度。另外本文還提出了一種基于概率的多階段聚類算法，該算法通過選擇與類別相關(guān)的特征構(gòu)造類別特征集合可以有效避免無關(guān)特征對聚類結(jié)果的干擾，因此具有很高的聚類準確率。