基于簇相合性的文本增量聚類算法研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)上的信息數(shù)據(jù)也隨之呈指數(shù)級增長。為有效應用互聯(lián)網(wǎng)上的海量數(shù)據(jù)，人們迫切需要一些有力的組織和管理工具，文本聚類技術正是其中的一種。傳統(tǒng)聚類方法的模式是基于對所有對象進行同時處理，一旦有數(shù)據(jù)更新或有新的數(shù)據(jù)需處理，算法就必須對整個數(shù)據(jù)集重新聚類。因而這種模式時間復雜度非常高，且只適合處理靜態(tài)數(shù)據(jù)，而不適合動態(tài)數(shù)據(jù)的聚類。增量聚類則可較好地處理動態(tài)數(shù)據(jù)，在數(shù)據(jù)不斷更新或增長的情況下，通過擴充已有的聚類結果，可避

2、免大量重復計算，從而減少處理時間，并最終提高聚類性能。
　　 本文提出了一種新的基于簇相合性的文本增量聚類算法，它首先利用WordNet計算出每兩個詞項之間的語義相似度，在統(tǒng)計詞項出現(xiàn)頻率時，以一定準則累加與它相近詞的出現(xiàn)頻率，這樣能夠更準確地為詞項分配頻率權重。然后計算每個新增文本與所有已有簇之間的相合性，這不僅是簡單地計算文本與簇心之間的相似度，同時還考慮到了每個簇之間的相似性。算法將文本加入到相合性得分最高的簇中，并更新所

3、屬簇的簇心、均值、方差等特征信息。為進一步提高聚類性能，一旦增量處理完一部分文本，算法將以同樣的方式對其中不確定劃分的文本進行重新分配。若有文本仍不能確定其類別，則將它加入到與之有最大相合性的簇中，這種情況并不更新該簇的簇心，以避免錯誤分類造成的結果偏差。
　　 本文工作主要如下:
　　 1)使用基于詞項語義相似度的文本模型。它不僅統(tǒng)計了每個詞項的出現(xiàn)頻率，而且還根據(jù)詞項之間的相似度，增加其近義詞的詞頻，從而更加準確地分

4、配詞項頻率權重。
　　 2)提出基于簇相合性的文本增量聚類算法，并使用一種新的方法來計算文本與簇之間的相合性。算法在20newsgroups數(shù)據(jù)集上進行實驗驗證，并與經(jīng)典聚類算法k-means以及新近提出的基于相似度直方圖的增量聚類算法進行了對比;使用的評價指標分別為純度、熵、歸一化互信息。此外，我們還詳細分析了閾值對算法性能產(chǎn)生的影響。實驗結果表明，三個評價指標均顯示，本文提出的算法總體效果要優(yōu)于對比算法，且相較于k-mean