基于頻繁閉詞序列集的層次聚類算法的研究與實(shí)現(xiàn).pdf

1、萬(wàn)維網(wǎng)產(chǎn)生以后，將遍布全球各地的計(jì)算機(jī)聯(lián)系到一起，這些計(jì)算機(jī)中的數(shù)據(jù)資源組成的規(guī)模龐大的數(shù)據(jù)庫(kù)，擁有了一臺(tái)能夠聯(lián)網(wǎng)的計(jì)算機(jī)，就等于擁有了整個(gè)萬(wàn)維網(wǎng)上的所有資源，人們不再為缺乏知識(shí)來(lái)源而發(fā)愁。然而，新的問(wèn)題也隨之產(chǎn)生，面對(duì)如此龐大的數(shù)據(jù)庫(kù)，尋找真正需要的信息無(wú)異于大海撈針。因此數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生，在諸多數(shù)據(jù)格式中文本格式占較大比例，針對(duì)文本數(shù)據(jù)的挖掘技術(shù)引起廣泛關(guān)注。文本聚類是文本挖掘中的重要課題，文本聚類主要是指聚集主題相關(guān)文本，分離

2、主題無(wú)關(guān)文本。文本聚類的主要過(guò)程是先將非格式化的文本數(shù)據(jù)預(yù)處理為格式化數(shù)據(jù)，接著使用聚類算法進(jìn)行聚類。
　　在上述背景下，本文分析了現(xiàn)有的文本聚類方法中的不足，并在此基礎(chǔ)上對(duì)改進(jìn)文本預(yù)處理過(guò)程和改善聚類算法兩個(gè)方面做了深入的研究。本文的主要工作與貢獻(xiàn)如下:
　　本文系統(tǒng)地研究了與文本聚類相關(guān)的每個(gè)過(guò)程，提出將每個(gè)文本中出現(xiàn)的頻繁閉詞序列(Frequent Closed Word Sequence)作為文本特征的思想，這一思想

3、的目的是降低文本數(shù)據(jù)的維度，解決維災(zāi)難問(wèn)題，增大文本特征選擇的粒度，考慮文本中詞匯的順序性與連續(xù)性在表達(dá)文本主題方面的作用。接著設(shè)計(jì)實(shí)現(xiàn)一種基于模式增長(zhǎng)方式的頻繁閉詞序列的挖掘算法，最后運(yùn)用在從文本集合中挖掘出的頻繁閉詞序列集，提出基于頻繁閉詞序列集的層次聚類算法(Frequent Closed Word Sequence Set Based Hierarchical ClusteringAlgorithm)，該算法采用頻繁閉詞序列集作