基于k-means的中文文本聚類算法的研究與實(shí)現(xiàn).pdf

1、本論文對(duì)文本聚類的相關(guān)技術(shù)與算法進(jìn)行研究，針對(duì)文本數(shù)據(jù)高維性和稀疏性的缺點(diǎn)，改進(jìn)了文本聚類中的特征選擇方法，以及與k—means相關(guān)的算法，并在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文文本聚類原型系統(tǒng)。主要工作有： 1)聚類領(lǐng)域進(jìn)行特征選擇時(shí)由于缺乏類信息而難以選擇出最具類區(qū)分能力的特征詞。在文檔頻率，單詞貢獻(xiàn)度兩種特征選擇方法的基礎(chǔ)上，利用貪心算法對(duì)特征進(jìn)行增量選擇。實(shí)驗(yàn)表明改進(jìn)的算法可以在保證聚類質(zhì)量的前提下過濾更多的特征詞。

2、2)文本數(shù)據(jù)高維性和稀疏性的特點(diǎn)使得文本對(duì)象間的相似度不易度量，根據(jù)文本間的相似度為k—means算法選擇的始聚類中心時(shí)可能不能很好的代表整個(gè)文本集。針對(duì)該缺點(diǎn)，對(duì)k—means算法中的初始化問題，提出一個(gè)改進(jìn)的初始聚類中心選擇方法。實(shí)驗(yàn)表明改進(jìn)的方法選擇到初始聚類中心比較分散且代表性好。 3)為了提高聚類中簇的質(zhì)量，通過引入共享最近鄰相似度中鄰居的概念，對(duì)bisecting k—means算法進(jìn)行改進(jìn)，實(shí)驗(yàn)結(jié)果表明該算法的聚類