中文文本聚類中特征選擇算法的研究.pdf

1、近年來(lái)，我們可以很容易地從Internet、數(shù)字圖書(shū)館、新聞機(jī)構(gòu)和公司內(nèi)部網(wǎng)上獲得數(shù)目驚人的文本文檔。于是，人們對(duì)發(fā)展能夠幫助用戶有效地導(dǎo)航、總結(jié)和組織這些文本信息技術(shù)的興趣越來(lái)越強(qiáng)?？焖俸透哔|(zhì)量的文本聚類技術(shù)在實(shí)現(xiàn)這個(gè)目標(biāo)過(guò)程中扮演了重要的角色。通過(guò)將大量信息組織成少數(shù)有意義的簇，這種技術(shù)能夠提供導(dǎo)航/瀏覽機(jī)制，或者，通過(guò)聚類驅(qū)動(dòng)的降維或權(quán)值調(diào)整來(lái)極大地改善檢索性能。因此，文本聚類研究成為當(dāng)前國(guó)際上信息處理的一個(gè)重要課題，國(guó)內(nèi)中文文本

2、聚類的研究正處于初期，還存在許多問(wèn)題亟待解決。
　　 本文對(duì)中文文本聚類中特征選擇算法進(jìn)行了研究，具體工作如下：首先，我們對(duì)于現(xiàn)有的詞語(yǔ)權(quán)值計(jì)算方法做了一定的改進(jìn)，不僅考慮了文本中的詞語(yǔ)概率信息，還結(jié)合文本語(yǔ)義等多方面信息，提出了一種基于多重因子加權(quán)的詞語(yǔ)權(quán)值計(jì)算方法。實(shí)驗(yàn)證明這種方法能夠很好的提高文本聚類的正確率。然后，總結(jié)了現(xiàn)有特征項(xiàng)選擇方法的不足，從而提出了一種單詞貢獻(xiàn)度(TD)的特征選擇方法。試驗(yàn)證明，這種特征選擇方法能