基于語義距離的文本聚類算法研究.pdf

1、網(wǎng)絡(luò)技術(shù)迅速發(fā)展的今天，人們越來越感受到了信息的沖擊，而文本是信息的重要載體，人們?nèi)粘Ｉ钪兴佑|到的信息有80％左右以文本的形式存在。信息內(nèi)容和格式的多樣化、復(fù)雜化，使人們無法遍歷所有感興趣的內(nèi)容，而且又不存在標(biāo)準(zhǔn)的文本分類準(zhǔn)則，所以管理收集到的文本信息成為亟待解決的問題，對于文本聚類技術(shù)的研究更顯重要。 現(xiàn)有的文本聚類方法大多采用基于VSM的關(guān)鍵詞匹配來計(jì)算文本間相似度，這種方法的最大的缺點(diǎn)就是忽略了詞之間的語義信息，忽略了

2、各維度之間的聯(lián)系，導(dǎo)至文本的相似度計(jì)算不夠精確，所以本文從語義上具體分析文檔，利用文本具體語義計(jì)算文本間的相似度，使得文本聚類結(jié)果更合理，主要工作及創(chuàng)新點(diǎn)有： 1、以《知網(wǎng)》作為語義的本體，利用語義距離計(jì)算文檔間相似度，把文檔間相似度計(jì)算具體轉(zhuǎn)化為詞語間語義距離、義原間語義距離。考慮到文本聚類具體應(yīng)用，本文根據(jù)《知網(wǎng)》描述各個(gè)詞的規(guī)律，改進(jìn)現(xiàn)有詞語相似度計(jì)算方法，更有利于發(fā)現(xiàn)詞語的相關(guān)性，適應(yīng)了文本聚類的要求。 2、文本

3、聚類算法主要采用一次遍歷聚類算法即最近鄰聚類算法，并提出第二次聚類方法改進(jìn)最近鄰算法對輸入次序敏感的問題。類中心方面，引入相似權(quán)重的概念，并根據(jù)權(quán)重優(yōu)勝略汰候選類特征詞，使得最后選擇的類特征詞能夠代表類的主題，達(dá)到文本聚類的目的. 論文最后實(shí)驗(yàn)語料來源于中科院的中文自然語言處理開放平臺(CNLP)網(wǎng)站，下載了100篇文檔對所提出的算法進(jìn)行了實(shí)驗(yàn)，并利用聚類精度和召回率對實(shí)驗(yàn)結(jié)果進(jìn)行了評價(jià)，然后把評價(jià)結(jié)果與基于VSM的K-Mean