基于知網(wǎng)語義的Web中文文本聚類方法研究.pdf

1、2013年1月，中國互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布了《第31次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》，其數(shù)據(jù)顯示當(dāng)前互聯(lián)網(wǎng)的信息量以驚人的速度持續(xù)增長。在這些海量數(shù)據(jù)當(dāng)中，80％以上的信息是以非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本形式存在，蘊含著豐富潛在價值的知識。因此，能夠快速從Web中發(fā)現(xiàn)有價值知識的文本聚類方法，成為了當(dāng)今的研究熱點。目前，基于向量空間模型的文本聚類方法由于其向量高維稀疏的問題，使得這種方法的聚類效果達到了瓶頸，很難再有所提高。而很多基于語義概念

2、模型文本聚類方法的研究并沒有區(qū)分文本的種類，缺少對Web中文文本聚類與普通文本聚類區(qū)別與聯(lián)系的深入分析，導(dǎo)致其應(yīng)用到Web文本時效率不高甚至不能直接在Web文本聚類中使用。
　　 本文從中文文本聚類方法的研究現(xiàn)狀出發(fā)，總結(jié)分析其中的關(guān)鍵性技術(shù)。在此基礎(chǔ)上，針對Web中文文本聚類與普通文本聚類的區(qū)別與聯(lián)系及其面臨的挑戰(zhàn)，本文采用語義分析方法深入研究面向Web中文文本的聚類
　　 方法:
　　 (1)深入研究知網(wǎng)的組

3、成結(jié)構(gòu)，提出一種綜合考慮時間效率與義原關(guān)系的概念相似度計算方法，降低計算復(fù)雜度并保證結(jié)果的合理性。
　　 (2)研究分析Web文本的結(jié)構(gòu)，定義標簽特征集與正文特征集。采用特征集語義聚類方法對兩者進行聚類，得到兩個特征集合中更加符合文本內(nèi)容的詞語。
　　 (3)提出一種基于標簽特征集重要性與TF-IDF的改進算法，通過該算法將文本表示為選取的標簽特征集與正文特征集的并集。在其基礎(chǔ)上，提出一種結(jié)合語義以及Web文本特點的We

4、b中文文本、文本簇的表示模型，給出構(gòu)建模型的方法。定義基于該模型的相似度并給出計算方法。
　　 (4)通過分析Web文本聚類算法的相關(guān)難點，提出一種基于知網(wǎng)語義的Web中文文本聚類算法C2HN。該算法是對最近鄰聚類算法的改進，以相似度閾值控制聚類的迭代次數(shù)，自動創(chuàng)建文本簇特征，將文本聚類方法量化，便于計算機的識別處理。
　　 最后對本文方法進行實驗分析與對比，實驗結(jié)果表明:本文提出的方法適用于Web中文文本聚類，在特征維