中文文本語義相似度計算研究及應用.pdf

1、中文文本相似度計算是中文信息處理相關研究領域中的重要基礎，在信息檢索、知識挖掘、輿情分析等領域中有著廣泛應用。目前的中文文本相似度計算方法大多是從文本的字形層面而不是從文本內容語義理解上計算文本間的相似度，這樣得到的相似度值往往與人們的主觀理解不一致。本文深入分析和研究了當前基于語義的中文文本相似度計算方法，并針對方法中存在的問題進行改進，使計算得到的相似度能夠更為準確地反映中文文本間的語義相似性。本文主要研究貢獻點有以下幾點：

2、　　①提出一種改進的基于HowNet的中文詞匯語義相似度計算方法。針對當前基于HowNet的詞匯語義相似度計算方法沒有充分考慮知識庫描述語言的順序性特征，對當前計算方法進行改進。首先，充分考慮知識庫描述語言對概念進行描述的線性關系特征，提出一種位置相關的權重分配策略。其次，將所提出的策略結合二部圖最大權匹配進行概念的相似度計算。最后，將概念相似度計算方法結合現(xiàn)有方法進行中文詞匯語義相似度計算。
　?、谔岢鲆环N改進的中文文本語義相似

3、度計算方法。針對當前基于語義的文本相似度計算方法沒有綜合考慮文本之間在語義內容上的共性和差異性對文本相似度的影響，對當前計算方法進行改進。首先，為了考慮文本特征向量中特征項之間的差異性，在構建關于文本特征向量的二部圖時為虛擬頂點設置非零權重值。其次，為二部圖中的空特征項頂點與非空特征項頂點設置較小的固定相似度值。
　?、墼谏鲜鲋形奈谋菊Z義相似度計算方法研究基礎上，結合譜聚類方法進行基于語義概念的中文文本譜聚類應用研究。首先，在深入

4、分析譜聚類中關于相似度圖構建方法的優(yōu)缺點基礎上，結合中文文本語義內容分布特點和上述中文文本語義相似度計算方法，給出了一種更為合理的相似度圖構造方法。其次，基于相似度圖的鄰接矩陣進行中文文本譜聚類。
　?、軐ι鲜鎏岢龅母倪M方法及基于語義的文本譜聚類應用的效果進行了實驗驗證。實驗表明，改進的詞匯語義相似度計算方法較當前其它一些方法能夠更為準確的計算詞匯間的語義相似度值；改進的中文文本語義相似度計算方法能夠更為確切的度量文本間在語義內容