基于HowNet多特征結(jié)合的句子相似度計(jì)算.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上信息越來越多，如何在這些海量信息中快速準(zhǔn)確地找到所需要的信息也越來越困難。雖然傳統(tǒng)的搜索引擎（如Google等）已經(jīng)取得了很大的成功，但這類搜索引擎只能獲取與用戶查詢請求相關(guān)的文檔，用戶必須自己從這些文檔中查找相關(guān)信息；其查詢是一系列關(guān)鍵詞而非自然語言問句，事實(shí)上，用戶可能更習(xí)慣于用自然語言來描述一個問題；多數(shù)情況下，用戶所需要的只是問題的確切答案，而不是與該問題相關(guān)的一系列網(wǎng)頁。自動問答技術(shù)是自然語言處理領(lǐng)域

2、中一個非常熱門的研究方向，它綜合運(yùn)用了各種自然語言處理技術(shù)。而在信息檢索領(lǐng)域中，語義相似度起著重要的作用，提高語義相似度的精度有重要的理論和實(shí)際意義。 計(jì)算機(jī)對于中文的處理相對于西文的處理存在更大的難度，集中體現(xiàn)在對文本分詞的處理上。分詞是中文句子相似度計(jì)算的基礎(chǔ)和前提，采用高效的分詞算法能夠極大地提高句子相似度計(jì)算結(jié)果的準(zhǔn)確性。本文在對常用的中文分詞算法分析比較的基礎(chǔ)上，提出了一種基于雙數(shù)組Trie樹中文分詞算法及歧義消除策略

3、，對分詞詞典的建立方式、分詞步驟及歧義字段的處理提出了新的改進(jìn)方法，提高了分詞的完整性和準(zhǔn)確性。 在中文信息處理中，句子相似度的計(jì)算廣泛應(yīng)用于信息檢索、機(jī)器翻譯、自動問答系統(tǒng)、自動文摘等領(lǐng)域，是一個非?；A(chǔ)而關(guān)鍵的問題，長期以來一直是人們研究的熱點(diǎn)和難點(diǎn)。本文分析比較了現(xiàn)有的句子相似度計(jì)算方法，然后提出了一種新方法，結(jié)合基于《知網(wǎng)》語義相似度計(jì)算和基于向量空間的TF*IDF方法，隨后利用此方法結(jié)合前面提出的分詞方法，給出了中文句