應用于文本搜索引擎的聚類算法研究.pdf

1、當今搜索引擎應用中亟待解決的一個問題是：如何針對用戶的非確切性查詢返回一個較為友好的查詢結果，最大限度地提高用戶的查詢效率。傳統(tǒng)搜索引擎應用如Google、百度、Bing等，由于僅僅采用經(jīng)典的相關度排序算法顯示所有查詢結果，使得用戶經(jīng)常把時間浪費在過濾大量無關信息的工作上，查詢效率較低，用戶友好程度不高。因此，如何有效地對查詢結果的標題和摘要信息聚類化，使之能返回一個友好的聚類查詢結果，是當前的研究熱點之一。
　　文本聚類的首要問

2、題是如何將文本數(shù)據(jù)用數(shù)學形式表示。目前多數(shù)文本聚類算法采用向量空間模型（VectorSpaceModel，VSM）為基礎，雖然簡單，卻容易引起“高維稀疏”問題，而且，對于同義詞、多義詞的處理也沒有得到很好的解決，造成聚類的效率和準確程度降低，聚類效果不佳。本文針對中文的文本聚類技術，對文本搜索引擎中的聚類算法進行了研究，使用一種基于后綴樹與《知網(wǎng)》語義相似度計算的中文文本聚類算法，結合相應開發(fā)工具，實現(xiàn)了一個中文聚類搜索引擎（Chine

3、seClusteringSearchEngine，CCSE）。該方法首先通過后綴樹算法將搜索結果的逐條文本建立到一顆后綴樹上，同時選擇出那些包含名詞（或動詞、形容詞等），并且最后是名詞（或動詞）結尾的短語；然后結合TF-IDF（TermFrequency–InverseDocumentFrequency，一種用于詞頻統(tǒng)計的權值計算方法）評分確定出所有后綴短語中描述性較強的短語作為候選聚類標簽；再按照后綴樹聚類算法（SuffixTreeC

4、lustering，STC）根據(jù)已選定的候選聚類標簽進行聚類合并；接著利用語義相似度計算方式對剩下的標簽短語進行逐一計算比較，找出其中語義相似度較高的短語進行合并，只保留它們中得分最高的那個；最后，再使用聚類內(nèi)部相似度(Intra-ClusterSimilarity，ICS)來保證聚類內(nèi)部各摘要之間的高度相似性，淘汰掉一些與聚類中心向量的平均相似度較低的聚類，產(chǎn)生最終呈現(xiàn)給用戶的聚類結果。其中，在語義相似度計算方面，本文利用《知網(wǎng)》工具

5、選用了一種面向語義、可擴展的相似度計算方法。可以通過對未登錄詞進行適當?shù)母拍钋蟹?、自動生成語義，較好的解決了未登錄詞不能有效參與語義相似度計算的問題，增強了聚類效果；同時，由于整個算法是由確定理想聚類標簽開始的，使得在聚類呈現(xiàn)階段，該方法還可以保證聚類標簽能夠較好的反映出聚類內(nèi)容，從而優(yōu)化了查詢的呈現(xiàn)效果。
　　論文首先對聚類算法在搜索引擎中的應用可行性進行了分析，對搜索引擎的結構、聚類模型、以及《知網(wǎng)》工具進行了介紹；然后對文本