文本聚類及其在Web社區(qū)搜索中的應(yīng)用.pdf

1、隨著Web的不斷發(fā)展和數(shù)據(jù)量的增加，Web用戶越來越依靠搜索引擎來檢索信息。搜索引擎用戶的行為分析表明不僅需要對結(jié)果進行排序，也需要為用戶構(gòu)造新查詢提供幫助和提示。Web社區(qū)可以為組織之間的合作和交流提供一個環(huán)境，針對社區(qū)建立的搜索引擎可以提高社區(qū)用戶檢索信息的效率。本文的主要工作是利用文本聚類重新組織搜索結(jié)果以提高Web社區(qū)信息檢索效率，并且利用聚類驗證評估了文本聚類算法的性能。 論文在研究Web搜索引擎現(xiàn)有技術(shù)的基礎(chǔ)上，分析

2、了Web社區(qū)網(wǎng)站內(nèi)容的特點，指出只對結(jié)果進行排序的搜索技術(shù)在搜索結(jié)果較多的情況下不足以提供高效的檢索。考慮到Web社區(qū)網(wǎng)站內(nèi)容存在初步的分類體系和具有自組織的特點，利用文本聚類的方法對搜索結(jié)果進行重新組織，能夠提高搜索結(jié)果的瀏覽效率，并且能夠為Web用戶構(gòu)造新查詢提供幫助和提示。 在研究文本聚類的一般過程的基礎(chǔ)上，論文深入分析了層次式，K-平均，基于蟻群智能和后綴樹四種典型的聚類算法，提出用聚類驗證評估文本聚類算法性能。分析了聚

3、類驗證的外部標準、內(nèi)部標準和基于信息熵標準，選擇外部測試標準，利用標準的分類測試集合Reuters-21578文本集合對K-平均、基于蟻群智能和后綴樹聚類算法進行了聚類驗證。實驗結(jié)果表明后綴樹聚類算法由于在特征選擇方面充分的考慮了文本特性，引入短語特征而產(chǎn)生了較好的效果。 論文工作基于Web抓取器、Lucene全文索引部件構(gòu)建了國家重點實驗室(Chinalab)社區(qū)的搜索引擎系統(tǒng)，并且實現(xiàn)了按搜索結(jié)果出現(xiàn)位置分組的功能。對Chi