垂直搜索引擎及其關鍵方法研究.pdf

1、隨著Internet的飛速發(fā)展，Web己經(jīng)發(fā)展成為包含多種信息資源、站點分布全球的海量信息服務網(wǎng)絡。搜索引擎正是一種幫助用戶從信息海洋中找到用戶所需要信息的工具。一些通用的搜索引擎力爭索引Web中所有的網(wǎng)頁，為用戶提供各種各樣的服務。但由于信息多元化的發(fā)展，通用的搜索引擎無法滿足專業(yè)化用戶的需求，因而迫切需要一個數(shù)據(jù)分類細致、精確、全面、更新及時的面向特定主題的搜索技術和方法來獲得相關主題資源。在這種需求的推動下，垂直搜索引擎便應用而生

2、了。
　　首先，根據(jù)通用搜索引擎和垂直搜索引擎的區(qū)別并且結(jié)合垂直搜索引擎專、精、深的特點，引入了主題判斷模塊、信息抽取模塊及聚類模塊，進而提出了一種垂直搜索引擎框架。
　　其次，根據(jù)垂直搜索引擎專業(yè)網(wǎng)絡爬蟲的核心，即專業(yè)的爬行算法。對基于PageRank的Best-First算法進行了廣泛而深入的研究。第一，針對PagRank是一種根據(jù)網(wǎng)頁之間的超鏈接來計算網(wǎng)頁排名的技術，網(wǎng)頁的PageRank值越高，該網(wǎng)頁越重要。第二，由

3、于PageRank算法不利于搜集主題信息等問題，提出了一種改進的PageRank算法。第三，從單個網(wǎng)頁考慮，利用每個網(wǎng)頁的url，title，正文，提出了基于內(nèi)容相似度的方法。第四，結(jié)合改進的PageRank算法和基于內(nèi)容的相似度提出了BLCT主題爬行算法并進行了相應的實驗。
　　最后，深入研究了文本聚類技術，通過搜索結(jié)果的聚類可以縮小用戶所需瀏覽的結(jié)果數(shù)量，從而縮短用戶查詢所需要的時間。針對k-means聚類算法只能保證收斂到局