垂直搜索引擎主題爬蟲研究.pdf

1、隨著互聯(lián)網(wǎng)絡的迅猛發(fā)展,搜索引擎已經(jīng)成為網(wǎng)民的第一應用。為了在浩若煙海的網(wǎng)絡中能查找到更合適的信息,更專業(yè)化更高準確率的垂直搜索引擎已成為人們獲取所需的知識必不可少的工具。以何種策略有效地訪問網(wǎng)絡資源提高搜索效率是搜索引擎中網(wǎng)絡爬蟲研究的主要問題。本文的主要工作和研究成果如下:
　　1.首先對垂直搜索引擎主題爬蟲研究中的相關理論做了分析。對搜索引擎的分類、通用搜索引擎的結構、垂直搜索引擎以及垂直搜索的四個關鍵技術做了研究。對網(wǎng)絡爬

2、蟲及關鍵技術、爬蟲架構需求、主題爬蟲特別之處做了相關研究。分別解析了通用爬蟲和主題爬蟲的模型及模塊。
　　2.分析了搜索引擎中網(wǎng)絡爬蟲的搜索策略。對搜索策略的定義及分類做了研究,分析了各種搜索算法的優(yōu)缺點。比較了基于內容評價的搜索策略和基于鏈接結構評價的搜索策略,對這兩種應用廣泛的搜索策略的典型算法做了詳細分析。
　　3.本文提出了一種基于綜合價值的搜索策略。此策略先從分析主題相似度的角度入手,通過內容評價搜索策略來發(fā)現(xiàn)與主

3、題相關的URL,然后根據(jù)鏈接結構對URL排序來決定爬行順序,以提高整體搜索效率?？紤]到基于內容評價的搜索策略的網(wǎng)絡爬蟲僅僅在距離相關頁面集較近的地方搜索時表現(xiàn)出良好的性能,缺乏“全局性”,普遍存在“近視”的缺點。基于鏈接結構評價的搜索策略,雖考慮了鏈接的結構特征,但會出現(xiàn)搜索偏離主題的“主題漂移”問題及計算復雜度高等缺點?？紤]到采用單一的評價方法不能有效預測鏈接URL的真實價值,為了提高鏈接價值預測的準確性,將兩類評價標準相結合。