主題爬蟲URL分析模型與高度技術研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡上的信息數(shù)量激增。面對著數(shù)量龐大、紛繁復雜的互聯(lián)網(wǎng)信息,用戶如何可以快速、準確并且全面地查找到自己所需要的信息已經(jīng)成為一個非常重要的問題。傳統(tǒng)的通用搜索引擎面對這一問題已經(jīng)越來越力不從心,因為一味追求高覆蓋率而造成了資源浪費,并且返回給用戶的查詢結果中經(jīng)常包含用戶不關心的網(wǎng)頁。針對這些問題,垂直搜索引擎應運而生,它只收集與用戶關心的主題相關的網(wǎng)頁。主題爬蟲是垂直搜索引擎的重要組成部分,它負責分析網(wǎng)頁是否與主題相

2、關和具體的抓取過程。
　　 主題爬蟲有兩個重要問題:如何判斷一個待爬取網(wǎng)頁是否與主題相關以及如何調(diào)度URL。針對這兩個問題,本文在國內(nèi)外相關研究的基礎上,分別提出了一種解決方案:
　　 傳統(tǒng)的基于內(nèi)容評價的URL分析模型雖然準確率較高,但是效率較低,而且可能給予質(zhì)量不高的網(wǎng)頁較高的得分,而基于鏈接評價的URL分析模型卻完全忽略了網(wǎng)頁內(nèi)容,容易造成“主題漂移”問題。本文將兩者有機地結合在一起,并引入用戶查詢來修正主題描述,

3、設計了一種內(nèi)容評價與鏈接評價相結合的URL分析模型,通過實驗證明了該模型在準確率等性能上的提高。
　　 現(xiàn)有的爬蟲URL調(diào)度技術都存在著一定的問題,如易形成控制節(jié)點瓶頸、URL分配不均衡等。本文針對這些問題設計了一種面向多節(jié)點并行爬取的URL調(diào)度方案。該方案采用擴展bloom filter模型進行URL去重,采用一致性哈希進行URL分配,采用UDT協(xié)議進行URL批量傳輸。最后將這種方案應用于主題爬蟲中,通過實驗證明了該方案負載比