基于布谷鳥搜索算法的主題爬蟲搜索策略研究_3822.pdf

1、隨著網(wǎng)絡(luò)信息量的快速增長，互聯(lián)網(wǎng)已經(jīng)成為最大的資訊庫，網(wǎng)頁數(shù)量呈現(xiàn)指數(shù)級增長，導(dǎo)致通用搜索引擎檢索針對性下降，不能很好滿足用戶對網(wǎng)頁檢索的個性化要求。與傳統(tǒng)搜索引擎相比，主題搜索引擎有選擇的搜索主題相關(guān)網(wǎng)頁，向有特定需要的用戶提供檢索服務(wù)，從而能更好地滿足用戶個性化檢索需求。主題爬蟲作為主題搜索引擎工作的第一步，作用非常重要，其效果好壞取決于搜索策略，所以搜索策略的好壞直接影響搜索引擎的性能，更影響用戶的檢索體驗。因此研究主題爬蟲用何種

2、搜索策略抓取網(wǎng)頁具有非常重要的意義。
　　論文首先綜述搜索引擎的組成結(jié)構(gòu)及種類，剖析主題爬蟲與通用爬蟲的區(qū)別，并總結(jié)了目前幾種常見的主題爬蟲搜索策略，介紹了網(wǎng)絡(luò)爬蟲需要用到的重要技術(shù)，如網(wǎng)頁去重、分詞，運用向量空間模型判斷主題相關(guān)性，以及MySQL數(shù)據(jù)庫技術(shù)。
　　本文提出一種基于布谷鳥搜索算法的主題爬蟲搜索策略。該算法具有參數(shù)少、易操作、易實現(xiàn)、隨機路徑優(yōu)和全局尋優(yōu)能力強等優(yōu)點，能夠很好地解決目前主題爬蟲的兩個問題：“主題

3、漂移”和“隧道現(xiàn)象”，即易陷入局部網(wǎng)頁鏈接和對鏈接距離較遠但相關(guān)度高的網(wǎng)頁不能實時抓取，從而提高檢索質(zhì)量。論文設(shè)計了對比實驗，與基于Hits算法搜索策略和Breadth-First算法搜索策略對比，比較三種算法的查準率，實驗結(jié)果顯示本文提出的搜索策略的網(wǎng)頁查準率優(yōu)于另外兩種算法。
　　本文研發(fā)了一套適用于主題搜索引擎需要的分布式、參數(shù)可動態(tài)配置、功能可擴展的主題爬蟲程序。采用多線程的網(wǎng)頁信息采集方法，提高爬蟲的運行速度，減少時間浪