基于在線增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲研究

1、基于在線增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲研究.txt人生在世，難敵宿命，沉淪其中。我不愛風(fēng)塵，似被前緣誤??！我只為我最愛的人流淚“我會學(xué)著放棄你，是因為我太愛你”贏了你我可以放棄整個世界本文由fatcat132006貢獻pdf文檔可能在WAP端瀏覽體驗不佳。建議您優(yōu)先選擇TXT，或下載源文件到本機查看。第26卷第5期2009年5月計算機應(yīng)用與軟件ComputerApplicationsSoftware基于在線增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲研究朱婷12

2、12滕桂法陸浩張長利曾大軍1222(河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院河北保定071001)(中科院自動化所復(fù)雜系統(tǒng)與智能科學(xué)實驗室北京100190)摘要在原始分類器聚焦爬蟲的基礎(chǔ)上設(shè)計并實現(xiàn)在線增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲。該聚焦爬蟲包括一個基礎(chǔ)網(wǎng)頁分類器和一個在線增量學(xué)習(xí)自適應(yīng)鏈接分類器?；A(chǔ)頁面分類器根據(jù)領(lǐng)域知識對抓取到的頁面內(nèi)容主題相關(guān)性進行分類。在線增量學(xué)習(xí)自適應(yīng)鏈接分類器能即時根據(jù)爬蟲爬得網(wǎng)頁和網(wǎng)頁鏈接信息作出分類模型調(diào)整以更合理方

3、式計算鏈接的主題相關(guān)度。系統(tǒng)中鏈接排序模塊采用TopicalRank主題相關(guān)度計算方法分析鏈接優(yōu)先抓取順序。把基于增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲應(yīng)用到農(nóng)業(yè)領(lǐng)域?qū)嶒灲Y(jié)果和分析證明在線增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲在農(nóng)業(yè)領(lǐng)域爬行性能比僅基于網(wǎng)頁相關(guān)性和鏈接重要度的原始分類器聚焦爬蟲具有更好的性能。關(guān)鍵詞在線增量學(xué)習(xí)TopicalRank聚焦爬蟲農(nóng)業(yè)領(lǐng)域隨著Inter的快速發(fā)展網(wǎng)絡(luò)資源成為巨大的知識庫搜索引擎已經(jīng)成為網(wǎng)絡(luò)用戶獲取各種信息的一種重要手段。目

4、前如Google、Baidu等大多數(shù)是面向所有信息的搜索引擎可以稱之為通用搜索引擎。隨著信息多元化的增長適用于所有用戶的通用搜索引擎已經(jīng)不能滿足特定用戶更深入的查詢需求他們對信息的需求往往是針對特定領(lǐng)域和面向特定主題的此時通用搜索引擎的搜索效果難以滿足有特定需求的用戶。針對這種情況一個分類精確、數(shù)據(jù)全面、更新及時的面向主題的搜索引擎———垂直搜索引擎應(yīng)運而生。聚焦爬蟲是一個自動提取網(wǎng)頁的程序它為垂直搜索引擎從萬維網(wǎng)上下載網(wǎng)頁是垂直搜索引

5、擎的重要組成部分。它根據(jù)抓取目標有選擇地訪問網(wǎng)頁和相關(guān)的鏈接并獲取所需要的AbstractAnadaptivefocusedcrawlerofonline2incrementallearningbasedonprimitiveclassificationfocusedcrawlerisdesignedre2perfmancethantheprimitiveclassifierfocusedcrawlerbasedonlyonwebpag

6、es’crelationlinkimptancedegree.KeywdsOnline2IncrementallearningTopicalRankFocusedcrawlerAgriculturefieldalizedinthisarticle.Thecrawler’architectureincludesabasicwebpageclassifieranonline2incrementallearningadaptivelinkcl

7、assifiers.incrementallearningurl所指網(wǎng)頁。爬行模塊采用開源網(wǎng)絡(luò)爬蟲Heritrix框架來實現(xiàn)它的出色之處在于可擴展性通過擴展它的組件來實現(xiàn)自定義的抓取邏輯。爬行模塊在抓取中可以獲取完整、精確的站點內(nèi)容包括文本和非文本信息將內(nèi)容存儲到爬蟲數(shù)據(jù)庫。爬行模塊采用多線程技術(shù)以提高系統(tǒng)的處理速度。圖1基于分類器聚焦爬蟲體系結(jié)構(gòu)[1]根據(jù)一個主題目錄和用戶指定的初始點(如書簽)來描述抓取目標并在用戶瀏覽過程中將用戶標

8、注的感興趣網(wǎng)頁放人相應(yīng)的主題目錄修改主題樣本。系統(tǒng)的兩個主要部分是網(wǎng)頁分類器(classifier)和網(wǎng)頁選擇器(distiller)。網(wǎng)頁分類器負責(zé)學(xué)習(xí)抓取目標的特點計算網(wǎng)頁的關(guān)聯(lián)度并過濾網(wǎng)頁。選擇器負責(zé)計算網(wǎng)頁的重要程度發(fā)現(xiàn)中心型網(wǎng)頁并由此動態(tài)決定網(wǎng)頁的訪問順序。早期的聚焦爬蟲不考慮鏈接主題相關(guān)性分析直接在網(wǎng)頁分類器主題相關(guān)性分析后把保留下來的正向鏈接放到鏈接排序模塊等待爬行url優(yōu)先隊列提供給爬蟲繼續(xù)爬行。一般采用以PageRan

9、k[2]和HITS[3]為代表的基于網(wǎng)頁鏈接結(jié)構(gòu)的搜索策略通過分析網(wǎng)頁之間的相互鏈接關(guān)系來確定網(wǎng)頁的重要性進而決定鏈接訪問順序。該方法考慮了鏈接結(jié)構(gòu)和網(wǎng)頁之間的相互鏈接關(guān)系但忽略了頁面與主題的相關(guān)性。大量研究表明PageRank算法只適合于發(fā)現(xiàn)權(quán)威網(wǎng)頁不適合發(fā)現(xiàn)主題資源2.2基礎(chǔ)網(wǎng)頁分類器基礎(chǔ)網(wǎng)頁分類器通過農(nóng)業(yè)領(lǐng)域知識庫來指導(dǎo)訓(xùn)練這里設(shè)計的是一個NaveBayes分類器。研究表明NaveBayes是較快的一種分類方法效果也較好理論上錯誤

10、率最低。該方法對于文本di求條件概率P(cj|di)條件概率最大的那個類別作為最終選擇類別計算時引入Term獨立性假設(shè)。Beyes公式如下:p(cj|di)=p(di|cj)p(cj)∝p(di|cj)p(cj)p(di)r其中p(di|cj)=∏p(wk=1ik|cj)ter獨立性假設(shè)。m=N(cj)p(cj)=cj的文檔個數(shù)總文檔個數(shù)∑N(c)kk在某些情況下HITS會出現(xiàn)搜索偏離主題的“主題漂移”。問題p(w|cj)=w在cj類別

11、文檔中出現(xiàn)的次數(shù)cj類文檔中所有出現(xiàn)的ter的次數(shù)m2增量自適應(yīng)聚焦爬蟲設(shè)計在基于分類器聚焦爬蟲的基礎(chǔ)上為提高爬蟲高效、準確的領(lǐng)域爬行性能僅考慮鏈接重要性是不夠的。本系統(tǒng)添加一個在線學(xué)習(xí)鏈接分類器對鏈接的主題相關(guān)性進行分類它能通過學(xué)習(xí)來改進鏈接主題相關(guān)性的判斷能力。并在鏈接排序模塊采用TopicalRank考慮頁面主題相關(guān)性和正向鏈接主題相關(guān)性相結(jié)合的url優(yōu)先排序策略。增量自適應(yīng)聚焦爬蟲系統(tǒng)由四個主要模塊組成:爬行模塊、基礎(chǔ)網(wǎng)頁分類器