基于文檔分類及超鏈接優(yōu)選策略主題蜘蛛的研究與實現(xiàn).pdf

1、本文從研究互聯(lián)網(wǎng)絡上信息的分布特征入手，對“主題網(wǎng)絡蜘蛛”這一新型的網(wǎng)絡蜘蛛原理、策略、結構、工作模式、調(diào)度機制以及實現(xiàn)上進行了深入的分析研究。論文設計了一個主題網(wǎng)絡蜘蛛系統(tǒng)-Focus Crawling Spider，在Windows環(huán)境下采用C++實現(xiàn)了該系統(tǒng)。 在Focus Crawling Spider系統(tǒng)的頁面主題相關性判定策略中引入了文檔自動分類的思想，提出了基于簡單向量距離法、KNN算法以及樸素貝葉斯算法綜合對頁面

2、進行主題相關性判定的頁面相關性的方法；同時在URL，剪枝部分，論文提出了將“侵入式魚群算法(Invasive Fish Search，IFS)”應用于Focus Crawling Spider系統(tǒng)，增強了該系統(tǒng)穿越“隧道”的能力，增加了該系統(tǒng)的爬行覆蓋率。 論文對Focus Crawling Spider系統(tǒng)的各個功能模塊的設計與實現(xiàn)都進行了詳細的論述，包括大量的效率瓶頸的分析以及解決方案。在系統(tǒng)結構、頁面采集、URL(Unif

3、orm Resource Locator，URL)管理、LIRL評價、DNS(Domain Name Server，DNS)緩存系統(tǒng)、DOM(Document Object Model，DOM)結構生成、HTML(Hypertext Markup Language，HTML)解析等方面都提出并實現(xiàn)了一些創(chuàng)新點。 論文從運行效率和爬行策略的改進效果等方面對Focus Crawling Spider系統(tǒng)進行了運行測試。通過對測試數(shù)據(jù)