Deep Web網(wǎng)絡(luò)蜘蛛研究與初步設(shè)計.pdf

1、目前隨著Internet信息的爆炸增長，Web服務(wù)器上數(shù)據(jù)信息已經(jīng)被大量可搜索的在線數(shù)據(jù)庫極大的“深化”，傳統(tǒng)搜索引擎已經(jīng)不能有效檢索到隱藏在Web服務(wù)器后臺在線數(shù)據(jù)庫中的Deep Web信息。如何快速有效獲取Deep Web信息正成為搜索引擎研究的熱點和和發(fā)展趨勢。 本文重點對網(wǎng)絡(luò)蜘蛛(Spider or crawler)的研究和改進(jìn)，以及Deep Web信息提取涉及到的相關(guān)技術(shù)和算法問題，設(shè)計和實現(xiàn)了一個Deep Web網(wǎng)絡(luò)

2、蜘蛛。論文的主要工作包括以下幾個方面： 1.分析了傳統(tǒng)搜索引擎的設(shè)計思想、工作原理和體系結(jié)構(gòu)，從而發(fā)現(xiàn)傳統(tǒng)搜索引擎在技術(shù)上存在的缺陷、不足之處和可改進(jìn)的地方。 2.分析了Deep Web信息集成系統(tǒng)的工作原理和體系結(jié)構(gòu)，并簡要說明Deep Web信息集成系統(tǒng)工作流程，系統(tǒng)組成模塊中各個模塊的功能。 3.在以上相關(guān)理論和研究結(jié)果的基礎(chǔ)上，提出了本文中設(shè)計Deep Web網(wǎng)絡(luò)蜘蛛的思想、體系結(jié)構(gòu)和工作流程。

3、4.針對網(wǎng)頁采集問題，提出有選擇的采集網(wǎng)頁類型策略和控制重復(fù)網(wǎng)頁采集策略，有效地過濾了噪音信息和重復(fù)網(wǎng)頁抓取問題。 5.針對從靜態(tài)網(wǎng)頁中提取Deep Web數(shù)據(jù)庫查詢接口問題，提出通過分析網(wǎng)頁構(gòu)建網(wǎng)頁標(biāo)記樹模型，通過遍歷網(wǎng)頁標(biāo)記樹來尋找查詢接口。提出用對象模型表示(DWI)查詢接口和存儲表單數(shù)據(jù)，為后續(xù)查詢接口合并與分類提供有效的數(shù)據(jù)表示模型和良好的存儲結(jié)構(gòu)，并給出具體實現(xiàn)算法。 6.針對Deep Web查詢接口合并與分