支持Ajax的Deep Web爬蟲(chóng)技術(shù)研究.pdf

1、Deep Web中包含了大量有價(jià)值的信息,并且信息量在快速增長(zhǎng)。隨著 Web2.0的發(fā)展,越來(lái)越多的Deep Web網(wǎng)站開(kāi)始運(yùn)用Ajax技術(shù)來(lái)改善用戶(hù)體驗(yàn)。但由于Ajax技術(shù)可以異步方式與服務(wù)器交互,實(shí)現(xiàn)無(wú)刷新的動(dòng)態(tài)改變頁(yè)面內(nèi)容,使得搜索引擎抓取頁(yè)面時(shí)面臨著巨大的挑戰(zhàn)。傳統(tǒng)爬蟲(chóng)由于不具備處理Ajax的能力,在爬取此類(lèi)DeepWeb數(shù)據(jù)時(shí)面臨困難,在一定程度上影響信息覆蓋率。然而隨著Ajax技術(shù)的廣泛應(yīng)用,以Ajax為基礎(chǔ)的新一代網(wǎng)絡(luò)信息

2、抽取問(wèn)題的研究卻將變得越來(lái)越重要。因此,研究如何獲取這類(lèi)應(yīng)用Ajax技術(shù)的Deep Web網(wǎng)站信息成為了本文工作的出發(fā)點(diǎn)。
　　 本文的研究?jī)?nèi)容與成果主要是:
　　 (1)首先對(duì)國(guó)內(nèi)外Deep Web資源的規(guī)模、結(jié)構(gòu)進(jìn)行了調(diào)查研究,研究表明采用Ajax技術(shù)的Deep Web網(wǎng)站蘊(yùn)含著豐富的信息資源?？v觀國(guó)內(nèi)外對(duì)Deep Web資源發(fā)現(xiàn)的新進(jìn)展,目前對(duì)這類(lèi)應(yīng)用Ajax技術(shù)的Deep Web網(wǎng)站研究的非常少。
　　

3、(2)在Deep Web爬蟲(chóng)體系結(jié)構(gòu)的基礎(chǔ)上,詳細(xì)分析了支持Ajax的Deep Web爬蟲(chóng)所面臨的困難:Ajax查詢(xún)接口的識(shí)別、Ajax表單提交、Ajax分頁(yè)抓取。基于此,構(gòu)建了支持Ajax的Deep Web爬蟲(chóng)框架。
　　 (3)對(duì)Ajax查詢(xún)接口,根據(jù)特征將其分為三種類(lèi)型。針對(duì)三種類(lèi)型的Ajax查詢(xún)接口,分別給出其識(shí)別方法與處理模型。最后完成Ajax表單的提交。
　　 (4)基于DOM樹(shù)和子樹(shù)的相似度,建立了結(jié)果索引