支持Ajax的Deep Web爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,網(wǎng)絡(luò)資源越來(lái)越豐富,人們?nèi)绾螐木W(wǎng)絡(luò)上抽取信息也變得至關(guān)重要,尤其是深層網(wǎng)絡(luò)(Deep Web)信息獲取更是人們應(yīng)關(guān)注的焦點(diǎn)。Deep Web是指雖然通過(guò)互聯(lián)網(wǎng)可以獲取,但普通搜索引擎由于受技術(shù)限制而不能或不作索引的信息。為了構(gòu)建更為動(dòng)態(tài)和響應(yīng)更靈敏的Web應(yīng)用程序,實(shí)現(xiàn)瀏覽器和服務(wù)器的異步并行處理,Ajax應(yīng)運(yùn)而生。如今Ajax技術(shù)得到了廣泛的應(yīng)用,毋庸置疑,Ajax能夠很好地提升網(wǎng)絡(luò)應(yīng)用的響應(yīng)和交互性,但與此同時(shí)

2、由于Ajax的一些特性,比如客戶端腳本執(zhí)行、狀態(tài)改變、動(dòng)態(tài)呈現(xiàn)模型及可點(diǎn)擊元素多樣化等,Ajax無(wú)形中也增加了Deep Web中的信息。本文設(shè)計(jì)并實(shí)現(xiàn)了支持Ajax的Deep Web爬蟲(chóng)。該爬蟲(chóng)能識(shí)別DOM樹(shù)中的可點(diǎn)擊元素,運(yùn)行客戶端代碼,形成一個(gè)狀態(tài)流圖,以呈現(xiàn)Ajax應(yīng)用中各個(gè)狀態(tài)及導(dǎo)航路徑;根據(jù)該狀態(tài)流圖,本爬蟲(chóng)能夠生成相對(duì)于原Ajax應(yīng)用的一個(gè)多頁(yè)面的靜態(tài)版本以及Sitemap。本文旨在將Ajax網(wǎng)站動(dòng)態(tài)生成的部分暴露給搜索引擎