利用Nutch研究與實(shí)現(xiàn)支持Ajax動態(tài)網(wǎng)頁的網(wǎng)絡(luò)爬蟲系統(tǒng).pdf

1、隨著Web2.0的快速發(fā)展，網(wǎng)站對于Ajax技術(shù)的應(yīng)用越來越多。Ajax技術(shù)通過異步調(diào)用，進(jìn)行頁面局部刷新，在很大程度上提高了用戶的體驗(yàn)度、減少了網(wǎng)絡(luò)傳輸流量以及提高了網(wǎng)站的訪問速度等。在Ajax技術(shù)使得互聯(lián)網(wǎng)的交互模式發(fā)生變革的同時，也給用戶和開發(fā)人員帶來了一系列的問題。例如JavaScript代碼的使用和編寫不規(guī)范、瀏覽器的不兼容性、頁面請求次數(shù)過多、Ajax技術(shù)的濫用造成的服務(wù)器負(fù)擔(dān)過重等許多問題。
　　爬蟲系統(tǒng)屬于搜索引擎

2、中的一個必備的數(shù)據(jù)采集子系統(tǒng)，搜索引擎根據(jù)爬蟲系統(tǒng)采集的數(shù)據(jù)建立索引后，對用戶提供搜索服務(wù)。Ajax技術(shù)的大量使用對于搜索引擎也有著重要的影響。傳統(tǒng)的搜索引擎只提供了對靜態(tài)頁面的數(shù)據(jù)的搜索服務(wù)，對由Ajax技術(shù)產(chǎn)生的動態(tài)數(shù)據(jù)卻不能提供搜索服務(wù)。Ajax技術(shù)的大量使用造成了由Ajax技術(shù)生成的頁面動態(tài)數(shù)據(jù)的日益龐大。這部分動態(tài)數(shù)據(jù)在數(shù)據(jù)分析、數(shù)據(jù)挖掘等方面都具有重要的意義。例如新浪新聞上面的部分評論是通過Ajax技術(shù)動態(tài)生成的，這部分?jǐn)?shù)據(jù)