支持動(dòng)態(tài)頁面的快速URL提取方法研究.pdf

1、Web2.0技術(shù)在互聯(lián)網(wǎng)上的出現(xiàn)以及社交平臺(tái)的興起，極大的促進(jìn)了動(dòng)態(tài)網(wǎng)頁的使用和普及。動(dòng)態(tài)網(wǎng)頁中的Ajax技術(shù)，實(shí)現(xiàn)了客戶端和服務(wù)端之間數(shù)據(jù)的異步操作，不僅滿足了新時(shí)代的技術(shù)需要，同時(shí)也提高了用戶體驗(yàn)，更是促進(jìn)了互聯(lián)網(wǎng)的發(fā)展。但是，傳統(tǒng)網(wǎng)絡(luò)爬蟲并不能應(yīng)對(duì)動(dòng)態(tài)網(wǎng)頁帶來的新特征，所以支持動(dòng)態(tài)頁面的網(wǎng)絡(luò)爬蟲的研究就具有了一定實(shí)踐意義。對(duì)于主題網(wǎng)絡(luò)爬蟲而言，噪聲鏈接不僅沒有價(jià)值，而且還會(huì)占用大量的資源，尤其是網(wǎng)絡(luò)爬蟲對(duì)噪聲鏈接對(duì)應(yīng)網(wǎng)頁的采集和分

2、析，極大地降低了網(wǎng)絡(luò)爬蟲爬取的效率。
　　針對(duì)上述問題，本文的主要研究內(nèi)容如下：
　　首先，針對(duì)動(dòng)態(tài)網(wǎng)頁中關(guān)鍵技術(shù)Ajax異步操作的原理，解決了如何令網(wǎng)絡(luò)爬蟲支持動(dòng)態(tài)網(wǎng)頁爬取的問題。本文通過 HTTP請求獲取到網(wǎng)頁，然后將網(wǎng)頁在本地進(jìn)行DOM樹的構(gòu)建，進(jìn)行對(duì)腳本的解析和URL的提取，并通過對(duì)HtmlUnit的源碼修改來解析需要進(jìn)行點(diǎn)擊觸發(fā)的腳本，從而解決傳統(tǒng)網(wǎng)絡(luò)爬蟲對(duì)動(dòng)態(tài)網(wǎng)頁中動(dòng)態(tài)生成的URL難以獲取的問題；
　　其次

3、，由于噪聲鏈接極大地降低了網(wǎng)絡(luò)爬蟲的效率，所以本文對(duì)網(wǎng)頁噪聲的去除算法進(jìn)行了研究。傳統(tǒng)的網(wǎng)頁去噪算法針對(duì)網(wǎng)頁整體結(jié)構(gòu)進(jìn)行處理，去噪效率低下。本文對(duì)提取后的URL結(jié)果通過聚類之后進(jìn)行相似度計(jì)算進(jìn)行去噪，并提出了基于改進(jìn)Single-Pass算法的噪聲鏈接去除算法，該算法在去噪的準(zhǔn)確率上取得了較好的效果；
　　最后，實(shí)現(xiàn)了支持動(dòng)態(tài)頁面的快速提取URL主題網(wǎng)絡(luò)爬蟲系統(tǒng)，并針對(duì)動(dòng)態(tài)網(wǎng)頁解析及動(dòng)態(tài)生成URL的提取、去噪算法的效果對(duì)比和主題網(wǎng)