基于腳本代碼和局部數(shù)據(jù)匹配的網(wǎng)頁(yè)抽取研究.pdf

1、隨著互聯(lián)網(wǎng)地高速發(fā)展，Internet在我們?nèi)粘５纳钪邪缪菰絹?lái)越重要的角色，成為我們生活和工作中必不可少的一部分。網(wǎng)絡(luò)地高速發(fā)展帶來(lái)了網(wǎng)絡(luò)信息地爆炸式增長(zhǎng)，而網(wǎng)絡(luò)用戶對(duì)信息的需求也越來(lái)越高。作為Web信息的主要載體，網(wǎng)頁(yè)的結(jié)構(gòu)越來(lái)越復(fù)雜，網(wǎng)頁(yè)內(nèi)容也越來(lái)越豐富。但Web上的信息都是半結(jié)構(gòu)化或非結(jié)構(gòu)化的，主要以HTML語(yǔ)言的形式出現(xiàn)，不能直接用于分析處理。因此，如何將Web上信息抽取出來(lái)，以便用戶根據(jù)自身需要對(duì)數(shù)據(jù)加以分析，成為現(xiàn)今數(shù)據(jù)抽

2、取方面的研究熱點(diǎn)。
　　 網(wǎng)頁(yè)信息抽取按其自動(dòng)化程度可以分為:手工抽取、半自動(dòng)抽取、全自動(dòng)抽取，全自動(dòng)化網(wǎng)頁(yè)信息抽取技術(shù)已經(jīng)成為網(wǎng)頁(yè)信息抽取的主要發(fā)展趨勢(shì)。其過(guò)程是:1）首先將網(wǎng)頁(yè)代碼轉(zhuǎn)換成相應(yīng)的DOM結(jié)構(gòu)，聚類DOM結(jié)構(gòu)相似的網(wǎng)頁(yè);2）接受兩個(gè)同類頁(yè)面，一個(gè)作為樣本，另一個(gè)作為頁(yè)面包裝器(wrapper)，之后符號(hào)化輸入頁(yè)面，通過(guò)頁(yè)面中字符串和標(biāo)記的符號(hào)歸納規(guī)則，生成對(duì)應(yīng)的包裝器;3）通過(guò)包裝器完成對(duì)其他同類頁(yè)面的抽取。然而，

3、面對(duì)現(xiàn)實(shí)中結(jié)構(gòu)復(fù)雜、變化迅速的Web頁(yè)面，基于DOM結(jié)構(gòu)的聚類方法存在準(zhǔn)確性差、時(shí)間代價(jià)高等問(wèn)題，且當(dāng)頁(yè)面的DOM結(jié)構(gòu)發(fā)生改變，特別是層次性變化時(shí)，包裝器經(jīng)常出現(xiàn)失效的情況。本文提出了一套新型的抽取方法，首先把嵌入在網(wǎng)頁(yè)中腳本代碼轉(zhuǎn)換成控制代碼樹(shù)，采用動(dòng)態(tài)規(guī)劃算法求樹(shù)之間的最小編輯距離，將小于閾值的網(wǎng)頁(yè)聚為一類，之后采取局部數(shù)據(jù)特征匹配等強(qiáng)容錯(cuò)性抽取策略自動(dòng)生成包裝器，完成對(duì)同類網(wǎng)頁(yè)的抽取。
　　 本文的創(chuàng)新點(diǎn)以及研究貢獻(xiàn)主要有

4、以下幾方面:1.首次定義和提出控制代碼樹(shù)的概念并將其作為近似頁(yè)面聚類的依據(jù)，控制代碼樹(shù)更能體現(xiàn)同類模板網(wǎng)頁(yè)特性且其樹(shù)節(jié)點(diǎn)規(guī)模遠(yuǎn)小于DOM樹(shù)。2.本文結(jié)合研究背景，提出了一套基于動(dòng)態(tài)規(guī)劃思想的樹(shù)編輯距離算法，在O(n3)完成編輯距離的求解。3.采用局部特征匹配、關(guān)鍵數(shù)據(jù)區(qū)域劃分等強(qiáng)容錯(cuò)性抽取策略生成包裝器，在一定程度上過(guò)濾了廣告等無(wú)用信息，修正了由于標(biāo)簽缺失增補(bǔ)而引起的包裝器失效等問(wèn)題。相比于傳統(tǒng)方法，包裝器的抽取準(zhǔn)確性和魯棒性有明顯提高