基于結(jié)構(gòu)和內(nèi)容的Web數(shù)據(jù)抽取技術(shù)研究.pdf

1、目前的互聯(lián)網(wǎng)已經(jīng)發(fā)展成為擁有上億用戶和幾百萬個(gè)站點(diǎn)的巨大的分布式信息空間，而且其信息量仍在飛速增加，因此查詢網(wǎng)上信息變得日益重要。大多搜索引擎采用的方法是用戶提出需要查詢內(nèi)容的關(guān)鍵詞，搜索引擎根據(jù)關(guān)鍵詞確定查尋的內(nèi)容。由于這種方法不能對(duì)網(wǎng)頁中較細(xì)節(jié)的信息進(jìn)行查詢，所以研究人員希望借鑒一些數(shù)據(jù)庫技術(shù)進(jìn)行互聯(lián)網(wǎng)上信息的查詢，因此如何從Web(環(huán)球網(wǎng))頁面，特別是從HTML(HyperTextMarkupLanguage：超文本標(biāo)識(shí)語言)文檔

2、中抽取有用信息，已經(jīng)成為基于Web頁面的信息檢索系統(tǒng)迫切需要解決的問題?；谏鲜霰尘埃疚淖隽艘韵聨讉€(gè)方面的工作。 首先，對(duì)目前抽取準(zhǔn)確度和完整程度最好的EXALG方法進(jìn)行了深入分析，指出EXALG系統(tǒng)中存在著成對(duì)標(biāo)簽不一致，模板中的文字節(jié)點(diǎn)出現(xiàn)多個(gè)出現(xiàn)向量，等價(jià)類識(shí)別錯(cuò)誤等問題。 其次，提出了一個(gè)改進(jìn)的數(shù)據(jù)抽取方法，即EXALG+；給出有關(guān)定義和抽取流程；提出等價(jià)類的近似順序性和近似嵌套性概念。采取具體的標(biāo)簽技術(shù)解決E

3、XALG存在的問題：進(jìn)行標(biāo)記的角色區(qū)分時(shí)，將配對(duì)的標(biāo)簽放在一起加以處理；通過合并文字節(jié)點(diǎn)，使標(biāo)簽滿足系統(tǒng)設(shè)定的最小支持度；利用DOM樹的路徑和等價(jià)類的區(qū)間位置差異來區(qū)分正確等價(jià)類；選擇加入到與標(biāo)記相近的等價(jià)類中的方法，來處理等價(jià)類分割時(shí)產(chǎn)生的問題。使用每種標(biāo)簽技術(shù)時(shí)都給出了實(shí)例，并給出了EXALG+算法描述。 最后，利用EXALG作者給出的數(shù)據(jù)源和實(shí)驗(yàn)結(jié)果，在添加了部分新的頁面實(shí)例后，驗(yàn)證EXALG+系統(tǒng)在準(zhǔn)確度和完整程度方面的