基于XML的Web表格內(nèi)容抽取技術(shù)研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，Web已經(jīng)成為一個龐大的信息倉庫，是人們獲取知識的主要來源。作為一個表達關(guān)系信息簡潔而有效的途徑，表格在Web文檔中的應(yīng)用十分廣泛。據(jù)研究發(fā)現(xiàn)，約52[％]的HTML文檔中都使用了表格元素。表格是規(guī)范數(shù)據(jù)的載體，其中涵蓋了大量有價值的信息。因此，研究Web表格內(nèi)容抽取在信息抽取領(lǐng)域中有著重要的作用。
　　 論文結(jié)合XML標(biāo)準(zhǔn)技術(shù)，提出一種新的基于XML的Web表格內(nèi)容抽取方案，用以解決用戶獲取目標(biāo)數(shù)據(jù)的問題

2、。該方案首先設(shè)計了一種相似表格網(wǎng)頁批量獲取方法，將源網(wǎng)頁存儲到知識庫。通過設(shè)計的頁面清洗和去除噪聲算法，有效地將源HTML文檔轉(zhuǎn)換成符合XML標(biāo)準(zhǔn)的XHTML文檔。在把文檔解析成XMLDOM樹的基礎(chǔ)上，提出了一種生成樣本實例Xpath的算法，并通過歸納學(xué)習(xí)的方式獲得目標(biāo)數(shù)據(jù)的公共路徑。除了學(xué)習(xí)樣本實例外，論文還給出了一種自動抽取方式的設(shè)計方案。它利用啟發(fā)式規(guī)則定位數(shù)據(jù)區(qū)域，根據(jù)兩棵樹之間的相似度分離出數(shù)據(jù)項子樹，通過比較相似子樹來確定目

3、標(biāo)信息點，從而獲得所有目標(biāo)信息點的公共Xpath表達式。抽取規(guī)則文件的生成是自動模式的，它利用XSLT作為抽取規(guī)則的描述語言，使用Xpath來定位待抽取信息點，抽取出的數(shù)據(jù)存放在XML文件中。最后，利用數(shù)據(jù)存儲算法，將XML中的結(jié)構(gòu)化數(shù)據(jù)遷移到關(guān)系數(shù)據(jù)庫中。
　　 基于上述方法，論文設(shè)計并開發(fā)了一個基于XML的Web表格內(nèi)容抽取原型系統(tǒng)。從大量動態(tài)Web表格網(wǎng)頁的實驗結(jié)果可以得出，該方法能有效解決Web表格信息抽取中存在的問題，