基于樹匹配的交互式Web數(shù)據(jù)抽取技術(shù)的研究.pdf

1、網(wǎng)頁瀏覽和搜索引擎的關(guān)鍵字檢索是人們從Internet上獲取信息的傳統(tǒng)方法，其局限性主要表現(xiàn)在：網(wǎng)頁瀏覽方式很難在Internet上定位特定的知識(shí)；而搜索引擎卻很容易將所需知識(shí)淹沒在大量的無關(guān)網(wǎng)頁中。目前出現(xiàn)了一些全新的基于Web的應(yīng)用，例如監(jiān)控股票市場的及時(shí)行情，比較各個(gè)站點(diǎn)的商品價(jià)格等等。僅憑搜索引擎和Web查詢技術(shù)無法滿足這些新興的需求。與信息檢索技術(shù)不同的是，數(shù)據(jù)抽取技術(shù)更側(cè)重于從web文檔集合中發(fā)現(xiàn)相關(guān)文檔，并從中抽出用戶關(guān)心

2、的數(shù)據(jù)，即將HTML等半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化的數(shù)據(jù)。 大量的網(wǎng)上數(shù)據(jù)信息被保存在網(wǎng)站的后臺(tái)數(shù)據(jù)庫中，Web數(shù)據(jù)庫依據(jù)用戶的特殊的查詢要求或條件動(dòng)態(tài)的生成Web頁面，即查詢相關(guān)的Web。Web頁面中的數(shù)據(jù)記錄之間具有極高的代碼結(jié)構(gòu)相似性，Web數(shù)據(jù)記錄對(duì)應(yīng)的DOM子樹之間自然也就具有很高的結(jié)構(gòu)相似性。 本文從分析Web文檔與DOM樹的對(duì)應(yīng)關(guān)系入手，提出了一種基于子樹匹配的交互式抽取方法，XHTML對(duì)應(yīng)的DOM樹是該方

3、法的Web數(shù)據(jù)結(jié)構(gòu)化和分析抽取的基礎(chǔ)。方法依據(jù)Web數(shù)據(jù)記錄和DOM子樹的一一對(duì)應(yīng)關(guān)系，通過分析一條或幾條數(shù)據(jù)記錄的代碼結(jié)構(gòu)，實(shí)現(xiàn)對(duì)全部類似數(shù)據(jù)記錄的發(fā)現(xiàn)和抽出。方法通過與用戶交互的方式生成數(shù)據(jù)抽取規(guī)則，并將多序列比對(duì)算法引入到抽取規(guī)則生成過程；將子樹的劃分引入到數(shù)據(jù)抽取過程中，結(jié)合TOP-DOWN樹匹配算法，實(shí)現(xiàn)對(duì)DOM樹中的數(shù)據(jù)記錄的發(fā)現(xiàn)及抽出。 應(yīng)用基于組件的模式對(duì)原型系統(tǒng)進(jìn)行了實(shí)現(xiàn)，試驗(yàn)證明，基于子樹匹配的交互式抽取方法