基于相似性比較的Web信息抽取與集成.pdf

1、網頁瀏覽和搜索引擎的關鍵字檢索是人們從Internet上獲取信息的傳統方法，其局限性主要表現在：網頁瀏覽方式很難在Internet上定何特定的知識；搜索引擎則很容易將所需知識淹沒在大量的無關網頁中。隨著網絡技術的發(fā)展，目前出現了一些全新的基于Web的應用，例如監(jiān)控股票市場的及時行情，比較各個站點的商品價格等等，在此情形下僅憑搜索引擎和Web查詢等技術已無法滿足這些新興的需求。為解決這一問題，Web信息抽取技術應運而生，并幫助人們從網絡所

2、提供的大量信息中提煉出其所關心的特定部分信息。與信息檢索技術不同，Web信息抽取技術側重于從web文檔集合中發(fā)現相關文檔，并從中抽出用戶關心的數據。 在目前絕大部分基于Web的應用中，往往是將大量的數據保存在網站的后臺數據庫中，當用戶提出某種信息需求時，Web服務器即根據用戶的查詢要求或條件將相關數據注入網頁模板中，動態(tài)的生成Web頁面以展示用戶所需要的信息。在這類應用中有一個特性，即Web頁面中的數據記錄間具有極高的結構相似性

3、，并且Web數據記錄對應的DOM子樹間也具有很高的結構相似性。因此，本文首先從分析Web文檔與DOM樹的對應關系及其規(guī)律入手，借鑒網頁去噪的剪枝思想，提出一種基于相似性比較的信息抽取算法，即DES算法，該算法通過對基于同一模板的兩個相似網頁內容相似度的比較，準確定位網頁中的數據區(qū)域，并在此基礎上，分析數據區(qū)域中數據項之間的結構相似性，識別數據項，從而實現對Web信息以數據記錄的形式進行抽取。另外，為對所抽取的Web信息做進一步的處理，本