Deep Web數(shù)據(jù)獲取方法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,Web中的信息規(guī)模日益擴(kuò)大,為人們提供了各種各樣可利用的信息。其中大量的信息是存儲(chǔ)在Web數(shù)據(jù)庫當(dāng)中,只能通過網(wǎng)頁中的查詢接口才能訪問。改變了通過鏈接來訪問網(wǎng)頁的方式,使得傳統(tǒng)的搜索引擎無法獲取,因而被稱為Deep Web。高速增長的Deep Web信息已成為人們進(jìn)行信息獲取的一個(gè)重要來源,然而Deep Web數(shù)據(jù)的異構(gòu)性和動(dòng)態(tài)性,為大規(guī)模Deep Web數(shù)據(jù)集成帶來巨大的挑戰(zhàn)。通過獲取Deep Web的數(shù)據(jù),在本

2、地集成Web數(shù)據(jù)庫的重要性正在逐漸凸顯。
　　 本文針對(duì)Deep Web數(shù)據(jù)獲取的相關(guān)技術(shù)進(jìn)行深入研究,并提出了相應(yīng)的算法和模型。本文的主要研究工作如下:
　　 (1)研究了Deep Web站點(diǎn)和查詢接口的特點(diǎn),在表單的屬性選擇方面,提出了一種基于屬性相關(guān)度的屬性組合有效性的計(jì)算方法。
　　 (2)分析了查詢接口中屬性的特點(diǎn),提出了通過機(jī)器學(xué)習(xí)的方法識(shí)別查詢接口中每個(gè)特定的文本屬性。
　　 (3)通過對(duì)屬

3、性的分類,針對(duì)不同類型的屬性采用不同方法產(chǎn)生查詢?cè)~。對(duì)于普通的文本屬性,提出了通過抽取查詢結(jié)果頁中的相應(yīng)內(nèi)容,并通過適應(yīng)性策略來選取合適的關(guān)鍵詞作為查詢?cè)~的方法。對(duì)于特定的文本屬性,使用人工建立知識(shí)庫的方法。
　　 (4)分析了Deep Web數(shù)據(jù)源中網(wǎng)頁的更新特點(diǎn),通過泊松模型對(duì)網(wǎng)頁更新事件建立模型,增量獲取Deep Web數(shù)據(jù)。并設(shè)計(jì)了增量獲取Deep Web數(shù)據(jù)的爬蟲系統(tǒng)結(jié)構(gòu)。
　　 此外,本文還對(duì)文中提出的方法和