Deep Web查詢接口發(fā)現(xiàn)與特征提取技術(shù)研究.pdf

1、伴隨著Internet快速發(fā)展，許多網(wǎng)絡(luò)應(yīng)用深入人們?nèi)粘Ｉ?，搜索引擎技術(shù)是其中的佼佼者。傳統(tǒng)的搜索引擎技術(shù)無(wú)法找到的網(wǎng)絡(luò)數(shù)據(jù)資源被稱為Deep Web。Deep Web數(shù)據(jù)挖掘研究是網(wǎng)絡(luò)數(shù)據(jù)管理與集成的熱點(diǎn)研究方向。
　　 現(xiàn)階段的Deep Web研究主要集中在查詢接口深度集成和查詢結(jié)果模式抽取兩方面，目的是建立起Deep Web數(shù)據(jù)集成框架，但是真正的集成體系尚未構(gòu)建完善。作為集成框架的基礎(chǔ)，正確有效的進(jìn)行Deep Web查

2、詢接口發(fā)現(xiàn)、分類、集成處理尤為重要。本文研究工作是尋找一種自動(dòng)深度網(wǎng)查詢接口發(fā)現(xiàn)技術(shù)和查詢接口特征提取技術(shù)從而有效的進(jìn)行查詢接口深度集成，主要研究及成果如下：
　　 第一：Deep Web頁(yè)面的標(biāo)簽特性、視覺(jué)特性、層次特性
　　 通過(guò)對(duì)大量Deep Web頁(yè)面的分析，發(fā)現(xiàn)了Deep Web頁(yè)面存在著標(biāo)簽特性，視覺(jué)特性，層次特性。標(biāo)簽特性方面，分析Deep Web頁(yè)面的HTML文檔將其標(biāo)簽結(jié)構(gòu)轉(zhuǎn)化為樹形結(jié)構(gòu)，從而更好的利用

3、計(jì)算機(jī)進(jìn)行數(shù)據(jù)分析和處理；視覺(jué)特性方面，分析了Deep Web頁(yè)面的頁(yè)面布局，通過(guò)對(duì)各個(gè)標(biāo)簽的視覺(jué)特征屬性進(jìn)行分析從而將其轉(zhuǎn)化為視覺(jué)塊，標(biāo)簽視覺(jué)塊的有效組合拼湊構(gòu)成了頁(yè)面整體：層次特性方面，根據(jù)人們?yōu)g覽網(wǎng)頁(yè)資源時(shí)的視覺(jué)特性以及網(wǎng)頁(yè)標(biāo)簽的樹形結(jié)構(gòu)，構(gòu)建標(biāo)簽樹層次結(jié)構(gòu)對(duì)應(yīng)的視覺(jué)圖層，頁(yè)面是視覺(jué)圖層的疊加。
　　 第二：基于層次結(jié)構(gòu)的Deep Web查詢接口發(fā)現(xiàn)
　　 結(jié)合Deep Web頁(yè)面的標(biāo)簽、視覺(jué)、層次特征，文本提出了

4、基于層次結(jié)構(gòu)的DeepWeb查詢接口發(fā)現(xiàn)技術(shù)。該方法通過(guò)分析頁(yè)面的總體標(biāo)簽結(jié)構(gòu)構(gòu)建出頁(yè)面的標(biāo)簽樹，通過(guò)分析標(biāo)簽的視覺(jué)特征構(gòu)建出視覺(jué)塊，然后將標(biāo)簽樹各個(gè)層次按視覺(jué)塊堆積轉(zhuǎn)化為視覺(jué)圖層，分析查詢接口的標(biāo)簽特性和視覺(jué)特性以及查詢接口占據(jù)頁(yè)面核心區(qū)域的特點(diǎn)，最后計(jì)算控件標(biāo)簽的聚合度來(lái)判斷查詢接口。
　　 第三：基于潛在領(lǐng)域的查詢接口特征提取
　　 深度網(wǎng)查詢接口由多個(gè)控件和詞組匯集而成，本文將查詢接口轉(zhuǎn)化為純文本，然后結(jié)合文本處