Deep Web查詢接口聚類的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展,Web中蘊(yùn)含的信息也在極速的擴(kuò)張著。從網(wǎng)絡(luò)中信息的隱含的層次深度來(lái)看。我們可以將Web劃分“Surface Web”(表層網(wǎng))和“Deep Web”(深層網(wǎng))。“Surface Web”是指那些我們無(wú)需向網(wǎng)絡(luò)提交查詢或請(qǐng)求而可以直接訪問的 Web頁(yè)面,這也是傳統(tǒng)的搜索引擎,如:百度、google等當(dāng)前所涉及的搜索領(lǐng)域;而對(duì)于“Deep Web”,用戶必須通過填寫表單或提交請(qǐng)求,才能獲取所需數(shù)據(jù)。并且“Dee

2、p Web”中的信息具有以下5方面特點(diǎn):(1)傳統(tǒng)的搜索引擎無(wú)法獲取;(2)用戶通過填寫表單來(lái)獲取信息;(3)蘊(yùn)含的信息質(zhì)量更高,數(shù)量更大;(4)領(lǐng)域特征明顯;(5)大部分可以免費(fèi)訪問。而傳統(tǒng)的通用搜索引擎的搜索結(jié)果僅僅覆蓋了“Surface Web”,因此并不能為用戶返回有效的查詢結(jié)果。為了向用戶提供高效的Deep Web信息搜索服務(wù),關(guān)鍵是要向用戶提供一個(gè)包含各個(gè)領(lǐng)域的統(tǒng)一的集成查詢接口。正如百度和谷歌那樣,一個(gè)簡(jiǎn)單的搜索框。在研究

3、Deep Web數(shù)據(jù)集成時(shí),由于Deep Web的特殊性,使研究工作面臨種種困難,目前一個(gè)公認(rèn)的有效途徑就是按照領(lǐng)域來(lái)進(jìn)行Deep Web數(shù)據(jù)集成。而如何對(duì)不同領(lǐng)域的Deep Web查詢接口進(jìn)行有效的聚類,便成為生成集成查詢接口時(shí)需要解決的核心問題之一。并且已經(jīng)成為當(dāng)前學(xué)術(shù)界和商業(yè)界的研究熱點(diǎn)。
　　論文圍繞Deep Web查詢接口聚類這一核心問題展開。所做的研究工作及貢獻(xiàn)如下:
　　一、對(duì)Deep Web領(lǐng)域整體的研究背景

4、、研究現(xiàn)狀、發(fā)展趨勢(shì)和需要解決的關(guān)鍵問題進(jìn)行了分析和總結(jié)。為后續(xù)研究工作打下基礎(chǔ)。
　　二、對(duì)Deep Web查詢接口預(yù)處理進(jìn)行初步探索。對(duì)本體相關(guān)概念、體構(gòu)建方法和本體構(gòu)建工具進(jìn)行深入研究。通過構(gòu)建領(lǐng)域本體,對(duì)Deep Web查詢接口進(jìn)行語(yǔ)義擴(kuò)展。增加同一領(lǐng)域內(nèi)查詢接口的相似度。解決部分查詢接口屬性稀疏的問題。
　　三、提出了基于潛在語(yǔ)義分析的Deep Web查詢接口聚類算法。為解決Deep Web查詢接口聚類時(shí)“一詞多義

5、”的問題開辟新的思路。首先對(duì)潛在語(yǔ)義分析(LSA)的理論進(jìn)行了深入研究,在查詢接口聚類時(shí)引入潛在語(yǔ)義分析的方法,消除噪聲數(shù)據(jù),發(fā)掘出查詢接口之間的內(nèi)在語(yǔ)義關(guān)系。實(shí)驗(yàn)結(jié)果表明,新算法得出的實(shí)驗(yàn)結(jié)果要優(yōu)于傳統(tǒng)的基于向量空間模型(VSM)的方法。
　　四、研究在海量數(shù)據(jù)情況下,如何提升查詢接口聚類算法的性能?？紤]到 Deep Web查詢接口逐漸呈現(xiàn)出海量的特性,以及大數(shù)據(jù)時(shí)代的到來(lái)。對(duì)Hadoop分布式平臺(tái)和MapReduce編程模型進(jìn)