基于主題的Hidden Web信息獲取研究.pdf

1、隨著World wide Web(WWW)的爆炸式增長,Hidden Web中蘊(yùn)含了海量的可供訪問的信息,并且還在迅速地增長。這些信息需要通過查詢接口在線訪問其后端的Web數(shù)據(jù)庫才能得到。盡管豐富的信息蘊(yùn)藏在Hidden Web中,由于Hidden Web數(shù)據(jù)的隱藏特性,傳統(tǒng)的搜索引擎對其不做索引,導(dǎo)致大量的有用信息被浪費。而有效地把這些信息加以利用是一件十分具有挑戰(zhàn)性的工作。 對于Hidden Web的獲取目前成為信息檢索研究

2、的一個新興領(lǐng)域。本文首先介紹了Hidden Web的成因和結(jié)構(gòu)特點,然后對比了Hidden Web爬蟲和傳統(tǒng)爬蟲的異同之處,分析了在設(shè)計Hidden Web爬蟲時需要解決的關(guān)鍵性技術(shù)。在總結(jié)現(xiàn)有的網(wǎng)絡(luò)爬蟲的基礎(chǔ)上,通過對其架構(gòu)進(jìn)行改進(jìn)和優(yōu)化,提出了一種基于主題獲取Hidden Web信息的方法,文中給出了系統(tǒng)的框架結(jié)構(gòu),分析了Hidden Web爬蟲抓取頁面時的幾個步驟,并討論了實現(xiàn)的關(guān)鍵技術(shù)。 通過引入的主題技術(shù),能夠節(jié)省網(wǎng)絡(luò)