深度網(wǎng)爬蟲(chóng)及更新策略研究.pdf

1、21世紀(jì)是以網(wǎng)絡(luò)為基礎(chǔ)、高新技術(shù)為核心的知識(shí)經(jīng)濟(jì)社會(huì)，網(wǎng)絡(luò)對(duì)我們的生活越來(lái)越重要，越來(lái)越多的人從網(wǎng)上搜索資料，如今用戶(hù)對(duì)搜索引擎的依賴(lài)性越來(lái)越強(qiáng)，對(duì)搜索結(jié)果“專(zhuān)、精、深”要求也越來(lái)越高，傳統(tǒng)的網(wǎng)頁(yè)搜索引擎已經(jīng)滿(mǎn)足不了廣大用戶(hù)的需求。Deep Web與普通網(wǎng)頁(yè)相比，信息量更大、主題更專(zhuān)一、數(shù)據(jù)結(jié)構(gòu)化信息更好、信息質(zhì)量更高，能有效地對(duì)Deep Web中的資源進(jìn)行搜索，為用戶(hù)提供更有價(jià)值的信息。
　　 Deep Web搜索需要突破傳統(tǒng)

2、搜索技術(shù)上的局限性，從網(wǎng)絡(luò)上自動(dòng)識(shí)別可搜索的數(shù)據(jù)庫(kù)，通過(guò)搜索接口提交搜索請(qǐng)求并對(duì)返回的查詢(xún)結(jié)果進(jìn)行分析，取出需要的數(shù)據(jù)處理后再以某種形式返回給用戶(hù)。本著搜索更深入，信息更專(zhuān)業(yè)的宗旨，文本論述了深度網(wǎng)關(guān)鍵研究工作，實(shí)現(xiàn)了基于云計(jì)算的深度網(wǎng)垂直搜索系統(tǒng)。將互聯(lián)網(wǎng)海量無(wú)序化信息結(jié)構(gòu)化，為用戶(hù)提供專(zhuān)著、具體、深入的信息檢索服務(wù)，采用簡(jiǎn)單模式、文本向量特征等多種分類(lèi)方式實(shí)現(xiàn)頁(yè)面的準(zhǔn)確歸類(lèi)。并通過(guò)實(shí)驗(yàn)證明，該方法具有網(wǎng)頁(yè)抓取的高效性以及頁(yè)面分類(lèi)的準(zhǔn)