面向領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、伴隨著Web2.0的瘋狂普及,網(wǎng)絡(luò)信息資源的膨脹速度也呈指數(shù)增長(zhǎng),海量的數(shù)據(jù)資源已經(jīng)遠(yuǎn)遠(yuǎn)超出搜索引擎所能覆蓋的范圍,要想使用傳統(tǒng)的搜索引擎技術(shù)快速、準(zhǔn)確地查找所需信息變得越來(lái)越困難。數(shù)據(jù)量驚人的遞增速度使得通用搜索引擎難以及時(shí)地更新索引數(shù)據(jù)庫(kù)；龐大的網(wǎng)頁(yè)資源也使得通用搜索引擎深入地抓取信息變得更加困難。針對(duì)這些缺點(diǎn),新一代搜索技術(shù)——垂直搜索引擎應(yīng)運(yùn)而生。
　　 垂直搜索引擎是通用搜索引擎的細(xì)分和延伸,它只針對(duì)某一個(gè)行業(yè)或主題,

2、為特定人群提供有價(jià)值的信息和相關(guān)服務(wù)。主題爬行和檢索服務(wù)作為兩個(gè)重要環(huán)節(jié)在很大程度上影響著垂直搜索引擎查詢的準(zhǔn)確率和檢索效率。如何快速高效地判斷并預(yù)測(cè)主題相關(guān)網(wǎng)頁(yè),以及如何帶給用戶清晰、準(zhǔn)確的檢索反饋成為制約垂直搜索引擎發(fā)展的兩大難題。因此,如何改善這兩個(gè)環(huán)節(jié)成為本文工作的出發(fā)點(diǎn)。
　　 本文提出了基于分類法的目錄式主題描述法,并以此實(shí)現(xiàn)了新的主題爬行策略。使得主題爬蟲不再盲目的預(yù)測(cè)主題相關(guān)網(wǎng)頁(yè)的方向,而是通過(guò)賦予在ODP中不同