一種專題式搜索引擎Spider的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)(Intemet)的高速發(fā)展，人們的信息來源得到了極大的豐富，信息獲取方式也隨之而改變。這為人類帶來機(jī)遇的同時(shí)也帶來了挑戰(zhàn)。在Web信息呈現(xiàn)幾何級數(shù)增長的情況下，如何能夠快速而準(zhǔn)確地獲取所需信息成為研究的熱點(diǎn)之一。專題式搜索引擎(或?qū)I(yè)搜索引擎)就是在這樣的背景下孕育而生。 搜索引擎包含多個(gè)模塊，其中網(wǎng)絡(luò)蜘蛛Spider主要負(fù)責(zé)為搜索引擎提供數(shù)據(jù)來源。作為專業(yè)搜索引擎的Spider程序，對所處理的頁面與專業(yè)的相關(guān)性有特

2、殊要求。本論文從專業(yè)搜索引擎的特殊要求出發(fā)，提出以下創(chuàng)新點(diǎn)：(1)借鑒操作系統(tǒng)中CPU時(shí)間片輪換策略的思想，提出站點(diǎn)深度優(yōu)先搜索模型，對同站點(diǎn)頁面進(jìn)行集中抓取；(2)提出頁面和站點(diǎn)加權(quán)算法，以權(quán)值的形式表征頁面、站點(diǎn)與專業(yè)的相關(guān)性，使Spider對相關(guān)度高的站點(diǎn)重點(diǎn)抓?。?3)提出二維矢量工作隊(duì)列數(shù)據(jù)結(jié)構(gòu)，保證站點(diǎn)深度優(yōu)先搜索以及權(quán)值對站點(diǎn)處理時(shí)間的影響。 最后，使用化工專業(yè)詞庫，通過實(shí)驗(yàn)對系統(tǒng)進(jìn)行測試和運(yùn)行，驗(yàn)證系統(tǒng)的可行性，