基于Lucene的中英文文檔全文搜索引擎.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎已成為網(wǎng)民獲取網(wǎng)絡(luò)信息的主要工具。在這種趨勢(shì)下出現(xiàn)了各式各樣的搜索引擎。網(wǎng)絡(luò)上有一類文檔包含了大量信息，這類文檔包括word、powerpoint、excel等等。雖然目前存在一些專業(yè)的文檔搜索引擎比如北大天網(wǎng)FTP文件搜索引擎，但這類搜索引擎的檢索范圍僅限于FTP文檔，并且只能對(duì)文件名進(jìn)行檢索而無(wú)法對(duì)文檔內(nèi)容進(jìn)行檢索。盡管有少數(shù)的大型專業(yè)搜索引擎如baidu、google實(shí)現(xiàn)了對(duì)文檔內(nèi)容進(jìn)行檢索的功能，但這些

2、搜索引擎并不是針對(duì)文檔的搜索引擎，它們通過(guò)解析HTTP頁(yè)面的方式來(lái)搜集文檔，而不支持對(duì)FTP服務(wù)器上的文檔資源的搜集，因而損失了大量的資源。此外，對(duì)于日益增長(zhǎng)的海量網(wǎng)絡(luò)數(shù)據(jù)，檢索結(jié)果本身就是一個(gè)很大的集合，用戶很難從這個(gè)大集合中有效地獲取信息，因此用戶需要更具體更客戶化的搜索引擎。 本文設(shè)計(jì)和實(shí)現(xiàn)的中英文文檔全文搜索引擎不同于現(xiàn)有的搜索引擎。該文檔搜索引擎對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)提供了簡(jiǎn)化性整合，可以靈活地與垂直搜索等技術(shù)相結(jié)合。該搜索引

3、擎可以被應(yīng)用到特定的領(lǐng)域比如對(duì)特定網(wǎng)站的文檔資源的檢索、對(duì)特定行業(yè)的文檔資源的檢索等等。該系統(tǒng)一方面彌補(bǔ)了現(xiàn)有文檔搜索引擎信息量匱乏的缺陷：另一方面，系統(tǒng)“硬件要求低、簡(jiǎn)潔、靈活、可配置”的特點(diǎn)使其可以方便地應(yīng)用到各種具有專門需求的全文檢索領(lǐng)域。 本文重點(diǎn)介紹和實(shí)現(xiàn)了以下一些方面： 1.系統(tǒng)的總體設(shè)計(jì)；為提高性能和可擴(kuò)展性所做的一些局部設(shè)計(jì)。 2.HTTP和FTP爬蟲系統(tǒng)。設(shè)計(jì)并實(shí)現(xiàn)了用于抓取特定文檔(word，

4、powerpoint，excel)的HTTP和FTP爬蟲系統(tǒng)。詳細(xì)描述了HTTP爬蟲的總體架構(gòu)設(shè)計(jì)、運(yùn)行流程、重要組件DNScache的設(shè)計(jì)與實(shí)現(xiàn)。闡述了URL去重策略的設(shè)計(jì)與實(shí)現(xiàn)、PoliteNice抓取處理策略的設(shè)計(jì)與實(shí)現(xiàn)、HTML頁(yè)面解析過(guò)程的設(shè)計(jì)與實(shí)現(xiàn)、文檔抓取過(guò)程的設(shè)計(jì)與實(shí)現(xiàn)。闡述了FTP爬蟲系統(tǒng)的總體設(shè)計(jì)和性能優(yōu)化方案。闡述了爬蟲系統(tǒng)的文件去重功能的設(shè)計(jì)及實(shí)現(xiàn)、文檔解析系統(tǒng)的接口設(shè)計(jì)及實(shí)現(xiàn)。 3.基于apachePO