基于MapReduce的全文檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在上世紀(jì)90年代，以因特網(wǎng)為代表的計(jì)算機(jī)網(wǎng)絡(luò)還是少量研究人員使用的高深技術(shù)，但是很快就和計(jì)算機(jī)硬件一起以極其驚人的速度進(jìn)入到普通民眾的生活中。同時(shí)，計(jì)算機(jī)上產(chǎn)生的數(shù)據(jù)越來越多。如何在大量信息中找到有用信息成為研究者們關(guān)注的焦點(diǎn)。這過程中一批通用搜索引擎誕生，例如Google、Yahoo、百度等。搜索引擎的發(fā)展越來越呈現(xiàn)出被少數(shù)幾個(gè)公司掌控的局面，而通用搜索引擎在機(jī)構(gòu)內(nèi)部常常無法滿足用戶的搜索需求。
　　本文采用開源的Apache分

2、布式框架Hadoop與全文檢索引擎框架Lucene來完成在相對(duì)規(guī)模較大、產(chǎn)生文件量較多的局域網(wǎng)范圍內(nèi)實(shí)現(xiàn)分布式搜索引擎。設(shè)計(jì)方案主要分為三個(gè)部分:第一部分針對(duì)用戶提交的源文件建立索引，存儲(chǔ)到HDFS中，提出了分類策略，針對(duì)不同文件格式分別建立索引，獨(dú)立存儲(chǔ)索引文件，解決了以往單機(jī)環(huán)境下索引數(shù)據(jù)量過大而成為服務(wù)器處理瓶頸的問題，同時(shí)還保存了源文件的分類特征;第二部分根據(jù)用戶提交的檢索關(guān)鍵詞，在第一部分建立的分類索引文件中檢索出結(jié)果后返回給

3、用戶，本文提出采用基于遠(yuǎn)程過程調(diào)用進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的方式解決了分布式環(huán)境下衡量檢索關(guān)鍵詞與檢索結(jié)果相關(guān)性計(jì)算中部分計(jì)算因子在獲取上存在障礙的問題;第三部分利用用戶檢索的歷史結(jié)果，提供用戶在歷史檢索結(jié)果中快速檢索。
　　本文針對(duì)響應(yīng)速度的要求，借鑒操作系統(tǒng)中緩存的思想，充分利用用戶的歷史檢索記錄挖掘用戶檢索行為規(guī)律，提出基于歷史檢索記錄的快速檢索方案，該方案針對(duì)被常檢索到的文件，建立單獨(dú)的索引進(jìn)行存儲(chǔ)，在用戶選擇快速檢索時(shí)將優(yōu)先在該基于