基于Hadoop的農(nóng)業(yè)信息資源分布式檢索研究與實(shí)現(xiàn).pdf

1、隨著農(nóng)業(yè)現(xiàn)代化的發(fā)展,農(nóng)業(yè)用戶對(duì)于農(nóng)業(yè)信息資源產(chǎn)生了巨大的需求,近年來(lái)由于云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)通信等高新技術(shù)的廣泛應(yīng)用以及政府和企業(yè)對(duì)農(nóng)業(yè)信息化建設(shè)的積極倡導(dǎo)和推動(dòng),我國(guó)的農(nóng)業(yè)信息化建設(shè)發(fā)展迅速,產(chǎn)生了各類農(nóng)業(yè)網(wǎng)站,提供了各種豐富多彩的農(nóng)業(yè)信息,為農(nóng)業(yè)用戶帶了極大的便利,用戶可通過(guò)搜索引擎方便地檢索所需要的農(nóng)業(yè)信息。但是,日益增長(zhǎng)的農(nóng)業(yè)信息也給搜索引擎和農(nóng)業(yè)信息化建設(shè)帶來(lái)了極大的挑戰(zhàn):
　　第一,農(nóng)業(yè)信息化基礎(chǔ)設(shè)施配置普遍較低、且

2、較為分散,需要在現(xiàn)有的基礎(chǔ)上對(duì)其進(jìn)行整合,達(dá)到資源的合理化和最大化利用;第二,面對(duì)海量的農(nóng)業(yè)信息數(shù)據(jù),傳統(tǒng)的集中式存儲(chǔ)方式對(duì)服務(wù)器設(shè)備配置要求越來(lái)越高,昂貴的采購(gòu)費(fèi)用不利于農(nóng)業(yè)信息化的發(fā)展;第三,如何從海量的農(nóng)業(yè)信息數(shù)據(jù)中快速準(zhǔn)確地檢索到用戶所需要的信息,這給搜索引擎提出了更高的要求。
　　針對(duì)目前存在的以上問(wèn)題,對(duì)農(nóng)業(yè)用戶的檢索需求進(jìn)行調(diào)研分析,結(jié)合目前國(guó)內(nèi)外垂直搜索引擎的研究現(xiàn)狀,本文對(duì)農(nóng)業(yè)垂直搜索引擎進(jìn)行了研究,研究?jī)?nèi)容主要

3、有:
　　將Hadoop大數(shù)據(jù)技術(shù)引入農(nóng)業(yè)信息檢索工作中,在大規(guī)模廉價(jià)機(jī)器集群上采用開(kāi)源分布式平臺(tái)Hadoop作為基礎(chǔ)架構(gòu),利用開(kāi)源分布式數(shù)據(jù)庫(kù)HBase解決海量農(nóng)業(yè)數(shù)據(jù)的存儲(chǔ)問(wèn)題,在深入研究Lucene全文檢索工具包的基礎(chǔ)上,結(jié)合MapReduce分布式計(jì)算模型在Hadoop上設(shè)計(jì)實(shí)現(xiàn)農(nóng)業(yè)信息資源的分布式存儲(chǔ)、分布式索引和分布式檢索。
　　本文主要?jiǎng)?chuàng)新點(diǎn)包括:
　　(1)設(shè)計(jì)了海量農(nóng)業(yè)信息資源在HBase中的存儲(chǔ)模式

4、,解決了大規(guī)模數(shù)據(jù)集的高效分布式存儲(chǔ)和實(shí)時(shí)隨機(jī)讀/寫問(wèn)題。
　　(2)改變了Hadoop現(xiàn)有的文檔隨機(jī)劃分方案,運(yùn)用Mahout機(jī)器學(xué)習(xí)框架在Hadoop上對(duì)海量文檔進(jìn)行分類,按照分類建立分布式索引,根據(jù)用戶意圖對(duì)索引進(jìn)行檢索從而減少了檢索時(shí)啟動(dòng)的索引節(jié)點(diǎn)的數(shù)量,節(jié)省了系統(tǒng)開(kāi)銷,提高了檢索效率。
　　(3)運(yùn)用MapReduce分布式計(jì)算模型結(jié)合 Lucene原有索引機(jī)制實(shí)現(xiàn)了分布式索引和檢索;并且改變了 Lucene原有的