大數(shù)據(jù)環(huán)境下農(nóng)業(yè)信息資源的存取研究.pdf

1、隨著我國農(nóng)業(yè)的迅速發(fā)展，農(nóng)業(yè)研究領(lǐng)域積累了大量的數(shù)據(jù)，如何高效存儲、處理及最大限度利用現(xiàn)有農(nóng)業(yè)數(shù)據(jù)，成為當(dāng)今時代面臨的重要課題。另外，Hadoop已經(jīng)在大數(shù)據(jù)領(lǐng)域廣泛使用，并被應(yīng)用于多種領(lǐng)域。因此，本文結(jié)合農(nóng)業(yè)數(shù)據(jù)及Hadoop平臺的特征，提出將該平臺應(yīng)用于農(nóng)業(yè)領(lǐng)域，在該平臺上存儲及處理現(xiàn)有農(nóng)業(yè)信息資源數(shù)據(jù)。本文主要研究內(nèi)容如下：
　　(1)農(nóng)業(yè)大數(shù)據(jù)的分析。本文中分析了當(dāng)前國內(nèi)外農(nóng)業(yè)數(shù)據(jù)的組織與管理現(xiàn)狀，總結(jié)概括了我國農(nóng)業(yè)大數(shù)據(jù)

2、的特征和存儲現(xiàn)狀。
　　(2)農(nóng)業(yè)大數(shù)據(jù)存儲與索引結(jié)構(gòu)的設(shè)計。根據(jù)我國農(nóng)業(yè)大數(shù)據(jù)的特征，設(shè)計了一種基于不同類型農(nóng)業(yè)數(shù)據(jù)特征的數(shù)據(jù)存儲結(jié)構(gòu)并對不同類型的數(shù)據(jù)設(shè)計了相應(yīng)的數(shù)據(jù)緩存策略。為了有效提高對數(shù)據(jù)的查詢、處理效率，對數(shù)據(jù)的索引機制進行了改進，提出了一種二級索引機制，優(yōu)化了數(shù)據(jù)存儲空間到數(shù)據(jù)分區(qū)、數(shù)據(jù)分區(qū)到真正數(shù)據(jù)存儲節(jié)點的數(shù)據(jù)索引方式，為對當(dāng)前多種不同結(jié)構(gòu)的農(nóng)業(yè)數(shù)據(jù)的管理提供了一個統(tǒng)一的數(shù)據(jù)存儲平臺。
　　(3)k-Nea

3、rest Neighbor查詢算法的區(qū)域劃分方法的改進及該算法的并行化設(shè)計。為了實現(xiàn)對已存儲在上述數(shù)據(jù)庫中的農(nóng)業(yè)數(shù)據(jù)進行高效查詢，對廣泛使用的k-Nearest Neighbor查詢算法中的區(qū)域劃分方法進行了改進，不再采用以往的規(guī)則區(qū)域劃分方法，提出了一種基于不規(guī)則區(qū)域劃分方法的k-Nearest Neighbor查詢算法，并根據(jù)大數(shù)據(jù)處理框架MapReduce的運行機制對其進行了并行化處理，然后將該優(yōu)化后的算法應(yīng)用在MapReduce