基于Hadoop的農業(yè)大數(shù)據(jù)處理系統(tǒng)研究.pdf

1、我國地域廣闊、生態(tài)類型復雜多樣、作物種類更是豐富繁多。因而，我國的農業(yè)數(shù)據(jù)也是種類多樣、體量巨大。由于傳統(tǒng)農業(yè)的局限性，各類農業(yè)數(shù)據(jù)一直沒有被重視、充分的利用起來。隨著農業(yè)信息化的推進和農業(yè)現(xiàn)代化水平的提高，各類農業(yè)數(shù)據(jù)開始受到人們的重視，發(fā)揮著越來越重要的作用，用于指導農業(yè)生產。隨著物聯(lián)網(wǎng)等技術在農業(yè)上大量使用，農業(yè)數(shù)據(jù)的數(shù)據(jù)量呈幾何遞增，傳統(tǒng)的數(shù)據(jù)處理方式已不能滿足農業(yè)數(shù)據(jù)的處理需求。農業(yè)數(shù)據(jù)已經逐漸滿足大數(shù)據(jù)的基本特性，成為農業(yè)大

2、數(shù)據(jù)。由于農業(yè)自身的特點使得農業(yè)大數(shù)據(jù)具有大量、多維、動態(tài)等特征。如何合理高效的應對農業(yè)大數(shù)據(jù)的發(fā)展，是一個非常重要的問題。
　　大數(shù)據(jù)技術的飛速發(fā)展可以很好地解決農業(yè)大數(shù)據(jù)所面臨的諸多難題。而最受關注的大數(shù)據(jù)處理平臺，無疑是谷歌公司的Hadoop。Hadoop是一個開源的、可運行于大規(guī)模集群上的分布式計算平臺，其實現(xiàn)了MapReduce計算模型，得到了廣泛地應用并逐漸成為大數(shù)據(jù)的代名詞。MapReduce是由Google公司最早

3、提出的，是一種并行編程模型，可用于大規(guī)模數(shù)據(jù)集的并行運算，是Google的核心計算模型。Map函數(shù)、Reduce函數(shù)是MapReduce模型的核心，它們都利用的數(shù)據(jù)結構將將復雜的數(shù)據(jù)處理任務分布到各個計算機節(jié)點上，并利用分布式并行架構來處理海量的復雜數(shù)據(jù)。
　　本文對大數(shù)據(jù)的特點進行分析，根據(jù)農業(yè)大數(shù)據(jù)的特點，對現(xiàn)有的農業(yè)大數(shù)據(jù)處理系統(tǒng)的優(yōu)勢和不足進行分析和改進，設計了基于Hadoop平臺的農業(yè)大數(shù)據(jù)處理系統(tǒng)