農(nóng)業(yè)大數(shù)據(jù)平臺的實(shí)現(xiàn)與數(shù)據(jù)分析算法.pdf

1、隨著農(nóng)業(yè)現(xiàn)代信息化進(jìn)程的不斷發(fā)展以及農(nóng)業(yè)種植、畜牧業(yè)、漁業(yè)、農(nóng)產(chǎn)品加工、氣象等數(shù)據(jù)的不斷積累，農(nóng)業(yè)數(shù)據(jù)正以前所未有的速度不斷增長并形成了海量數(shù)據(jù)。我國農(nóng)業(yè)領(lǐng)域數(shù)據(jù)具有數(shù)據(jù)實(shí)時(shí)性強(qiáng)、維度高、數(shù)據(jù)存儲分散、難于綜合分析等特性，一方面是因?yàn)槲覈r(nóng)業(yè)結(jié)構(gòu)復(fù)雜，農(nóng)業(yè)數(shù)據(jù)涉及多個(gè)領(lǐng)域，另一方面農(nóng)業(yè)數(shù)據(jù)又容易受到地理環(huán)境、土壤、天氣、作物、病蟲害等的影響。這些數(shù)據(jù)的有效利用需要相應(yīng)的大數(shù)據(jù)平臺作為支撐，大數(shù)據(jù)平臺可以整合農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)，提供查詢、下載

2、、上傳、可視化等功能;平臺的數(shù)據(jù)挖掘方法可以挖掘隱藏在農(nóng)業(yè)數(shù)據(jù)中的知識，發(fā)現(xiàn)規(guī)律;大數(shù)據(jù)平臺還可以為農(nóng)業(yè)工作者提出決策意見和指導(dǎo)建議。所以開發(fā)具有以上功能的農(nóng)業(yè)大數(shù)據(jù)平臺具有重要現(xiàn)實(shí)意義。
　　本文根據(jù)農(nóng)業(yè)大數(shù)據(jù)的性質(zhì)，分析了農(nóng)業(yè)大數(shù)據(jù)平臺的主要技術(shù)，對農(nóng)業(yè)數(shù)據(jù)分析和可視化工具進(jìn)行了較深入的探討，提出了基于改進(jìn)的譜聚類算法，并搭建了具有挖掘功能的農(nóng)業(yè)大數(shù)據(jù)平臺。論文主要工作如下:在農(nóng)業(yè)數(shù)據(jù)收集方面我們通過中國統(tǒng)計(jì)年鑒、高校的實(shí)驗(yàn)數(shù)

3、據(jù)和相關(guān)農(nóng)業(yè)網(wǎng)站下載了一定量的農(nóng)業(yè)數(shù)據(jù)，同時(shí)還使用網(wǎng)絡(luò)爬蟲技術(shù)抓取了一些農(nóng)業(yè)相關(guān)網(wǎng)站數(shù)據(jù)，并利用這些數(shù)據(jù)建立了農(nóng)業(yè)數(shù)據(jù)庫。在農(nóng)業(yè)數(shù)據(jù)平臺數(shù)據(jù)挖掘和可視化兩項(xiàng)關(guān)鍵技術(shù)研究方面，我們提出了針對農(nóng)業(yè)大數(shù)據(jù)的基于閔可夫斯基測量相似程度的改進(jìn)譜聚類算法，在UCI數(shù)據(jù)集中的seeds和soybean數(shù)據(jù)集的仿真實(shí)驗(yàn)結(jié)果表明論文提出的算法在聚類精度和運(yùn)算速度上都有一定的提高。我們還使用多維數(shù)據(jù)的數(shù)據(jù)可視化技術(shù)，實(shí)現(xiàn)平臺的數(shù)據(jù)可視化功能。在平臺開發(fā)方面

4、我們根據(jù)平臺需求給出了系統(tǒng)設(shè)計(jì)方案并使用J2EE相關(guān)技術(shù)實(shí)現(xiàn)了平臺的全部功能，在系統(tǒng)測試方面我們利用農(nóng)業(yè)機(jī)械、畜牧業(yè)數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)仿真。
　　本文開發(fā)的農(nóng)業(yè)大數(shù)據(jù)平臺，用戶界面友好使用簡單，在數(shù)據(jù)收集方面我們通過網(wǎng)絡(luò)爬蟲模塊，實(shí)現(xiàn)了數(shù)據(jù)自動(dòng)獲取和存儲。除可以實(shí)現(xiàn)目前農(nóng)業(yè)數(shù)據(jù)平臺查詢、上傳、下載的功能外，還具有性能優(yōu)越的數(shù)據(jù)挖掘模塊和簡單易懂的數(shù)據(jù)可視化模塊。平臺設(shè)計(jì)合理且實(shí)用。農(nóng)業(yè)大數(shù)據(jù)關(guān)鍵技術(shù)的研究和平臺的開發(fā)對農(nóng)業(yè)信息化和智慧