基于云計(jì)算及關(guān)聯(lián)規(guī)則挖掘技術(shù)的氣象數(shù)據(jù)挖掘研究.pdf

1、（類別:全日制碩士研究生全日制碩士研究生題目：目：基于云計(jì)算及關(guān)聯(lián)規(guī)則挖掘技術(shù)基于云計(jì)算及關(guān)聯(lián)規(guī)則挖掘技術(shù)的氣象數(shù)據(jù)挖掘研究的氣象數(shù)據(jù)挖掘研究英文題目：英文題目：TheResearchofMeteologicalDataMiningBasedonCloudComputingAssociationRuleMiningTechnology研究研究生：生：馬晶晶馬晶晶學(xué)科名稱：學(xué)科名稱：計(jì)算機(jī)應(yīng)用技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：指導(dǎo)教師：劉利民劉

2、利民教授馬志強(qiáng)馬志強(qiáng)副教授副教授二○一二○一三年五月碩士學(xué)位論文碩士學(xué)位論文分類號(hào)分類號(hào):學(xué)校代碼學(xué)校代碼::1012810128UDC:學(xué)號(hào):2010112020101120內(nèi)蒙古工業(yè)大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)及信息技術(shù)的快速發(fā)展，現(xiàn)代社會(huì)所面臨的問(wèn)題已由如何獲得信息轉(zhuǎn)變?yōu)榱巳绾卧谘该驮鲩L(zhǎng)的海量數(shù)據(jù)中找到有價(jià)值的信息。氣象資料類型復(fù)雜，數(shù)據(jù)量龐大，其中蘊(yùn)藏著大量的氣象規(guī)律。關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘在尋找氣象規(guī)律中顯示出了強(qiáng)大的生命力，它能

3、夠找出數(shù)據(jù)之間的潛在聯(lián)系及規(guī)律，通過(guò)這些規(guī)律可以有效地進(jìn)行氣象預(yù)測(cè)，對(duì)災(zāi)害性氣候及時(shí)采取防范措施。但是氣象數(shù)據(jù)的數(shù)據(jù)量十分龐大，傳統(tǒng)的關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘算法已經(jīng)很難滿足需求，解決關(guān)聯(lián)規(guī)則算法在效率、適應(yīng)性和可用性等方面的瓶頸問(wèn)題變得日益重要。資源的動(dòng)態(tài)分配、按需服務(wù)，以低成本處理海量信息，這是云計(jì)算的設(shè)計(jì)理念。通過(guò)云計(jì)算技術(shù)，可以在短時(shí)間內(nèi)實(shí)現(xiàn)處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息，具有和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大的超級(jí)計(jì)算能力和存儲(chǔ)能力。因?yàn)樵朴?jì)算這

4、種強(qiáng)大的數(shù)據(jù)存儲(chǔ)及處理能力，所以將數(shù)據(jù)挖掘算法移植到云計(jì)算平臺(tái)上，會(huì)明顯的提高計(jì)算效率。本文針對(duì)傳統(tǒng)關(guān)聯(lián)規(guī)則算法FPTree算法存在的一些局限性和Hadoop開源平臺(tái)在大數(shù)據(jù)集處理中表現(xiàn)出的優(yōu)勢(shì)，設(shè)計(jì)了基于MapReduce的FPTree算法。算法被分為兩部分進(jìn)行MapReduce化操作，最后將結(jié)果進(jìn)行合并，產(chǎn)生最后的頻繁模式。為評(píng)估算法性能，設(shè)計(jì)了系列實(shí)驗(yàn)。通過(guò)改變數(shù)據(jù)集大小、支持度及Map任務(wù)數(shù)從多角度測(cè)試算法性能并針對(duì)真實(shí)氣象數(shù)據(jù)