基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)和大數(shù)據(jù)分析是目前IT領(lǐng)域里最炙手可熱的概念，大數(shù)據(jù)具有3V的特點(diǎn):(1)Volume:數(shù)據(jù)規(guī)模大;(2)Velocity:處理要求快，實(shí)時(shí)性要求比較高;(3)Variety:數(shù)據(jù)有豐富的多樣性。為了讓數(shù)據(jù)產(chǎn)生更大的價(jià)值，就需要選擇一個(gè)高效的大數(shù)據(jù)處理平臺(tái)來對(duì)其進(jìn)行相應(yīng)的分析。Spark是適用于大數(shù)據(jù)的高可靠性、高性能分布式并行計(jì)算框架。目前在國(guó)內(nèi)外，已經(jīng)有很多公司在實(shí)際生產(chǎn)環(huán)境中廣泛使用Spark，比如國(guó)外的谷歌、亞馬遜，易貝、

2、雅虎等公司和國(guó)內(nèi)的淘寶，百度，華為，優(yōu)酷土豆等公司。
　　盡管Spark在實(shí)際的工業(yè)生產(chǎn)和實(shí)踐中已經(jīng)有了廣泛的使用，但是受限于其誕生時(shí)間較晚、版本較新等因素?，F(xiàn)階段，使用Spark框架在有些具體大數(shù)據(jù)應(yīng)用場(chǎng)景下進(jìn)行挖掘和分析時(shí)，需要結(jié)合其原有模塊并改寫和添加一些功能，才能更好的發(fā)揮其作用。而在解決個(gè)別大數(shù)據(jù)挖掘問題時(shí)，Spark框架目前還沒有相應(yīng)的功能。比如分布式機(jī)器學(xué)習(xí)庫(kù)MLlib里沒有解決關(guān)聯(lián)規(guī)則問題的分布式機(jī)器學(xué)習(xí)算法。

3、r>　　本文的主要工作為:(1)構(gòu)建本文的實(shí)驗(yàn)測(cè)試環(huán)境，將Spark集群部署在Yarn上，即搭建一個(gè)由單個(gè)Master節(jié)點(diǎn)和多個(gè)Worker節(jié)點(diǎn)構(gòu)成的Spark集群，集群使用的操作系統(tǒng)為L(zhǎng)inux。在集群上對(duì)本文中的實(shí)驗(yàn)數(shù)據(jù)，算法和系統(tǒng)進(jìn)行驗(yàn)證和測(cè)試。為更方便的進(jìn)行Spark應(yīng)用程序的開發(fā)和測(cè)試，搭建單機(jī)Scala編碼環(huán)境IDEA，在單機(jī)模式下進(jìn)行應(yīng)用程序的編碼和初步調(diào)試，并生成能夠在集群上運(yùn)行的jar包。(2)為了在大數(shù)據(jù)生產(chǎn)場(chǎng)景下實(shí)

4、現(xiàn)分布式協(xié)同過濾推薦，本文使用Scala、Python、Java語言和Spark RDD并調(diào)用MLlib中的相關(guān)模塊，實(shí)現(xiàn)分布式協(xié)同過濾推薦，并進(jìn)行電影推薦。本文實(shí)現(xiàn)的分布式并行協(xié)同過濾推薦，是基于模型的推薦系統(tǒng)，獲取最佳參數(shù)下的模型，用其進(jìn)行預(yù)測(cè)測(cè)試集的評(píng)分和給用戶進(jìn)行推薦。在測(cè)試和驗(yàn)證實(shí)驗(yàn)結(jié)果時(shí)，選用經(jīng)典的大電影數(shù)據(jù)集:MovieLens。(3)為了在大規(guī)模數(shù)據(jù)處理場(chǎng)景下實(shí)現(xiàn)關(guān)聯(lián)分析，本文主要借助Scala語言和Spark RDD的

5、分布式算子對(duì)經(jīng)典的Apriori算法進(jìn)行分布式并行編碼處理，并在分布式集群上部署和運(yùn)行，使用chess大數(shù)據(jù)集在Spark集群上進(jìn)行測(cè)試和驗(yàn)證，和Java語言編寫的單機(jī)Apriori算法進(jìn)行運(yùn)行效率和結(jié)果的比較。
　　本文所做的貢獻(xiàn)為:(1)實(shí)現(xiàn)了將Spark集群部署在Yarn上，支持對(duì)集群規(guī)模進(jìn)行擴(kuò)充和調(diào)優(yōu)。(2)提供了協(xié)同過濾推薦在分布式集群上并行運(yùn)行的實(shí)現(xiàn)方案。(3)對(duì)Spark MLlib分布式機(jī)器學(xué)習(xí)庫(kù)中沒給出的關(guān)聯(lián)分析