基于Spark的若干數(shù)據(jù)挖掘技術(shù)研究.pdf

1、隨著大數(shù)據(jù)概念的火熱興起，分布式框架和并行化計(jì)算方法得到迅猛的發(fā)展。大數(shù)據(jù)帶來(lái)的是數(shù)據(jù)量的增長(zhǎng)和計(jì)算復(fù)雜度的增加，傳統(tǒng)的數(shù)據(jù)挖掘處理方式已經(jīng)捉襟見(jiàn)肘。如何快速、準(zhǔn)確的實(shí)現(xiàn)大數(shù)據(jù)挖掘任務(wù)，成為當(dāng)下研究的熱點(diǎn)。相對(duì)于傳統(tǒng)流程不能解決海量數(shù)據(jù)的挖掘和近年來(lái)流行的Hadoop平臺(tái)處理數(shù)據(jù)挖掘任務(wù)效率低下的狀況，大數(shù)據(jù)平臺(tái)Spark基于內(nèi)存計(jì)算、靈活性高、通用性強(qiáng)，對(duì)數(shù)據(jù)挖掘算法的實(shí)現(xiàn)有著無(wú)與倫比的優(yōu)勢(shì)。本文圍繞大數(shù)據(jù)平臺(tái)Spark和數(shù)據(jù)挖掘兩個(gè)

2、概念，對(duì)Spark上的數(shù)據(jù)挖掘算法進(jìn)行了研究、優(yōu)化、增加，同時(shí)在實(shí)際應(yīng)用中做出了準(zhǔn)確性、吞吐量、處理速度的測(cè)試，證明了工作的有效性。論文的主要工作如下：
　　設(shè)計(jì)了關(guān)聯(lián)規(guī)則算法在Spark上的實(shí)現(xiàn)結(jié)構(gòu)，同時(shí)將Apriori算法在Spark平臺(tái)上實(shí)現(xiàn)。針對(duì)Spark與Apriori算法的特性對(duì)Apriori算法進(jìn)行多次優(yōu)化，使算法在數(shù)據(jù)量巨大的情況下并發(fā)計(jì)算執(zhí)行，在較短時(shí)間內(nèi)得到正確結(jié)果。并將算法在實(shí)際中應(yīng)用，吞吐量和處理時(shí)間性能測(cè)

3、試，證明了算法實(shí)現(xiàn)的有效性。
　　研究了分類算法在Spark上的實(shí)現(xiàn)結(jié)構(gòu)，將樸素貝葉斯分類算法做相應(yīng)改進(jìn)，設(shè)計(jì)其在Spark Streaming上的實(shí)現(xiàn)過(guò)程，實(shí)現(xiàn)了流數(shù)據(jù)的實(shí)時(shí)分類問(wèn)題。最后在垃圾短信分類中測(cè)試了算法的有效性。
　　研究了Spark算法庫(kù)Mllib中存在的聚類算法k-means，并根據(jù)k-means實(shí)現(xiàn)原理對(duì)其只能識(shí)別大小相近、凸形簇的缺陷做針對(duì)性改進(jìn)，使k-means算法能夠識(shí)別大小相差較大簇的問(wèn)題，同時(shí)，