基于Hadoop平臺(tái)的決策樹算法研究.pdf

1、隨著網(wǎng)絡(luò)時(shí)代的發(fā)展與普及，數(shù)據(jù)量呈現(xiàn)爆發(fā)性增長(zhǎng)。由于傳統(tǒng)的數(shù)據(jù)挖掘算法是運(yùn)行在單處理機(jī)上的，但是受限于計(jì)算能力和存儲(chǔ)能力，使得傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時(shí)效率很低，極大的加重了數(shù)據(jù)挖掘技術(shù)的負(fù)擔(dān)。而擁有巨大的計(jì)算能力和存儲(chǔ)能力，以及其低成本、高容錯(cuò)性的優(yōu)點(diǎn)的Hadoop平臺(tái)的出現(xiàn)則為數(shù)據(jù)挖掘在處理海量數(shù)據(jù)時(shí)提供了新的方向。在Hadoop平臺(tái)上，使用HDFS分布式文件系統(tǒng)來實(shí)現(xiàn)文件存儲(chǔ)以及MapReduce編程模型來進(jìn)行分布式計(jì)算。

2、將傳統(tǒng)的數(shù)據(jù)挖掘算法部署到Hadoop平臺(tái)上，便可進(jìn)行海量數(shù)據(jù)的挖掘任務(wù)。
　　本文首先介紹了Hadoop平臺(tái)的關(guān)鍵技術(shù)及運(yùn)行機(jī)制，并深入了解HDFS讀取和寫入文件的過程，MapReduce并行編程模型的原理和工作機(jī)制，簡(jiǎn)單介紹了知識(shí)發(fā)現(xiàn)的過程并給出了數(shù)據(jù)挖掘算法的特性以及決策樹的構(gòu)建與分類。在介紹了典型的決策樹算法C4.5算法和SPRINT算法各自的算法模型的基礎(chǔ)上，討論了C4.5算法和SPRINT算法的并行化策略，結(jié)合MapR

3、educe模型給出了詳細(xì)的算法設(shè)計(jì)，并且從理論上分析了改進(jìn)后的C4.5bH算法和SPRINTbH算法。然后將原始的C4.5算法和SPRINT算法的分類準(zhǔn)確率與改進(jìn)后的算法進(jìn)行比較，發(fā)現(xiàn)改進(jìn)后的算法的分類準(zhǔn)確率并沒有改變，然后又通過對(duì)算法的可擴(kuò)展性進(jìn)行研究，研究結(jié)果表明改進(jìn)后的算法的并行計(jì)算時(shí)間明顯小于串行計(jì)算的時(shí)間，并且并行計(jì)算的時(shí)間隨著集群數(shù)的增加而減少。最后通過結(jié)合了C4.5算法和SPRINT算法在數(shù)據(jù)處理方面的優(yōu)勢(shì)，設(shè)計(jì)了一個(gè)新的

4、CS算法來處理數(shù)據(jù)挖掘，并且通過對(duì)這三個(gè)算法的準(zhǔn)確率進(jìn)行分析比較，發(fā)現(xiàn)CS算法的準(zhǔn)確率高于其他兩個(gè)算法的準(zhǔn)確率。并且在實(shí)現(xiàn)了CS算法的并行化過程以后也對(duì)該算法的準(zhǔn)確率和可擴(kuò)展性進(jìn)行了研究。
　　通過實(shí)驗(yàn)分析和比較，對(duì)海量數(shù)據(jù)而言，改進(jìn)后的C4.5算法和SPRINT算法在Hadoop平臺(tái)上的都具有較高的加速比，而且在增加處理集群數(shù)量的時(shí)候運(yùn)行時(shí)間反而減少，即算法具有良好的可擴(kuò)展性，在一定程度上解決了C4.5算法和SPRINT算法在計(jì)