基于Hadoop的分布式支持向量機(jī)的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)上的數(shù)據(jù)呈爆炸式增長(zhǎng)，如何從海量數(shù)據(jù)中挖掘到有意義的信息將是一個(gè)極其重要的研究方向，這使得數(shù)據(jù)挖掘在近幾年內(nèi)得到了飛速發(fā)展。支持向量機(jī)(Support Vector Machine，SVM)是數(shù)據(jù)挖掘領(lǐng)域內(nèi)一種高效可信的分類算法，在解決非線性及高維模式識(shí)別問(wèn)題中有突出優(yōu)勢(shì)。但是采用傳統(tǒng)的SVM處理海量數(shù)據(jù)時(shí)，其訓(xùn)練時(shí)間會(huì)大幅度延長(zhǎng)，訓(xùn)練速度緩慢，增加了模型的訓(xùn)練成本。因此，有必要對(duì)傳統(tǒng)的SVM進(jìn)行改進(jìn)，使其

2、適用于海量數(shù)據(jù)處理，分布式并行化處理正是解決這些問(wèn)題的有效方法。
　　本文對(duì)SVM的并行化模式進(jìn)行探討，從基本思想、訓(xùn)練效果、實(shí)現(xiàn)難易度等方面詳細(xì)分析了分組、級(jí)聯(lián)、反饋、混合4種支持向量機(jī)的并行策略。經(jīng)過(guò)對(duì)比，反饋式并行支持向量機(jī)(FeedbackPSVM)作為一種分布式SVM的實(shí)現(xiàn)方式，在保證準(zhǔn)確率的情況下，能夠有效的減少訓(xùn)練時(shí)間且易于理解和實(shí)現(xiàn)。
　　本文結(jié)合Hadoop的分布式存儲(chǔ)以及并行計(jì)算的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了基于H