GPU集群環(huán)境下支持向量機訓(xùn)練的異構(gòu)并行實現(xiàn).pdf

1、支持向量機(SVM)具有理論基礎(chǔ)完備、所需訓(xùn)練樣本數(shù)目少、泛化能力強等優(yōu)點，已經(jīng)在文本分類、人臉圖像識別、手寫數(shù)字識別、語音識別、生物信息學(xué)等模式識別領(lǐng)域中獲得廣泛應(yīng)用。SVM訓(xùn)練可表示為一個二次規(guī)劃(QP)問題，由于內(nèi)點法(IPM)是求解線性和非線性QP問題的有效方法，因此可用于SVM訓(xùn)練算法的求解。但對于大規(guī)模數(shù)據(jù)集，SVM訓(xùn)練仍然存在內(nèi)存需求大、運行時間長等缺點，這對SVM的應(yīng)用范圍及其有效性形成很大制約，已成為其發(fā)展瓶頸。

2、>　　 集群是目前最流行的一種高性能計算系統(tǒng)，近幾年在TOP500中所占比例一直穩(wěn)定在80％以上。值得注意的是，2012年11月發(fā)布的TOP500中帶有加速器的超級計算機系統(tǒng)已達12.4％。圖形處理單元(GPU)比CPU具有更高的浮點運算能力和內(nèi)存帶寬，尤其適用于數(shù)據(jù)并行計算，在TOP500中絕大多數(shù)帶有加速器的超級計算機都采用了GPU?？梢灶A(yù)見，GPU集群將是未來一段時間的主流高性能計算平臺。
　　 針對使用大規(guī)模數(shù)據(jù)集進行

3、SVM訓(xùn)練時存在的內(nèi)存需求大、運行時間長等問題，本文在GPU集群環(huán)境下，提出采用MPI+CUDA混合編程模式求解基于IPM算法的SVM訓(xùn)練問題。通過將數(shù)據(jù)分布在多個節(jié)點上降低對單節(jié)點的內(nèi)存需求，并使用GPU加速對計算密集部分的求解，包括不完全喬列斯基分解(ICF)、I-H(τ)D-1H、喬列斯基分解(CF)和Δx等，提高SVM訓(xùn)練的速度。在千兆網(wǎng)連接的5節(jié)點GPU集群系統(tǒng)環(huán)境下，使用ticdata、ijcnn1、covtypes、rcv