支持向量機訓練算法研究.pdf

1、支持向量機(SVM)是在統(tǒng)計學習理論的基礎上發(fā)展起來的,它在很大程度上解決了以往的機器學習模型的選擇與過學習、非線性、維數(shù)災難、局部極小點等問題,在20世紀90年代以來受到很大重視,目前已經(jīng)廣泛用于解決模式分類和回歸問題,是當前機器學習的研究熱點. SVM方法的計算復雜度是由訓練樣本的數(shù)目決定的,在大訓練樣本情況下,SVM的計算量是比較大的.這使得SVM便面臨著維數(shù)災難,甚至會由于內(nèi)存的限制導致無法訓練,從而無法應用SVM進行模

2、式分類和回歸,所以如何訓練大樣本集下的SVM便成為SVM實際應用的瓶頸問題.本文主要對支持向量機大規(guī)模數(shù)據(jù)集訓練算法進行研究. 針對SVM在大樣本集訓練時存在的問題,本文研究支持向量機訓練中樣本集分布的幾何特征,在不影響分類性能的前提下,提出一種適合大樣本集訓練的Quasi Ch00sing(QC)算法.該算法能剔除大部分與訓練結果無關的樣本,降低了訓練復雜性,實驗表明在不降低泛化精度的前提下,能有效加快訓練速度. 在Q

3、uasi Choosing算法的基礎上進一步提出了一種增量學習算法--OC-ISVM算法.該算法能充分利用歷史訓練信息來提高訓練精度,同時能對增量樣本集進行精簡.實驗表明,QC-ISVM算法訓練精度接近于用全部訓練集進行訓練的精度,當增量樣本數(shù)比較多時,能夠顯著降低訓練時間. 在一些應用領域,如web文本分類、金融時間序列分析等,數(shù)據(jù)集常是海量的,并且每天都有大量的數(shù)據(jù)增加進來,本文提出的算法為SVM在這些領域的應用提供了一個有