支持向量機方法及應用研究.pdf

1、隨著信息技術的迅速發(fā)展和Internet的廣泛普及,產生的數據量日益增多,如何從這些大量的數據中發(fā)現有用的信息來幫助人們對未知的現象作出正確的指導和預測,就成為了十分迫切的課題,機器學習技術就在這種需求下應運而生.
　　統計學是現有機器學習方法的理論基礎之一,盡管傳統的統計學的理論體系比較完善,但是它需要事先知道樣本的分布形式,并要求樣本的個數趨于無窮多.但是在實際應用中,樣本的數目是有限的,因此在某些問題的應用中其效果并不理想.

2、基于此,統計學習理論是一門專門研究在有限樣本情況下機器學習規(guī)律的理論.Vapnik等人從20世紀60年代開始致力于此方面的研究,隨著其理論的不斷發(fā)展,逐漸形成了一個比較完善的理論體系.
　　Vapnik在統計學習理論的基礎上提出支持向量機(Support Vector Machine,SVM),它克服了傳統機器學習方法僅考慮經驗風險最小化(Empirical Risk Minimization,ERM)原則的缺陷,SVM采用結構風

3、險最小化(Structural Risk Minimization,SRM)原則對已有數據進行學習,通過求解凸二次規(guī)劃問題(Quadratic Programming,QP)得到全局最優(yōu)解,從理論上克服了神經網絡中的過學習、局部最優(yōu)解等問題.它不但能解決小樣本的學習問題,而且通過引入核函數將數據映射到高維特征空間,克服了高維數據帶來的“維數災難”.SVM的諸多優(yōu)點使其成為了機器學習領域新的研究熱點.
　　目前 SVM仍然存在很多問

4、題,這些問題也是研究熱點.其主要問題存在于以下幾個方面:
　　1.參數選擇問題
　　無論是SVM分類還是回歸,如果參數選擇不當則會降低模型的泛化性能,因此選擇較好的參數顯得尤為重要,例如在C-SVM中,如果懲罰參數C的值過大,則會導致過學習,反之,如果C的值過小則會導致欠學習.目前參數選擇理論一直受到廣泛關注,目前有進化學習算法、網格算法、交叉驗證等方法等.
　　2.算法的時間復雜度
　　自SVM提出以來,對它的

5、復雜度進行改進一直是研究熱點,SVM可歸結為一個二次規(guī)劃問題,但因為自由變量個數等于樣本個數,所以當樣本規(guī)模較大的時,傳統的二次規(guī)劃方法將會非常耗時.
　　3.核函數計算復雜度
　　對較大規(guī)模的數據來說,計算其核函數也并非易事,它需要所有樣本進行內積運算操作.例如,在對SVM進行非線性變換的時候,如果樣本數目過大,核矩陣的計算也將十分費時.
　　本文的主要創(chuàng)新成果有:
　　(1)為有效解決支持向量回歸中的參數選擇

6、問題,提出了新算法(AGA-SVR),在該算法中,通過適時增加染色體變異的概率來提高染色體的多樣性,克服了標準遺傳算法存在個體容易早熟的缺陷,從而增加學習到全局最優(yōu)的幾率.通過將AGA-SVR應用于上證開盤指數預測,驗證了該算法優(yōu)于標準遺傳算法及經典梯度下降算法.
　　(2)提出了一種新的算法TDMSVM(Twin Distance of Minimum and Maximum Support Vector Machine),通過

7、求解標準特征方程得到兩個最優(yōu)超平面,超平面滿足到本類樣例的平均距離最小化,同時到另一類樣例的平均距離最大化.通過理論分析和實驗證明，TDMSVM有以下優(yōu)勢:進一步降低了時間復雜度;并且不需引入正則項,故提高了泛化性能;克服了矩陣的奇異性。
　　(3)提出一種新的快速分類算法HSSVM(Hyper Sphere Support Vector Machine),用兩個超球分別擬合兩類樣本,只需用樣本的均值和方差作為參數得到分類模型,在