支持向量機方法及其應(yīng)用研究.pdf

1、統(tǒng)計學(xué)習(xí)理論是針對小樣本情況下的機器學(xué)習(xí)理論，其核心思想是通過控制學(xué)習(xí)機器的復(fù)雜度，實現(xiàn)對學(xué)習(xí)機器推廣能力的控制。在這一理論基礎(chǔ)上發(fā)展起來的支持向量機(SVM)是一種新的通用機器學(xué)習(xí)方法，它較以往方法表現(xiàn)出很多理論和實踐上的優(yōu)勢，較好地解決了小樣本、非線性、高維和局部極小等問題，在模式識別、回歸估計等很多領(lǐng)域都得到了廣泛的應(yīng)用?；貧wSVM是分類SVM用于解決回歸問題的推廣形式。本文對回歸SVM的核函數(shù)構(gòu)造、參數(shù)選擇和訓(xùn)練算法進行研究，并

2、利用SVM建立直升機的仿真模型，研究內(nèi)容主要包括以下幾個方面：
　　首先，對SVM核函數(shù)的構(gòu)造和參數(shù)選擇進行了研究。目前常用的核函數(shù)通過平移不能生成平方可積空間一組完備的基，因此SVM不能以任意精度逼近這個空間的任意非線性函數(shù)。針對這個問題，利用Marr小波構(gòu)造了一種小波核函數(shù)，對其存在性進行了證明，并采用改進的混沌粒子群優(yōu)化算法對SVM的參數(shù)進行選擇。仿真結(jié)果表明，利用這種核函數(shù)構(gòu)造的小波SVM，比利用高斯核函數(shù)構(gòu)造的SVM具有

3、更高的收斂精度。
　　其次，對訓(xùn)練SVM的序列最小優(yōu)化算進行了研究。序列最小優(yōu)化算法一般采用KKT條件作為停機準則，這種停機準則在迭代優(yōu)化的后期進展緩慢。根據(jù)凸二次優(yōu)化問題在對偶間隙為零時取得最優(yōu)解這個性質(zhì)，對序列最小優(yōu)化算法的停機準則進行改進，提出一種改進的序列最小優(yōu)化算法。仿真結(jié)果表明，這種優(yōu)化算法在保持訓(xùn)練精度和測試精度不變的情況下，能有效提高算法的收斂速度。
　　然后，對訓(xùn)練SVM的在線算法進行了研究。與批處理算法相

4、比，訓(xùn)練SVM的在線算法通常具有實現(xiàn)簡單、運行效率高等優(yōu)點。但是，目前在線算法通常需要考慮所有的訓(xùn)練樣本，而支持向量的數(shù)量隨訓(xùn)練樣本的加入至少是呈線性地增加，保留過多的支持向量將影響SVM的訓(xùn)練速度和預(yù)測速度。針對這個問題，在已有的在線貪婪算法的基礎(chǔ)上，引入一個稱為預(yù)算參數(shù)的量，增加一個樣本的刪除過程，從而提出一種能縮減和控制支持向量數(shù)量的SVM在線訓(xùn)練算法。仿真結(jié)果表明，這種算法能有效縮減和控制支持向量的數(shù)量，提高了SVM在線算法的訓(xùn)