支持向量機的調節(jié)熵函數(shù)法研究.pdf

1、在統(tǒng)計學基礎上提出的機器學習方法SVM(Support VectorMachine)[1]在訓練學習機器時，其學習方式是SRM(Structural RiskMinimization)準則，因此，學習機器不光具有簡潔的數(shù)學形式，還使得其幾何解釋直觀，易泛化。除此之外，它還將一般的學習問題與凸二次規(guī)劃問題建立關聯(lián)，凸二次規(guī)劃問題的解即為原問題的解，從而保證所得解并非局部極值，而是全局最優(yōu)解。
　　 SVM是一種集多種標準的機器學習

2、技術于一身的新技術，它集成了最大間隔超平面、Mercer核、凸二次規(guī)劃、稀疏解和松弛變量等技巧。在解決各種挑戰(zhàn)性的實際問題中都有它成功的應用，譬如它可以用來預測、分類和線性與非線性回歸。
　　 在對SVM研究中，學者們提出了各種各樣的算法[2]，這些算法要么有某一方面的優(yōu)勢，要么有一定的應用范圍，且都是采用二次規(guī)劃或線性方程組來求解相應的最優(yōu)化問題。在模式識別中，SVM利用二次規(guī)劃對偶技巧把優(yōu)化問題轉化為高維特征空間中一個簡單約

3、束的二次規(guī)劃問題。雖然，通過分解訓練樣本集或序貫輸入樣本的方式能夠處理這種高維的對偶規(guī)劃，由此產生的算法既節(jié)省了存儲空間，又提高了計算效率。但是，這些算法的設計和實現(xiàn)都比較復雜。
　　 極大熵方法[3]是近幾年提出的新算法，對于多約束非線性規(guī)劃、極大極小等問題，通過該方法都能快速處理，與已有方法相比，其特點是:更易實現(xiàn)、更穩(wěn)定、收斂更快[5，85]。除此之外，極大熵方法在求解不可微和大型多約束等問題時也是有效的[5，85]，因此

4、，該方法有很高的應用價值。但其不足之處是對問題的精確解只有在參數(shù)p→∞時才能得到，當p取較大值時，又容易產生數(shù)值的溢出現(xiàn)象。
　　 針對這種弊端，本文在對SVM的理論基礎----統(tǒng)計學理論和最優(yōu)化理論，以及SVM本身的分類思想、方法和回歸原理做了較為詳細的研究和闡述后，根據(jù)SVC的分類方法和SVR的回歸原理，提出了一種新的求解SVM優(yōu)化問題的帶調節(jié)因子的熵函數(shù)法。它克服了現(xiàn)有熵函數(shù)法只有參數(shù)p取得很大才能逼近問題的精確解的不足。