基于最優(yōu)化理論的支持向量機學習算法研究.pdf

1、支持向量機是借助優(yōu)化方法解決機器學習問題的新工具．近年來，支持向量機越來越受到人們的廣泛關注，在其理論研究和算法實現(xiàn)方面都取得了重大進展，成為機器學習領域的前沿熱點課題． 支持向量機將機器學習問題轉(zhuǎn)化為優(yōu)化問題，并應用優(yōu)化理論構(gòu)造算法．優(yōu)化理論是支持向量機的重要理論基礎之一，本文主要從優(yōu)化理論和方法的角度對支持向量機進行研究．主要內(nèi)容如下： 1．對最小二乘支持向量機進行研究．提出一類訓練最小二乘支持向量機的條件預優(yōu)共軛梯

2、度法．當訓練樣本的個數(shù)較大時，最小二乘支持向量機需要求解高階線性方程組，利用分塊矩陣的思想將該高階線性方程組系數(shù)矩陣降階，為了提高收斂速度，克服數(shù)值的不穩(wěn)定性，采用條件預優(yōu)共軛梯度法求解低階的線性方程組，大大提高了最小二乘支持向量機的訓練速度． 2．對光滑支持向量機進行研究．無約束支持向量機模型是非光滑不可微的，許多優(yōu)化算法無法直接用來求解該模型．采用CHKS函數(shù)作為光滑函數(shù)，提出了光滑的CHKS支持向量機模型，并用Newton

3、-Armijo算法來訓練該模型．該算法通過批處理訓練來提高訓練速度，節(jié)省存儲空間，可以有效求解高維、大規(guī)模的分類問題． 3．基于優(yōu)化理論中的KKT互補條件，分別建立了支持向量分類機和支持向量回歸機的無約束不可微優(yōu)化模型，并給出了有效的光滑化近似解法．建立了支持向量分類機的無約束不可微優(yōu)化模型，給出了求解支持向量分類機的調(diào)節(jié)熵函數(shù)法．該方法不需要參數(shù)取值很大就可以逼近問題的最優(yōu)解，避免了一般熵函數(shù)法為了逼近精確解，參數(shù)取得過大而導

4、致數(shù)值的溢出現(xiàn)象；調(diào)節(jié)熵函數(shù)法同樣可以用來訓練無約束不可微的支持向量回歸機，提出了求解支持向量回歸機的調(diào)節(jié)熵函數(shù)法，有效避免了數(shù)值的溢出現(xiàn)象．這兩個算法分別為求解支持向量分類機和支持向量回歸機提供了新的思路． 4．對模糊支持向量機進行研究．針對支持向量分類機對訓練樣本中的噪聲和孤立點特別敏感的問題，提出了一類基于邊界向量提取的模糊支持向量機方法．選擇可能成為支持向量的邊界向量作為新樣本，減少了參與訓練的樣本數(shù)目，提高了訓練速度．

5、樣本的隸屬度根據(jù)邊界樣本和噪聲點與所在超球球心的距離分別確定，減弱了噪聲點的影響，增強了支持向量對支持向量機分類的作用；為了克服最小二乘支持向量機對于孤立點過分敏感的問題，將模糊隸屬度概念引入最小二乘支持向量機中，提出了基于支持向量域描述的模糊最小二乘支持向量回歸機．新的隸屬度的定義減弱了噪聲點的影響．把所要求解的約束凸二次優(yōu)化問題轉(zhuǎn)化為正定線性方程組，并采用快速Cholesky分解的方法求解該方程組．在不犧牲訓練速度的前提下，比支持向