單分類支持向量機的學習方法研究.pdf

1、支持向量機(SupportVectorMachine，SVM)是在統(tǒng)計學習理論基礎上發(fā)展起來的新型機器學習算法。SVM采用結(jié)構(gòu)風險最小化原則，同時最小化經(jīng)驗風險和置信范圍，具有擬合精度高、選擇參數(shù)少、推廣能力強和全局最優(yōu)等優(yōu)勢。SVM為解決小樣本、高維數(shù)及非線性等問題提供了有效工具，已成為機器學習領域中研究熱點之一并得到了廣泛應用。
　　 SVM是針對二分類問題提出的，需要兩種類別的樣本作為訓練樣本。在實際應用中，有些領域幾乎無

2、法獲取兩類的樣本或者代價極高，如敵我識別、攻擊樣本、衛(wèi)星故障等，只能獲取一個類別的樣本，故只能利用這一類樣本進行學習，形成數(shù)據(jù)描述從而實現(xiàn)分類，故出現(xiàn)了單分類算法。
　　 支持向量數(shù)據(jù)描述(SupportVectorDataDescription，SVDD)和一類支持向量機(one-classsupportvectormachine，OCSVM)是SVM算法擴展成的單分類算法。在相同的高斯核函數(shù)作用下，兩種算法完全等價，合稱之為

3、單分類支持向量機(1-SVM)?！肮び破涫拢叵壤淦鳌?。要使1-SVM能更好地應用于實際工程問題，首先需要解決1-SVM的訓練或?qū)W習問題，其過程實際上是求解一個二次規(guī)劃(OP)問題。本文以提高1-SVM的學習能力為目標，分別對1-SVM的粒子群優(yōu)化學習、快速學習以及增量學習三個方面進行了研究，并提出了相應的解決方案，主要工作如下:
　　 提出將粒子群優(yōu)化算法(PSO)的一種擴展算法——線性粒子群優(yōu)化算法(LPSO)應用到1-

4、SVM的學習上。為了解決粒子飛行到群體最優(yōu)位置容易陷入停滯狀態(tài)而過早收斂的問題，采用改變?nèi)后w最優(yōu)粒子飛行方式的策略，使群體最優(yōu)粒子與其他粒子按照不同的方式飛行，改善了LPSO算法的收斂性能，并將此方法應用到LPSO學習1-SVM的過程中。LPSO為解決1-SVM的學習問題提供了新思路。
　　 針對1-SVM的大規(guī)模樣本集的學習問題，受啟發(fā)于隨機取樣算法在凸二次規(guī)劃問題的成功應用，提出了一種基于隨機取樣算法的快速學習方法。隨機選取

5、大規(guī)模樣本集的兩個樣本子，依據(jù)隨機取樣引理和推導出的隨機結(jié)合定理，對兩個子集自身的支持向量(極值點，extreme)和相互間違背KKT條件的樣本（外點，violator)進行融合，最后學習出兩個子集共同的新決策邊界。以此類推，直到全部樣本抽取和融合完畢。此方法將大規(guī)模樣本分批抽取為小樣本集并對每一個小樣本集進行1-SVM學習，降低了1-SVM學習的內(nèi)存空間和計算時間，是一種有效的快速學習方法。
　　 為了實現(xiàn)1-SVM的增量學習

6、過程，分析了一類支持向量機(OCSVM)的幾何表示特性，提出了一種基于德爾塔函數(shù)的增量學習方法。因為OCSVM的幾何結(jié)構(gòu)僅僅有一個分類超平面，在其分類超平面的決策函數(shù)上添加一個德爾塔函數(shù)能夠形成新的決策函數(shù)，即一個新的分類超平面。根據(jù)新增樣本求解德爾塔函數(shù)就是OCSVM的增量學習過程。受OCSVM二次規(guī)劃問題的啟發(fā)，分析得到德爾塔函數(shù)的優(yōu)化問題同樣是二次規(guī)劃問題，并提出利用修正的序貫最小優(yōu)化(SMO)算法進行求解。
　　 簡要介