孿生支持向量機關(guān)鍵問題的研究.pdf

1、孿生支持向量機(Twin Support Vector Machines, TWSVM)是在支持向量機(Support Vector Machines, SVM)的基礎(chǔ)上提出的一種新的機器學(xué)習(xí)方法。對于分類問題,TWSVM要尋找的是一對非平行的分類超平面;對于回歸問題,TWSVM要在訓(xùn)練數(shù)據(jù)點兩側(cè)產(chǎn)生一對不平行的函數(shù),分別確定回歸函數(shù)的?不敏感上、下界。TWSVM在形式上類似于 SVM,但其計算效率是 SVM的4倍。鑒于TWSVM優(yōu)秀的

2、學(xué)習(xí)性能,目前已成為機器學(xué)習(xí)領(lǐng)域的研究熱點。然而,由于TWSVM是機器學(xué)習(xí)領(lǐng)域中相對較新的理論,它在很多方面尚不成熟、不完善,需要進一步地研究和改進。其中,關(guān)于它的學(xué)習(xí)算法的研究是該理論的重點和難點之一。本文主要從提升泛化性能、提高學(xué)習(xí)速度以及增強學(xué)習(xí)過程的健壯性等幾個方面對TWSVM進行研究。具體的研究內(nèi)容如下:
　　1.對光滑孿生支持向量機的新方法進行研究。針對目前光滑孿生支持向量分類機中采用的Sigmoid光滑函數(shù)逼近精度低

3、的問題,采用具有更強逼近能力的Chen-Harker-Kanzow-Smale(CHKS)函數(shù)作為光滑函數(shù),提出了光滑CHKS孿生支持向量分類機模型。其次,針對光滑孿生支持向量分類機沒有考慮到樣本位置對算法性能影響的問題,本文設(shè)計了一種隸屬度函數(shù),根據(jù)樣本位置的不同賦予其不同的權(quán)重,提出了加權(quán)光滑 CHKS孿生支持向量分類機模型,并從理論上證明其收斂性。最后,將所提算法推廣到回歸問題中,并采用離散粒子群優(yōu)化(Particle Swarm

4、 Optimization, PSO)算法作為同時優(yōu)化算法參數(shù)和特征選擇的方法,提出了基于離散PSO模型選擇的光滑CHKS孿生支持向量回歸機,從理論上證明其任意階光滑性和收斂性。
　　2.對孿生支持向量機模型的無約束不可微近似求解方法進行研究。根據(jù)優(yōu)化理論中的Karush-Kuhn-Tucker(KKT)互補條件,建立了孿生支持向量分類機的無約束不可微優(yōu)化模型,并采用可以直接求解不可微優(yōu)化問題的自適應(yīng)調(diào)節(jié)最大熵函數(shù)法作為所提模型的

5、求解方法。該方法在參數(shù)值較小的情況下就可逼近問題的最優(yōu)解,克服了傳統(tǒng)最大熵函數(shù)法需取很大的參數(shù)值才能逼近最優(yōu)解,并且有可能導(dǎo)致數(shù)值溢出的問題。最后,將此算法推廣到回歸問題,提出了基于自適應(yīng)調(diào)節(jié)最大熵函數(shù)法的孿生支持向量回歸機模型。
　　3.對最小二乘孿生支持向量回歸機及其特征選擇算法進行研究。為了提高孿生支持向量回歸機(Twin Support Vector Regression, TSVR)的計算效率,引入最小二乘思想,將TSV

6、R二次規(guī)劃問題的不等式約束條件修正為等式約束條件,并將其代入目標函數(shù),從而將 TSVR的二次規(guī)劃問題轉(zhuǎn)化成為兩個線性方程組問題,提出了最小二乘孿生支持向量回歸機學(xué)習(xí)算法(Least Square TSVR,LSTSVR)。理論分析表明線性情況下的 LSTSVR的計算復(fù)雜度僅與樣本的維數(shù)有關(guān),因此,LSTSVR的提出為大樣本問題提供了一種有效的求解方法。在此基礎(chǔ)上,為了提高LSTSVR求解高維問題的效率,本文提出了一種LSTSVR特征選擇

7、算法。首先,用1范數(shù)度量代替LSTSVR的2范數(shù)度量,可將LSTSVR中的兩個線性方程組問題轉(zhuǎn)化為兩個線性規(guī)劃問題。其次,通過具有快速收斂能力的牛頓法求解線性規(guī)劃對偶問題中的外罰問題,原問題可以歸結(jié)為求解線性方程系統(tǒng)。除了保留 LSTSVR原有的優(yōu)勢,還具有速度快以及非常稀疏性的優(yōu)勢。對線性問題而言,意味著該方法可以自動選擇樣本的特征,從而達到降維的目的。
　　4.對最小二乘孿生參數(shù)化不敏感支持向量回歸機進行研究。首先,引入最小二

8、乘方法,將孿生參數(shù)化不敏感支持向量回歸機(Twin Parametric Insensitive Support Vector Regression, TPISVR)的兩個二次規(guī)劃問題轉(zhuǎn)化為兩個線性方程組問題,提出最小二乘孿生參數(shù)化不敏感支持向量回歸機(Least Square TPISVR, LSTPISVR),從理論上分析了LSTPISVR的計算復(fù)雜性。其次,鑒于LSTPISVR的參數(shù)較多的問題,提出一種具有快速全局搜索能力的混沌布