改進(jìn)最小二乘支持向量機(jī)及其應(yīng)用.pdf

1、支持向量機(jī)(SVM)是以結(jié)構(gòu)風(fēng)險最小化為建模準(zhǔn)則的機(jī)器學(xué)習(xí)方法，其追求的是在有限樣本信息情況下取得模型學(xué)習(xí)能力和模型復(fù)雜度的有效折衷。作為SVM的改進(jìn)，最小二乘支持向量機(jī)(LS-SVM)繼承了SVM處理小樣本、非線性和局部極小點等問題的優(yōu)勢，但是LS-SVM的解缺失了稀疏性以及魯棒性。另一方面LS-SVM模型的超參數(shù)仍有待進(jìn)一步優(yōu)化。為此論文針對LS-SVM存在的上述不足，提出如下相應(yīng)的改進(jìn)措施：
　　(1)為了提高LS-SVM的

2、擬合精度和泛化能力，提出采用耦合模擬退火(CSA)算法優(yōu)化LS-SVM超參數(shù)。CSA算法通過并行處理多個獨立模擬退火(SA)尋優(yōu)過程，促進(jìn)優(yōu)化信息共享；然后通過自適應(yīng)調(diào)整接受溫度值，控制LS-SVM超參數(shù)的接受概率方差，降低接受溫度初始賦值對CSA算法敏感性；最后結(jié)合既有線輪軌現(xiàn)場檢測數(shù)據(jù)，開展了CSA優(yōu)化LS-SVM的性能對比實驗。結(jié)果表明優(yōu)化的LS-SVM取得較好的預(yù)測效果。
　　(2)為了降低噪聲數(shù)據(jù)對LS-SVM模型穩(wěn)健性

3、影響，采用迭代魯棒最小二乘支持向量機(jī)(IRLS-SVM)對現(xiàn)場數(shù)據(jù)進(jìn)行建模和預(yù)報。首先增加權(quán)函數(shù)迭代次數(shù)以增強(qiáng)建模過程魯棒性；然后將具有全局搜索的CSA與局部優(yōu)化的單純形法(SM)相結(jié)合的方法用于優(yōu)化IRLS-SVM超參數(shù)，進(jìn)而采用魯棒交叉驗證作為CSA-SM算法擬合目標(biāo)函數(shù)，提高模型超參數(shù)優(yōu)化過程的魯棒性；最后利用變速箱現(xiàn)場齒輪磨損數(shù)據(jù)進(jìn)行數(shù)值試驗，結(jié)果表明所提出方法的有效性。
　　(3)針對LS-SVM缺失稀疏性的問題，論文相

4、繼提出兩種稀疏模型：
　?、贅?gòu)建基于特征向量選擇(FVS)的稀疏最小二乘支持向量機(jī)(SLS-SVM)模型。首先采用FVS在特征空間建立特征向量子集，對訓(xùn)練樣本進(jìn)行稀疏線性重構(gòu)；然后將稀疏化的特征向量作為支持向量，從而實現(xiàn)對LS-SVM稀疏化建模；最后將所提出的SLS-SVM模型進(jìn)行了數(shù)值模擬和弓網(wǎng)系統(tǒng)的仿真對比實驗。結(jié)果表明SLS-SVM模型在取得高預(yù)報精度的同時，實現(xiàn)支持向量的稀疏化，模型預(yù)報速度得到加快。
　?、谕ㄟ^在L

5、S-SVM目標(biāo)函數(shù)中引入L0-范數(shù)正則項稀疏思想，迭代實現(xiàn)支持向量的稀疏化，并據(jù)此建立迭代稀疏最小二乘支持向量機(jī)(ISLS-SVM)。由于ISLS-SVM迭代稀疏過程涉及額外的線性方程組。為了加快ISLS-SVM建模速度，提出首先基于快速留一交叉驗證減少稀疏模型初值設(shè)置過程計算量；接著經(jīng)過一系列變換采用更加高效的Chol分解法求解降階后的線性方程組。最后將所提出的改進(jìn)ISLS-SVM模型應(yīng)用于UCI標(biāo)準(zhǔn)數(shù)據(jù)預(yù)測，結(jié)果表明改進(jìn)稀疏模型的有