支持向量機參數(shù)選擇及訓練算法研究.pdf

1、基于數(shù)據(jù)的機器學習是現(xiàn)代智能技術中的重要方面。支持向量機(SVM)是近年發(fā)展起來的一種基于統(tǒng)計學習理論(SLT)處理小樣本學習問題的算法，它采用結(jié)構風險最小化原理，解決了過學習、非線性、維數(shù)災、局部極小點等問題，成為目前最普遍使用的機器學習算法。本文對支持向量機中的參數(shù)選擇、增量學習、多類分類、在線訓練等多個問題的模型、算法及其在證券投資決策中的應用進行了研究和探討。主要工作如下： 1、提出了一種改進的免疫網(wǎng)絡算法。針對標準免疫

2、網(wǎng)絡在函數(shù)尋優(yōu)過程中存在的問題，提出了基于“年齡”的搜索半徑策略，以增強局部搜索能力；改進了網(wǎng)絡的擴展策略，以兼顧樣本多樣性與計算效率；改進了網(wǎng)絡收縮時的保留策略，防止最優(yōu)解的退化，消除了原算法在尋優(yōu)過程后期最優(yōu)解性能的波動現(xiàn)象。數(shù)值實驗表明，與原算法相比，改進后的算法在找到全局最優(yōu)解的比例和效率方面有非常明顯的提高。 2、將SVM預測精度看作是一個關于模型參數(shù)的不連續(xù)的多極值函數(shù)，基于上述改進的免疫網(wǎng)絡算法，對支持向量機的模型

3、參數(shù)選擇問題進行了研究，將免疫網(wǎng)絡算法與支持向量機相結(jié)合形成一個AIN-SVM算法。分別對分類和回歸數(shù)據(jù)集進行了測試，結(jié)果表明該方法能夠更快速地在更大的空間內(nèi)進行有效搜索，與傳統(tǒng)的交叉驗證方法相比，在搜索速度與稀疏性上具有較大的優(yōu)勢。 3、針對最小二乘支持向量機(LS-SVM)的計算特點，提出了快速的遞增學習過程和遞減學習過程。通過讓訓練樣本以序列輸入方式替代批量輸入方式，交替地對樣本進行遞增訓練和遞減訓練，并迭代訓練多次，得到

4、了迭代增量LS-SVM訓練算法。通過對多個UCI和Statlog中數(shù)據(jù)集的測試表明，該算法與現(xiàn)有的采用迭代裁剪方法的稀疏近似LS-SVM算法相比，在識別精度相當?shù)那闆r下，在訓練效率和稀疏性方面都具有明顯的優(yōu)勢，有效地實現(xiàn)了LS-SVM的稀疏性。 4、針對傳統(tǒng)多類分類方法中存在的“不可識別區(qū)域”問題，提出了“1-b-1，，的方法，該方法消除了“不可識別區(qū)域”，并有效降低了多個二類分類器的訓練運算量。通過對“1-b-1”的進一步改進

5、，提出了自適應二叉樹多類分類方法(ABTSVM)，該方法利用聚類分析中的類距離和類包含的思想，通過先聚類再分類的方式，解決了“1-b-1”中存在的隨機性問題。對多個UCI和Statlog中的多類數(shù)據(jù)集進行了測試，ABTSVM在識別精度和支持向量數(shù)量方面都表現(xiàn)出良好的性能。 5、在(3)中的增量式訓練算法的基礎上，給出了適合實時系統(tǒng)使用的在線增量稀疏LS-SVR訓練算法。通過簡化增量訓練中的遞增學習過程和遞減學習過程，進一步提高了

6、訓練效率，同時將支持向量數(shù)目維持在較低水平、提高了測試速度。通過對兩個標準集的測試表明：提出的在線增量稀疏LS-SVR與現(xiàn)有的在線增量算法相比，改善了訓練效率、測試速度和預測精度的綜合性能。 6、將支持向量機分類方法應用于上市公司的財務風險評價模型及預警研究，將支持向量機回歸方法應用于股市指數(shù)的預測研究。使用AIN-SVM進行上市公司的財務風險評價模型及預警研究，使用ABTSVM進行上市公司的多類財務風險評價模型研究，與現(xiàn)有的方