支持向量機(jī)模型及其算法研究.pdf

1、支持向量機(jī)(SVM)作為數(shù)據(jù)挖掘中的新方法，已經(jīng)成為解決機(jī)器學(xué)習(xí)問題的新技術(shù).由于它是基于結(jié)構(gòu)風(fēng)險最小化，且具有全局最優(yōu)、推廣能力強(qiáng)以及解的稀疏性等優(yōu)點，能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等實際應(yīng)用中的難題，從而越來越受到人們的重視，并且廣泛地應(yīng)用于分類問題、回歸問題和函數(shù)逼近等領(lǐng)域。本文給出一種改進(jìn)的半監(jiān)督支持向量機(jī)模型，以及支持向量機(jī)訓(xùn)練的一些有效算法，具體內(nèi)容如下：
　　第一、基于U-支持向量機(jī)和半監(jiān)督兩

2、類分類問題的LIAM支持向量機(jī)算法思想，提出一種改進(jìn)的半監(jiān)督LIAM支持向量機(jī)(NPLIAM)。其完全具有PLIAM支持向量機(jī)所具有的誘導(dǎo)性，訓(xùn)練速度快，準(zhǔn)確率高等優(yōu)點，并且也只需通過求解一個(n+1)*(n+1)矩陣的逆即可得到最終分劃超平面。最重要的是NPLIAM算法克服了一般LIAM半監(jiān)督支持向量機(jī)的兩個缺點：
　　1)考慮未標(biāo)記點的所有正類與負(fù)類的約束情況，增加了二次規(guī)劃的求解復(fù)雜度；
　　2)當(dāng)未標(biāo)記點距離標(biāo)記點太

3、遠(yuǎn)，這樣就使得該未標(biāo)記點所提供的信息在訓(xùn)練中無法被利用，從而影響了分類的準(zhǔn)確率。
　　第二、針對最近Roger和Gaetano提出的支持向量機(jī)的一個新的標(biāo)準(zhǔn)問題以及對其求解的類SQP訓(xùn)練算法，通過對該類SQP算法子問題的幾何意義進(jìn)行分析，提出一種改進(jìn)的QP子問題，以及相應(yīng)的改進(jìn)類SQP算法，并對本文算法與原算法進(jìn)行比較。關(guān)于算法的初步的數(shù)值實驗也驗證了本文分析的正確性。實驗結(jié)果表明，當(dāng)算法迭代點接近最優(yōu)點時，本文的改進(jìn)算法可以直接

4、搜索致局部最優(yōu)點，并且終止。而原SQP算法可能會搜索到局部最優(yōu)點仍要進(jìn)行下一步的迭代，以確保其局部最優(yōu)性才可終止。同時，本文還給出了另一種關(guān)于原SQP算法中參數(shù)0的選擇策略，該選擇策略同樣具有原策略所具有的優(yōu)點，但較原策略，特別是在不可分的情況下(即h0),具有更好的數(shù)值穩(wěn)定性。
　　第三、對于多類分類問題的K-SVCR算法，本文將其轉(zhuǎn)化成一個帶有半正定矩陣的仿射箱式約束變分不等式問題(BVI)。事實上，該轉(zhuǎn)化所得的BVI問題也是

5、一帶有P0-函數(shù)的箱式約束的半分不等式問題(P0BVI)。同時由于一般的變分不等式問題能夠轉(zhuǎn)化成一非光滑的等式系統(tǒng)，本文基于[40]提出的求解P0-NCP的正則光滑牛頓法的思想，通過引入相互獨立的單變量光滑參數(shù)?和單變量正則參數(shù)?，提出一個新的求解P0BVI的正則光滑牛頓算法來間接訓(xùn)練K-SVCR支持向量機(jī)。由于上述參數(shù)u和b均為單變量，且互不相關(guān)，這就使得本章所提算法更為簡單易行，可以有效地在實際中執(zhí)行。算法產(chǎn)生一無窮序列，在無需假設(shè)