魯棒最小二乘支持向量機(jī)研究與應(yīng)用.pdf

1、二分類問題是統(tǒng)計(jì)學(xué)習(xí)理論、機(jī)器學(xué)習(xí)以及人工智能中研究的一個(gè)重要問題。支持向量機(jī)模型采用結(jié)構(gòu)風(fēng)險(xiǎn)極小化原則和核函數(shù)方法來構(gòu)造分類模型，模型比較簡單，解具有唯一性。最小二乘支持向量機(jī)模型使用誤差均方和作為目標(biāo)函數(shù)，把二次規(guī)劃模型的求解轉(zhuǎn)化成求解線性方程組，克服了支持向量機(jī)模型求解二次規(guī)劃計(jì)算量大的問題。但是最小二乘支持向量機(jī)模型中的等式約束以及目標(biāo)函數(shù)中的均方誤差和使得模型的解丟失了稀疏性，降低了解的魯棒性。
　　 由于隨機(jī)的或者非

2、隨機(jī)過程的存在，現(xiàn)實(shí)生活中的數(shù)據(jù)經(jīng)常帶有噪聲和不確定性。數(shù)據(jù)的噪聲以及不確定性會影響統(tǒng)計(jì)學(xué)習(xí)分類算法模型的性能，降低分類的準(zhǔn)確率及其分類模型的推廣能力。支持向量機(jī)和最小二乘支持向量機(jī)模型都是采用了固定范數(shù)的目標(biāo)函數(shù)，這種建立模型的方法不能夠很好的適應(yīng)各種各樣的數(shù)據(jù)結(jié)構(gòu)，從而使得模型的適應(yīng)能力較弱。為了加強(qiáng)最小二乘支持向量機(jī)模型的魯棒性和稀疏性，增強(qiáng)其推廣能力，使模型能夠根據(jù)數(shù)據(jù)結(jié)構(gòu)自動(dòng)進(jìn)行調(diào)整，本文主要開展了以下幾個(gè)方面的工作：

3、　　 1.系統(tǒng)整理了文獻(xiàn)中對支持向量機(jī)模型(SVM)和最小二乘支持向量機(jī)模型(LS-SVM)中改進(jìn)魯棒性的方法，并指出這些改進(jìn)模型存在的問題和缺陷。從而得到了本文將要研究的主要問題，即以加強(qiáng)最小二乘支持向量機(jī)模型的稀疏性、魯棒性和可解釋性為目的，對原有模型進(jìn)行了較大的改進(jìn)，給出了基于最小二乘支持向量機(jī)模型的有效二分類算法模型。
　　 2.針對最小二乘支持向量機(jī)模型丟失稀疏性和魯棒性的原因，提出了使用核主成分法對樣本數(shù)據(jù)中存在的

4、噪聲特征進(jìn)行剔除，并借鑒先前的增強(qiáng)最小二乘支持向量機(jī)模型稀疏性的方法，對特征進(jìn)行壓縮，給出了一個(gè)雙層L1范數(shù)最小二乘支持向量機(jī)模型—KPCA-L1-LS-SVM。通過使用KPCA方法，可以有效的進(jìn)行特征抽取和提取。同時(shí)以L1范數(shù)作為目標(biāo)函數(shù)，可以有效的消除噪聲點(diǎn)對模型推廣能力的影響，并使模型的解更稀疏，從而可以降低計(jì)算的復(fù)雜度。在仿真數(shù)據(jù)集和基準(zhǔn)數(shù)據(jù)庫上對該模型的測試表明該方法是有效的。
　　 3.在實(shí)際的二分類問題中，由于噪聲

5、點(diǎn)或者噪聲特征的存在使得樣本的標(biāo)簽會出現(xiàn)不確定的情況。分類模型應(yīng)該能夠自動(dòng)判別哪些是相對重要的點(diǎn)，哪些是受噪聲點(diǎn)影響較大的樣本，從而在分類函數(shù)的構(gòu)造中剔除這種樣本。模糊隸屬度的概念則可以用來描述樣本標(biāo)簽的不確定性。本文采用L1范數(shù)作為目標(biāo)函數(shù)以及模糊隸屬度的概念可以構(gòu)造出一個(gè)具有稀疏性和魯棒性的基于最小二乘支持向量機(jī)的分類模型—模糊L1-LS-SVM。在測試數(shù)據(jù)集上的測試表明這個(gè)模型同樣可以消除噪聲點(diǎn)的影響，并具有較好的可解釋性。

6、>　　 4.在分類問題中，不同的樣本在分類函數(shù)的構(gòu)造中所起的作用是不同的。在分類函數(shù)的構(gòu)造中，樣本所包含的判別信息越是重要，相應(yīng)的樣本對分類模型的構(gòu)造所起的作用就越大。因此，為了區(qū)別不同樣本對于決策函數(shù)構(gòu)造的不同作用，可以對包含重要信息的樣本賦予較大的權(quán)重，而包含次要信息的樣本所對應(yīng)的權(quán)重就會較小。通過這種賦權(quán)的方法也可以消除噪聲點(diǎn)對分類模型的影響，使得模型具有魯棒的特征。無論是支持向量機(jī)還是最小二乘支持向量機(jī)模型，在目標(biāo)函數(shù)中都使用

7、固定的Lp范數(shù)，這是一種基于先驗(yàn)知識的建模方法，不能適應(yīng)各種各樣復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。從模型更好的適應(yīng)數(shù)據(jù)的角度出發(fā)，本文提出了一個(gè)賦權(quán)魯棒最小二乘支持向量機(jī)模型—RW-Lp-LS-SVM。在仿真數(shù)據(jù)集以及UCI基準(zhǔn)數(shù)據(jù)庫上的測試表明該模型具有魯棒性特征，稀疏性好，具有較好的解釋能力。
　　 5.信用評估數(shù)據(jù)庫所包含的數(shù)據(jù)類型比較特殊，其類別比例極不均衡。為了檢驗(yàn)本文所提出的三個(gè)模型的分類性能，我們使用這三個(gè)模型在三個(gè)信用數(shù)據(jù)庫上進(jìn)行