支持向量機(jī)多分類直接算法研究.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的一種新的機(jī)器學(xué)習(xí)方法，該方法采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則訓(xùn)練學(xué)習(xí)機(jī)器，在解決有限樣本分類問(wèn)題時(shí)具有很強(qiáng)的學(xué)習(xí)能力和泛化能力．由于支持向量機(jī)能較好地解決非線性、高維數(shù)、局部極小點(diǎn)等問(wèn)題，成為機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究熱點(diǎn)，已在很多領(lǐng)域得到成功的應(yīng)用，如人臉檢測(cè)、手寫體數(shù)字識(shí)別、文本自動(dòng)分類等．多分類是機(jī)器學(xué)習(xí)的一個(gè)重要分支，而經(jīng)典的支持向量機(jī)算法是針

2、對(duì)兩分類問(wèn)題提出的，因此人們將其進(jìn)行推廣來(lái)解決多分類問(wèn)題．該課題對(duì)支持向量機(jī)多分類直接算法(Quadratic Programming Multi-class Support Vector Machine,QP-MC-SVM)進(jìn)行了一系列的研究，主要工作和結(jié)論如下：
　　1．2002年Franc等人對(duì)支持向量機(jī)多分類模型QP-MC-SVM進(jìn)行了改進(jìn)，給出了求解其等價(jià)模型的單點(diǎn)算法，克服了QP-MC-SVM的目標(biāo)函數(shù)過(guò)于復(fù)雜等缺點(diǎn)．

3、本文給出QP-MC-SVM解的充要條件，根據(jù)該充要條件，首次從理論上證明QP-MC-SVM的改進(jìn)模型與原模型之間解的一致性．
　　2．由于SVM中參數(shù)值的選取比較困難，Scholkopf等人于2000年提出了另外?C C一種改進(jìn)的支持向量機(jī)—υ-支持向量機(jī)，簡(jiǎn)稱ν-SVM．與C-SVM中的參數(shù)C不同，參數(shù)ν的取值具有實(shí)際的意義．本文對(duì)ν-SVM進(jìn)行推廣，給出一種新的支持向量機(jī)多分類直接算法模型ν-QP-MC-SVM，并首次給出與ν

4、-QP-MC-SVM相關(guān)的性質(zhì)定理及其對(duì)偶問(wèn)題。
　　3．由于求解ν-QP-MC-SVM十分困難，本文首次對(duì)ν-QP-MC-SVM對(duì)應(yīng)的原始問(wèn)題進(jìn)行改進(jìn)，把閾值引入目標(biāo)函數(shù)，在n+1維空間上考慮最大化間隔，給出它的BSVM模型．通過(guò)引入Kesler結(jié)構(gòu)，首次給出ν-QP-MC-SVM的單類支持向量機(jī)模型，并首次證明單類支持向量機(jī)模型中的不等式約束eTα≥ν換成等式約束eTα=v后，問(wèn)題的解不變．首次給出ν-QP-MC-SVM的BS

5、VM模型與其原始模型之間解的一致性的結(jié)論，并加以詳細(xì)證明。
　　4．由于序列最小最優(yōu)化算法(Sequential Minimal Optimization，簡(jiǎn)稱SMO)算法采用解析法進(jìn)行求解支持向量機(jī)，使支持向量機(jī)擁有了解決超大規(guī)模數(shù)據(jù)分類問(wèn)題的能力．本文首次給出求解ν-QP-MC-SVM對(duì)應(yīng)的單類支持向量機(jī)的SMO算法，通過(guò)數(shù)值試驗(yàn)說(shuō)明ν-QP-MC-SVM的SMO算法與QP-MC-SVM對(duì)應(yīng)的單點(diǎn)算法相比，在分類準(zhǔn)確率基本相同