半監(jiān)督孿生支持向量機(jī).pdf

1、孿生支持向量機(jī)(Twin Support Vector Machines, TWSVM)是在2007年提出的，在形式上類似于經(jīng)典的支持向量機(jī)(Support Vector Machines, SVM)，時(shí)間消耗上卻縮減到了SVM的1/4。它的思想來源于近似支持向量機(jī)(Proximal Support Vector Machines, PSVM)和基于廣義特征值近似支持向量機(jī)(Proximal SVM based on Generaliz

2、ed Eigenvalues, GEPSVM)。與SVM一樣，TWSVM也具有堅(jiān)實(shí)的理論基礎(chǔ)，并且具有推廣能力強(qiáng)等優(yōu)點(diǎn)。自從 TWSVM提出以來，就因?yàn)槠鋬?yōu)越的性能而成為了機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。學(xué)者們也對(duì)其提出了各種優(yōu)化和改進(jìn)。而 TWSVM的標(biāo)準(zhǔn)形式也只適用于有監(jiān)督學(xué)習(xí)的情況，而現(xiàn)實(shí)生活中產(chǎn)生的大量數(shù)據(jù)都是無標(biāo)簽的，在有監(jiān)督學(xué)習(xí)中僅采用有限的有類別標(biāo)簽數(shù)據(jù)時(shí)，很難得到具有強(qiáng)泛化性能的學(xué)習(xí)器，因此 TWSVM并不能很好地利用這些無

3、標(biāo)簽數(shù)據(jù)來提高自身的學(xué)習(xí)能力。面對(duì)少量的有標(biāo)簽數(shù)據(jù)和大量的無標(biāo)簽數(shù)據(jù)，半監(jiān)督學(xué)習(xí)方法可以幫助 TWSVM提高解決這類問題的分類性能。將半監(jiān)督學(xué)習(xí)思想引入TWSVM中，使兩者相結(jié)合，可以改善標(biāo)準(zhǔn)TWSVM的缺點(diǎn)，并獲得更好的分類效果，而這個(gè)問題的研究也有其重要的意義，本文的主要研究內(nèi)容如下：
　　首先，本文在標(biāo)準(zhǔn) TWSVM的基本形式上，即其優(yōu)化函數(shù)中，加入了無標(biāo)簽數(shù)據(jù)，從而提出了半監(jiān)督孿生支持向量機(jī)的最原始模型。原本的標(biāo)準(zhǔn)TWSV

4、M中，都是針對(duì)有標(biāo)簽數(shù)據(jù)而言，整個(gè)表達(dá)式中也必須是利用有標(biāo)簽數(shù)據(jù)。而在經(jīng)過對(duì)標(biāo)準(zhǔn) TWSVM的表達(dá)式進(jìn)行一些推導(dǎo)改造之后，能夠?qū)o標(biāo)簽數(shù)據(jù)也在表達(dá)式中體現(xiàn)出來，這意味著我們可以在求解的過程中就利用到無標(biāo)簽數(shù)據(jù)，而這也可以認(rèn)為是半監(jiān)督孿生支持向量機(jī)的原始模型。
　　其次，本文在考慮到半監(jiān)督孿生支持向量機(jī)的原始模型求解復(fù)雜后，利用流形正則化框架而提出了基于全局保持的拉普拉斯半監(jiān)督孿生支持向量機(jī)(Laplacian Global Pre

5、serving Twin Support Vector Machine, LapGTSVM)。流形正則化框架一直以來作為研究熱點(diǎn)能夠被有效地利用到半監(jiān)督學(xué)習(xí)中，拉普拉斯孿生支持向量機(jī)(Laplacian Twin Support Vector Machines, LapTSVM)便是學(xué)者利用流形正則化框架最早提出的一種能將孿生支持向量機(jī)運(yùn)用到半監(jiān)督學(xué)習(xí)中的機(jī)器學(xué)習(xí)方法。而本文建立的LapGTSVM則是在LapTSVM中嵌入數(shù)據(jù)樣本的全局

6、結(jié)構(gòu)信息，使得所構(gòu)造出來的分類器能夠充分考慮數(shù)據(jù)樣本的全局與局部信息，在性能和穩(wěn)定性方面都有很大的提升。
　　最后，采用半監(jiān)督核中Bagged聚類核這一方法，將孿生支持向量機(jī)以另外一種方式來充分利用無標(biāo)簽數(shù)據(jù)，而提出了基于Bagged聚類核的半監(jiān)督孿生支持向量機(jī)(TWSVM Based on Bagged cluster kernel for semi-supervised,Bagged-TWSVM)。該方法中，其主要思想就是利用