支持向量機(jī)集成方法研究.pdf

1、V.Vapnik 領(lǐng)導(dǎo)的AT&Tbell實(shí)驗(yàn)室研究小組從上世紀(jì)60年代開(kāi)始就致力于有限樣本統(tǒng)計(jì)理論的研究，并將這一理論稱為統(tǒng)計(jì)學(xué)習(xí)理論（StatisticAlLearning Theory, SLT）。支持向量機(jī)（Support Vector Machine, SVM）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，它建立在VC維（Vapnik-Chervonenkis Dimension）理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上，在解決小樣本、非線性及高

2、維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，目前已在許多領(lǐng)域得到了成功的應(yīng)用。自20世紀(jì)90年代后，集成學(xué)習(xí)（Ensemble Learning）逐漸成為機(jī)器學(xué)習(xí)新的研究方向，集成學(xué)習(xí)是一種可以有效地提高機(jī)器學(xué)習(xí)泛化能力的多學(xué)習(xí)器學(xué)習(xí)方法。選擇性集成在較小的集成規(guī)模下，可以獲得很好的泛化性能。選擇性集成的主要目標(biāo)是保留部分差異性大的個(gè)體參與集成。目前，關(guān)于差異性的研究，主要集中在兩個(gè)方面，一是尋找合適的度量方法；二是如何利用此種方法提高集成學(xué)

3、習(xí)的性能。
　　 本文研究了基于支持向量機(jī)分類器的差異性度量和選擇性集成學(xué)習(xí)方法。目前已有的差異性研究主要是利用個(gè)體在驗(yàn)證集上的分類結(jié)果來(lái)度量，這些方法在一定程度上受驗(yàn)證集的影響，差異性大往往預(yù)示著個(gè)體間的預(yù)測(cè)正確率差距也大，使得這些度量方法在選擇集成個(gè)體時(shí)不能充分發(fā)揮作用。由于支持向量機(jī)具有簡(jiǎn)潔的數(shù)學(xué)形式，因此可以從判別函數(shù)出發(fā)尋找差異性。首先，針對(duì)支持向量機(jī)分類器，提出了一種基于支持向量而非分類預(yù)測(cè)結(jié)果的差異性度量方法，并且