基于選擇性集成學(xué)習(xí)的支持向量機(jī)分類研究.pdf

1、近些年來，隨著科技的迅速發(fā)展，導(dǎo)致數(shù)據(jù)量的不斷增多，這在無形中帶來了很多的問題，比如很多數(shù)據(jù)需要進(jìn)行分類和整理，單純的依靠人工去分類這些數(shù)據(jù)將會產(chǎn)生非常大的工作量，給人們的工作和生活帶來諸多的不便。而機(jī)器學(xué)習(xí)作為一個可以幫助人們解決這類問題的方法越來越引起了人們的關(guān)注。現(xiàn)如今，機(jī)器學(xué)習(xí)在疾病診斷、生物信息識別、地理信息系統(tǒng)等領(lǐng)域都得到了相關(guān)的應(yīng)用和研究，為人們的生活和工作帶來了很多的方便。集成學(xué)習(xí)作為一種可以將多個分類器整合的機(jī)器學(xué)習(xí)方

2、法也在發(fā)揮著越來越重要的作用。一般集成學(xué)習(xí)系統(tǒng)相比較弱分類器個體來說，它的集成學(xué)習(xí)效果要好一些。因此之前關(guān)于集成學(xué)習(xí)的研究多集中于與弱分類器的結(jié)合，對于如何與SVM這種強(qiáng)分類器去進(jìn)行有效地集成的研究并不多見。對此，本文所做出的工作主要可以分為以下幾個方面：
　　1、提出基于Bagging算法的SVM選擇性集成
　　結(jié)合Bagging算法以及選擇性集成理論，提出基于Bagging算法的SVM選擇性集成方法。首先通過Baggin

3、g算法的Bootstrap方式對原始數(shù)據(jù)集合進(jìn)行選取，得到訓(xùn)練子集合，然后在原數(shù)據(jù)的特征集合中隨機(jī)選取出特征子集合，并且在該訓(xùn)練子集合上進(jìn)行投影，得到所需要的輸入數(shù)據(jù)，通過這種改變輸入樣本的方式來解決弱化SVM分類器的問題，并且使得各個子分類器之間產(chǎn)生一定的差異性；其次，算法結(jié)合選擇性集成的理論，對于產(chǎn)生的各個子分類器進(jìn)行精度上的排序，選取出部分精度較好的子分類器進(jìn)行集成，解決了集成的個體需要保證一定準(zhǔn)確率才可提升整體性能的問題，使得整

4、體性能得到改善，同時降低了所需的計(jì)算資源。
　　2、提出基于Adaboost算法的SVM選擇性集成
　　結(jié)合Adaboost算法的迭代加權(quán)過程，以及選擇性集成方法，提出基于Adaboost算法的SVM選擇性集成方法。算法首先結(jié)合SVM的分類特點(diǎn)，將SVM分類中較難和較易分類的部分?jǐn)?shù)據(jù)提供給Adaboost算法，同時在算法的迭代過程中根據(jù)準(zhǔn)確率的計(jì)算來調(diào)整SVM的核參數(shù)，通過這兩種方式解決在Adaboost算法中弱化SVM個體

5、學(xué)習(xí)器的問題，同時解決個體學(xué)習(xí)器的差異性，以及預(yù)測準(zhǔn)確性要保持在一定水平的理論問題；其次，在構(gòu)成集成學(xué)習(xí)系統(tǒng)的過程中結(jié)合選擇性集成方法，提出一種新的選取子分類器的方法，其通過將個體準(zhǔn)確率與整體系統(tǒng)準(zhǔn)確率進(jìn)行比較，將符合整體準(zhǔn)確率要求的子學(xué)習(xí)器加入到最終的集成學(xué)習(xí)系統(tǒng)中，改善系統(tǒng)的準(zhǔn)確性，減小集成系統(tǒng)的規(guī)模。
　　集成學(xué)習(xí)與強(qiáng)學(xué)習(xí)類型的分類器進(jìn)行結(jié)合的主要問題就是如何達(dá)到集成學(xué)習(xí)中弱學(xué)習(xí)器、個體差異性以及準(zhǔn)確性這三個方面的平衡，只有