多支持向量機(jī)融合算法研究.pdf

1、統(tǒng)計(jì)學(xué)習(xí)理論系統(tǒng)地研究了小樣本情況下的機(jī)器學(xué)習(xí)問題。20世紀(jì)90年代，在這一理論基礎(chǔ)下提出的支持向量機(jī)(SupportVectorMachine，SVM)較好解決了小樣本、過學(xué)習(xí)、“維數(shù)災(zāi)”、局部極小等問題，具有很強(qiáng)的泛化能力。 多分類器融合作為信息融合、模式識別、機(jī)器學(xué)習(xí)等領(lǐng)域交叉形成的一個(gè)分支，近年來成為一個(gè)新的研究熱點(diǎn)。對于多個(gè)兩分類SVM分類器融合方法及應(yīng)用方面的研究還不完善，而對于多個(gè)多分類支持向量機(jī)(Multi-cl

2、assSVM，MSVM)分類器融合的研究更是剛剛起步。 本文對多個(gè)SVM分類器融合和集成方法及應(yīng)用進(jìn)行了系統(tǒng)深入的研究。主要工作包括以下幾個(gè)方面： 介紹了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)的理論基礎(chǔ)，在此基礎(chǔ)上詳細(xì)介紹了SVM方法的概念和特點(diǎn)，全面系統(tǒng)地闡述了SVM、信息融合、多分類器融合的研究進(jìn)展和現(xiàn)狀，分析了SVM分類器融合方法的研究發(fā)展趨勢和存在的不足。 針對如何通過分類器融合提高決策分類性能，同時(shí)保持低的計(jì)算復(fù)雜性和占用

3、較少存儲資源的問題，提出了一種基于粗集理論構(gòu)造SVM集成分類器的新方法。首先利用基于粗集理論的屬性約簡算法刪除冗余和次要屬性，得到最優(yōu)特征子集，并根據(jù)最優(yōu)特征子集來構(gòu)建相應(yīng)的輸入子空間。然后對于每個(gè)輸入子空間，訓(xùn)練相應(yīng)的SVM子分類器。具有較高分類性能的SVM子分類器被挑選出來用于建立SVM集成分類器。最后通過醫(yī)療診斷數(shù)據(jù)集進(jìn)行了仿真驗(yàn)證，并與其他分類器集成方法進(jìn)行了比較分析。試驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性。 針對多信息源、多分

4、類問題，提出了幾種基于MSVM的集中式和分布式融合策略和方法，并對現(xiàn)有方法的不足提出了改進(jìn)的輔助決策函數(shù)。分別采用一對一(one-against-one)，一對多(one-against-all)和有向無環(huán)圖(DirectedAcyclicGraph，DAG)方法合并多個(gè)兩分類SVM分類器來構(gòu)造MSVM。所提的融合策略充分利用了MSVM的特性：一是通過構(gòu)造并合并幾個(gè)兩分類SVM子分類器建立MSVM；二是通過尋找具有最大間隔的最優(yōu)分類超平

5、面來訓(xùn)練兩分類SVM子分類器。利用多缸柴油機(jī)的故障診斷數(shù)據(jù)集對所提方法進(jìn)行了驗(yàn)證，詳細(xì)分析比較了各種融合方法的優(yōu)缺點(diǎn)、適用范圍以及三種MSVM分類器的性能差異。 提出了多分類概率支持向量機(jī)(Multi-classProbabilitySVM，MPSVM)方法，并給出了多個(gè)MPSVM分類器的貝葉斯融合算法?；趏ne-against-all策略分解多分類問題，訓(xùn)練多個(gè)兩分類SVM結(jié)合擠壓函數(shù)產(chǎn)生具有后驗(yàn)概率輸出的支持向量機(jī)(Pro

6、babilitySVM，PSVM)并進(jìn)行組合，構(gòu)造出MPSVM，分別采用均值和中值貝葉斯方法來融合多個(gè)MPSVM分類器。仿真實(shí)驗(yàn)說明了該算法的有效性。 提出了MPSVM在證據(jù)理論框架下的基本概率分配函數(shù)，證據(jù)理論支持向量機(jī)(Dempster-ShafertheorybasedMSVM，DSMSVM)構(gòu)造算法，多個(gè)DSMSVM融合算法。通過設(shè)計(jì)基本概率分配函數(shù)，利用證據(jù)合并規(guī)則合并MPSVM提供的證據(jù)，并僅對單元素集應(yīng)用最大信任準(zhǔn)

7、則，建立了DSMSVM。這種類型的學(xué)習(xí)機(jī)器能夠提供更多的用于后續(xù)處理的信息。在此基礎(chǔ)上用多個(gè)DSMSVM分類器融合來解決分布式的多信息源、多分類問題。針對每一個(gè)源建立相應(yīng)的DSMSVM分類器，然后利用證據(jù)理論合并規(guī)則進(jìn)行分類器證據(jù)融合，最終決策通過最大信任決策準(zhǔn)則給出。將所提方法應(yīng)用于柴油機(jī)的分布式故障診斷，獲得了比傳統(tǒng)方法更好的性能，提高了診斷的準(zhǔn)確率和魯棒性。 提出了基于模糊積分的MPSVM融合算法。同時(shí)考慮了每個(gè)MPSVM

8、提供的證據(jù)和它在融合過程中的經(jīng)驗(yàn)重要度，給出了兩種根據(jù)識別率來計(jì)算MPSVM分類器在融合過程中重要度的方法：一種是利用每個(gè)MPSVM的整體識別率；另一種是利用每個(gè)MPSVM對于每一類的識別率。所提算法的有效性在柴油機(jī)的分布式故障診斷中進(jìn)行了仿真驗(yàn)證。 針對非線性系統(tǒng)的辨識與控制問題，提出了基于SVM的逆學(xué)習(xí)方法。充分利用了SVM的小樣本統(tǒng)計(jì)學(xué)習(xí)、泛化能力強(qiáng)的特點(diǎn)，采用SVM回歸很好地逼近未知強(qiáng)非線性對象，對于受噪聲污染的數(shù)據(jù)具有