基于支持向量機的集成學習研究.pdf

1、支持向量機是建立在統(tǒng)計學習理論基礎上的一種新型的機器學習方法,由于具有良好的泛化能力,目前已經在許多領域得到了成功的應用。然而在應用過程中,支持向量機仍然存在一些不足:首先,為了降低求解優(yōu)化問題的時間,需要采用逼近算法；其次,往往憑經驗選擇核函數(shù),采用交叉驗證法確定分類器參數(shù),并不能保證參數(shù)的最優(yōu)性,但目前仍然沒有很好的解決辦法；第三,支持向量機本質是兩類分類工具,為解決多類問題需要進行擴展,但是無論采用組合多個兩類支持向量機的方法,還

2、是在同一個優(yōu)化問題中考慮所有類別,其分類性能并不如解決兩類問題時顯著,有些方法在實現(xiàn)上也過于復雜。這些缺點降低了支持向量機的穩(wěn)定性和泛化能力。
　　 集成學習通過訓練和組合多個準確而有差異的分類器,為提高分類系統(tǒng)的泛化能力提供了一條新的途徑,成為近十年來機器學習領域最主要的研究方向之一。目前,國內外以神經網絡、決策樹等為基分類器的集成學習研究已經取得了很大的進展,但是對支持向量機集成的研究起步較晚,還需要大量的工作。本文從這一現(xiàn)

3、狀出發(fā),研究有效的支持向量機集成學習方法,主要研究工作及創(chuàng)新性成果包括:
　　 1)介紹了支持向量機的原理、算法以及多類擴展方法,從基分類器構造和基分類器組合兩個方面詳盡地總結了集成學習的一般方法,綜述了當前國內外支持向量機集成學習研究的發(fā)展現(xiàn)狀。
　　 2)提出了基于屬性約簡的集成學習方法。粗糙集理論中的屬性約簡方法可以作為學習算法的一種對冗余數(shù)據(jù)的預處理手段,但是由于數(shù)據(jù)噪聲和離散化的影響,在許多情況下會降低支持向量

4、機等學習算法的分類性能。對一個包含冗余屬性的決策表進行約簡可以獲得多個不同的約簡屬性子集,這些子集通常具有較好的分類能力,而且彼此具有一定的差異性,因而可以用來構造支持向量機集成。屬性約簡集成學習方法能有效利用訓練數(shù)據(jù)中的互補和冗余信息進行融合分類,克服數(shù)據(jù)噪聲和離散化對支持向量機分類性能的不良影響。
　　 3)提出了基于屬性離散化的基分類器構造方法,指出了三種可能的實現(xiàn)策略:隨機選擇斷點；采用某一種離散化算法,并選擇不同數(shù)量的

5、斷點；或者采用多種離散化算法獲得不同的斷點集。本文采用第一種策略,首先基于RSBRA離散化算法構造支持向量機集成。進一步地,針對RSBRA離散化結果可能可能較大程度降低支持向量機分類性能的缺點,引入粗糙集理論的數(shù)據(jù)一致性指標,對RSBRA算法進行改進,使得離散化結果能保留足夠的分類信息。然后,在此基礎上提出基于改進RSBRA算法的集成學習方法。
　　 4)在當前基于搜索技術的集成學習方法中,通常需要一類指標對基分類器的性能進行評

6、估,但是這些指標很難在準確性和差異性之間取得良好的折衷,或者不能直接反映集成的泛化性能。針對這一問題,提出直接遺傳集成學習方法,利用遺傳算法直接在集成所在的空間搜索分類性能優(yōu)良的集成。直接遺傳集成很容易實現(xiàn)分類器的選擇性集成,研究表明,在組合較少分類器的情況下獲得了比傳統(tǒng)集成學習方法Bagging和Adaboost更好的分類效果。
　　 5)研究了多類分類問題中的分類器組合架構,為克服已有架構的不足,提出簡化的架構,避免分類器組

7、合過程中不必要的信息損失。在此架構下研究基于證據(jù)理論的度量層組合方法,利用支持向量機的后驗概率輸出和分類精度,定義基本概率分配函數(shù),然后采用一定的規(guī)則進行合成。特別地,當采用一對一的多類擴展方法時,可能出現(xiàn)嚴重的證據(jù)沖突,經典的Dempster組合規(guī)則不再適用。因此,基于沖突信息部分可用的思想提出新的證據(jù)組合方法,根據(jù)全體證據(jù)的整體有效性確定沖突信息的有用部分,然后將有用部分根據(jù)基本概率分配的加權平均在焦元中進行分配,有效地解決了證據(jù)沖