支持向量機(jī)集成學(xué)習(xí)算法研究.pdf

1、集成學(xué)習(xí)通過(guò)訓(xùn)練多個(gè)個(gè)體學(xué)習(xí)器并將其結(jié)果進(jìn)行合成，顯著地提高了學(xué)習(xí)系統(tǒng)的泛化能力，作為機(jī)器學(xué)習(xí)的第四大研究方向已經(jīng)越來(lái)越引起人們的重視，為提高機(jī)器學(xué)習(xí)的泛化性能提供了另一種新的解決途徑。支持向量機(jī)作為一種“穩(wěn)定的”學(xué)習(xí)算法對(duì)集成學(xué)習(xí)技術(shù)提出了新的挑戰(zhàn)，研究和探索新型的支持向量機(jī)集成學(xué)習(xí)算法成為目前研究的熱點(diǎn)問(wèn)題。支持向量機(jī)集成學(xué)習(xí)的研究開(kāi)始較晚，研究較少。如何設(shè)計(jì)出更有效的支持向量機(jī)集成學(xué)習(xí)實(shí)現(xiàn)算法，是目前支持向量機(jī)集成學(xué)習(xí)的關(guān)鍵問(wèn)題。

2、本文分別從集成學(xué)習(xí)中的個(gè)體生成和結(jié)論合成兩方面入手展開(kāi)研究，充分挖掘支持向量機(jī)集成的優(yōu)勢(shì)和潛力。
　　 針對(duì)支持向量機(jī)對(duì)核函數(shù)類型及參數(shù)擾動(dòng)的敏感性，而現(xiàn)有參數(shù)擾動(dòng)方法都是預(yù)先選定一種核函數(shù)，沒(méi)有考慮核函數(shù)類型對(duì)支持向量機(jī)性能的影響，引入更加靈活的混合核函數(shù)，對(duì)混合核函數(shù)各參數(shù)進(jìn)行擾動(dòng)，其實(shí)質(zhì)是實(shí)現(xiàn)了對(duì)支持向量機(jī)模型的擾動(dòng)，提出一種模型一重?cái)_動(dòng)的支持向量機(jī)集成算法。仿真實(shí)驗(yàn)結(jié)果表明，該算法通過(guò)引入更多參數(shù)參與擾動(dòng)，提高了支持向量

3、機(jī)集成的差異度和泛化性能。
　　 在模型擾動(dòng)基礎(chǔ)上，結(jié)合特征擾動(dòng)機(jī)制，研究基于模型與特征二重?cái)_動(dòng)的支持向量機(jī)集成算法。已有特征擾動(dòng)方法都是在原始特征空間中進(jìn)行，沒(méi)有考慮特征相關(guān)性對(duì)個(gè)體支持向量機(jī)性能及集成差異度的影響。引入ICA特征變換方法，利用ICA方法對(duì)特征空間進(jìn)行變換，去除特征間的相關(guān)性；在變換后的獨(dú)立成分空間中，給出基于模型與特征二重?cái)_動(dòng)機(jī)制的支持向量機(jī)集成算法。仿真實(shí)驗(yàn)結(jié)果表明，該方法進(jìn)一步提高了集成的差異度和泛化性能

4、。
　　 選擇性集成方法從集成系統(tǒng)中選擇出部分個(gè)體參與集成，達(dá)到了提高集成泛化性能的目的。經(jīng)典的選擇性集成算法還存在計(jì)算復(fù)雜度高、學(xué)習(xí)效率差、性能低等缺陷，提出利用人工魚(yú)群優(yōu)化算法優(yōu)化結(jié)論合成的權(quán)值，引入人工魚(yú)群算法求解的全局性、初值不敏感、魯棒性強(qiáng)、收斂速度快等優(yōu)點(diǎn)，實(shí)現(xiàn)一種新的選擇性支持向量機(jī)集成算法，仿真實(shí)驗(yàn)結(jié)果表明，其在泛化性能、學(xué)習(xí)效率、集成規(guī)模等方面都有所改善。
　　 基于模糊積分法的支持向量機(jī)集成算法可以充

5、分利用支持向量機(jī)的度量層輸出信息，進(jìn)一步提高集成的泛化性能。已有的模糊積分集成法利用訓(xùn)練樣本的先驗(yàn)靜態(tài)信息來(lái)確定模糊密度值，其對(duì)所有的測(cè)試樣本都是固定不變的，不能充分體現(xiàn)不同個(gè)體支持向量機(jī)相對(duì)于不同待測(cè)樣本分類的不同置信度。提出一種基于自適應(yīng)模糊積分法的支持向量機(jī)集成算法，根據(jù)各個(gè)體支持向量機(jī)分類器的度量層輸出信息確定個(gè)體支持向量機(jī)分類器對(duì)待測(cè)樣本分類的置信度，并據(jù)此實(shí)現(xiàn)自適應(yīng)模糊密度賦值。仿真實(shí)驗(yàn)結(jié)果表明，該方法進(jìn)一步了提高支持向量機(jī)