支持向量機(jī)學(xué)習(xí)算法的若干問題研究.pdf

1、支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上的新型機(jī)器學(xué)習(xí)方法。它根據(jù)有限樣本信息在模型的復(fù)雜度和期望風(fēng)險(xiǎn)之間尋求最佳折衷，能夠獲得更好的泛化性能。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法相比，支持向量機(jī)具有泛化能力強(qiáng)、維數(shù)不敏感、收斂到全局最優(yōu)等優(yōu)點(diǎn)，很好地解決了前者容易出現(xiàn)的過學(xué)習(xí)、局部極值、維數(shù)災(zāi)難等棘手問題，因而成為近幾年機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)非?；钴S的研究熱點(diǎn)。 然而，支持向量機(jī)是機(jī)器學(xué)習(xí)領(lǐng)域中相對(duì)比較新的理論

2、，它在很多方面尚不成熟、不完善，需要進(jìn)一步地研究和改進(jìn)。其中，關(guān)于它的學(xué)習(xí)算法的研究是該理論的重點(diǎn)和難點(diǎn)內(nèi)容之一。本文主要從提升泛化性能、提高學(xué)習(xí)速度、探索新型學(xué)習(xí)算法、增強(qiáng)學(xué)習(xí)過程的健壯性以及半監(jiān)督學(xué)習(xí)等幾個(gè)角度，對(duì)支持向量機(jī)的學(xué)習(xí)算法進(jìn)行了比較系統(tǒng)的研究。 論文的主要研究工作包括以下5個(gè)方面： 1.特殊設(shè)計(jì)的集成學(xué)習(xí)算法能夠提高支持向量機(jī)的泛化性能。在分析不同的樣本擾動(dòng)方式對(duì)于增大成員分類器之間差異性的作用之后，本文

3、提出了兩種基于二重?cái)_動(dòng)機(jī)制的集成學(xué)習(xí)算法，它們的共同特點(diǎn)是：均采取同時(shí)對(duì)輸入特征空間和模型參數(shù)進(jìn)行擾動(dòng)的方式來產(chǎn)生成員分類器，并利用多數(shù)投票方法對(duì)它們進(jìn)行組合。數(shù)值實(shí)驗(yàn)結(jié)果表明，兩種算法均能夠顯著提升支持向量機(jī)的泛化性能。 2.支持向量機(jī)的學(xué)習(xí)過程需要求解一個(gè)凸二次規(guī)劃問題，在大樣本情況下，需要的計(jì)算開銷和存儲(chǔ)開銷都非常大。通過將開銷分解到并行系統(tǒng)的多個(gè)計(jì)算節(jié)點(diǎn)上并行地進(jìn)行處理或者通過設(shè)計(jì)并行學(xué)習(xí)算法是解決該問題的有效途徑之一。

4、本文提出了“多重三叉級(jí)聯(lián)(MTC)”并行學(xué)習(xí)結(jié)構(gòu)，具有反饋速度快、節(jié)點(diǎn)利用率高、反饋的支持向量數(shù)目多等優(yōu)點(diǎn)；并且，基于該學(xué)習(xí)結(jié)構(gòu)設(shè)計(jì)了支持向量機(jī)的并行學(xué)習(xí)算法，獲得了非常高的加速比和并行效率，顯著提高了學(xué)習(xí)速度。 3. 支持向量機(jī)的大多數(shù)學(xué)習(xí)算法都是針對(duì)其對(duì)偶優(yōu)化問題進(jìn)行求解，但直接針對(duì)其原始優(yōu)化問題進(jìn)行求解也是非?？尚械?。本文利用Huber函數(shù)消除原始優(yōu)化目標(biāo)函數(shù)中的l<,1>范數(shù)后，推導(dǎo)得到其無約束、連續(xù)、二次可微且嚴(yán)格凸的

5、γ-近似優(yōu)化問題，然后采用Newton下降法進(jìn)行求解，并對(duì)解的更新規(guī)則進(jìn)行了推導(dǎo)和簡(jiǎn)化。在此基礎(chǔ)上，提出一種能夠直接在原始空間中求解支持向量機(jī)的近似最優(yōu)解的快速學(xué)習(xí)算法，并對(duì)算法的收斂性、復(fù)雜度以及解的性質(zhì)進(jìn)行了分析。 4．支持向量機(jī)采用的Hinge損失函數(shù)對(duì)噪聲樣本引起的罰損失沒有任何限制，這是它對(duì)噪聲樣本敏感的根本原因。本文提出一種基于光滑Ramp損失函數(shù)的健壯支持向量機(jī)方法，能夠有效抑制噪聲樣本對(duì)泛化性能的影響。鑒于新方法

6、的優(yōu)化問題是非凸的，首先采用CCCP過程將其變換成一系列的無約束、二次可微且嚴(yán)格凸的優(yōu)化問題，然后采用Newton下降法在原始空間中進(jìn)行求解，并對(duì)解的更新規(guī)則進(jìn)行了推導(dǎo)和化簡(jiǎn)。在此基礎(chǔ)上，給出了健壯支持向量機(jī)的學(xué)習(xí)算法。 5．半監(jiān)督支持向量機(jī)能夠同時(shí)利用“標(biāo)記”和“未標(biāo)記”樣本進(jìn)行學(xué)習(xí)，但是，求解它的最優(yōu)解是一個(gè)NP難問題。漸近式學(xué)習(xí)算法通過逐步地對(duì)少量樣本進(jìn)行標(biāo)記，能夠快速獲得半監(jiān)督支持向量機(jī)的近似解，但它也存在兩個(gè)明顯缺陷，