支持向量分類(lèi)機(jī)的訓(xùn)練與簡(jiǎn)化算法研究.pdf

1、支持向量機(jī)是基于統(tǒng)計(jì)學(xué)習(xí)理論的新一代機(jī)器學(xué)習(xí)技術(shù)。和傳統(tǒng)的基于數(shù)據(jù)的學(xué)習(xí)方法采用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則不同的是，它是建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)上，因此能夠較好地處理小樣本情況下的學(xué)習(xí)問(wèn)題。并且，它較好地解決了以往困擾很多學(xué)習(xí)方法的過(guò)學(xué)習(xí)、高維數(shù)、局部極小點(diǎn)等實(shí)際問(wèn)題。目前，統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)作為小樣本學(xué)習(xí)的最佳理論，受到越來(lái)越廣泛的重視，成為人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。 目前，統(tǒng)計(jì)學(xué)習(xí)理論正處于一個(gè)向?qū)嶋H應(yīng)用推廣的階

2、段。支持向量機(jī)的算法需要進(jìn)一步的改進(jìn)與完善以適應(yīng)實(shí)際問(wèn)題的需要。本文在分析了支持向量機(jī)的基本理論和基本性質(zhì)的基礎(chǔ)上，立足于分類(lèi)問(wèn)題，針對(duì)不同類(lèi)型的訓(xùn)練與簡(jiǎn)化算法存在的不足之處，提出了新的訓(xùn)練與簡(jiǎn)化算法，克服了現(xiàn)存算法存在的缺陷，提高了支持向量機(jī)的訓(xùn)練與分類(lèi)效率。本文的主要工作如下： 1、針對(duì)結(jié)合可行方向策略的序貫最小優(yōu)化(SMO)算法存在的緩存命中率低下問(wèn)題，提出了一種改進(jìn)工作集選擇策略的SMO算法，并從理論上證明了其收斂性。改

3、進(jìn)的工作集選擇策略綜合考慮算法收斂所需的迭代次數(shù)及緩存效率，從總體上減少了核函數(shù)計(jì)算次數(shù)，因此相應(yīng)的SMO算法的訓(xùn)練速度較采用可行方向策略的SMO算法有了很大提高。 2、針對(duì)目前預(yù)處理類(lèi)型的支持向量機(jī)訓(xùn)練算法訓(xùn)練所得分類(lèi)器泛化性能低、分類(lèi)時(shí)間復(fù)雜度高等缺陷，提出了一種新的預(yù)處理類(lèi)型的支持向量機(jī)訓(xùn)練算法。該算法通過(guò)創(chuàng)建一相對(duì)粗糙的分類(lèi)超平面來(lái)實(shí)現(xiàn)潛在支持向量的選擇，從而減小支持向量機(jī)對(duì)應(yīng)二次優(yōu)化問(wèn)題的規(guī)模，降低支持向量機(jī)訓(xùn)練所需的

4、時(shí)間及空間復(fù)雜度，因此適用于大規(guī)模數(shù)據(jù)集的訓(xùn)練。該算法不僅基本維持了原始分類(lèi)器的分類(lèi)精度，而且訓(xùn)練完畢后具有較少的支持向量，因而對(duì)應(yīng)的結(jié)果分類(lèi)器具有較快的分類(lèi)速度。 3、針對(duì)目前適用于超大規(guī)模數(shù)據(jù)集的支持向量機(jī)訓(xùn)練算法大多依靠經(jīng)驗(yàn)觀(guān)察，缺乏理論保障的情況，提出了一種基于近似解的支持向量機(jī)訓(xùn)練算法：Approximate Vector Machine(AVM)。AVM算法采用增量學(xué)習(xí)的策略來(lái)尋找近似最優(yōu)分類(lèi)超平面，并且在迭代過(guò)程中

5、采用了熱啟動(dòng)及抽樣技巧來(lái)加快訓(xùn)練速度。理論分析表明，該算法的計(jì)算復(fù)雜度與訓(xùn)練樣本的數(shù)量無(wú)關(guān)，因此具有良好的時(shí)間與空間擴(kuò)展性，適用于超大規(guī)模數(shù)據(jù)集的訓(xùn)練。 4、目前的支持向量機(jī)簡(jiǎn)化法在尋找約簡(jiǎn)向量的過(guò)程中需要求解一個(gè)無(wú)約束的多參數(shù)優(yōu)化問(wèn)題，這樣，像其它非線(xiàn)性?xún)?yōu)化問(wèn)題一樣，求解過(guò)程需要面對(duì)數(shù)值不穩(wěn)定或局部最小值問(wèn)題。為克服現(xiàn)存方法存在的不足，提出了一種新穎的基于核聚類(lèi)的支持向量機(jī)簡(jiǎn)化方法，此方法首先在特征空間中對(duì)支持向量進(jìn)行聚類(lèi)，然