基于分類噪聲檢測(cè)的支持向量機(jī)算法研究.pdf

1、支持向量機(jī)(Support Vector Machine, SVM)是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種優(yōu)秀的機(jī)器學(xué)習(xí)方法。它在最基本的線性可分問題中，采用與結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論一致的間隔最大化原理產(chǎn)生原始凸規(guī)劃問題模型，使得基本問題模型具有良好的泛化能力。并且由于模型是凸規(guī)劃模型，所以能夠獲得全局最優(yōu)解。在獲得這些良好特性的基礎(chǔ)上，通過引入懲罰系數(shù)和懲罰因子來(lái)獲得線性不可分問題的問題模型。并通過進(jìn)一步使用核函數(shù)理論來(lái)解決非線性問題，從而避免了維數(shù)災(zāi)

2、難。由于其優(yōu)異的性能，已經(jīng)廣泛應(yīng)用于模式分類，密度估計(jì)和函數(shù)逼近等領(lǐng)域，成為機(jī)器學(xué)習(xí)中的研究熱點(diǎn)。
　　本文圍繞支持向量機(jī)在分類問題中的訓(xùn)練過程和過學(xué)習(xí)現(xiàn)象，瞄準(zhǔn)高維數(shù)據(jù)中的相對(duì)密度計(jì)算及與支持向量機(jī)的結(jié)合為關(guān)鍵問題，以提高支持向量機(jī)的訓(xùn)練速度為主要目的，其具體的研究成果主要包括以下幾個(gè)內(nèi)容：
　?、偻ㄟ^分析分類問題中噪聲數(shù)據(jù)的特點(diǎn)，引入分類噪聲的概念，提出了相對(duì)密度模型對(duì)其進(jìn)行檢測(cè)。分類問題中的噪聲數(shù)據(jù)會(huì)明顯減弱決策曲線的

3、平滑度，降低決策函數(shù)的泛化能力，從而引起過擬合，因而挖掘這些噪聲數(shù)據(jù)具有重要意義。本文針對(duì)現(xiàn)有算法無(wú)法有效檢測(cè)分類問題中的噪聲數(shù)據(jù)的問題，基于噪聲數(shù)據(jù)在同類樣本集合中的樣本密度要小于在異類樣本集合中的樣本密度，引入了分類噪聲的概念，進(jìn)一步提出了相對(duì)密度模型來(lái)對(duì)分類噪聲進(jìn)行快速有效地檢測(cè)。仿真實(shí)驗(yàn)表明相對(duì)密度模型能夠很好的識(shí)別分類噪聲。
　?、谕ㄟ^排除分類噪聲將不可分問題轉(zhuǎn)化為可分問題，簡(jiǎn)化了支持向量機(jī)模型和訓(xùn)練過程，并結(jié)合序列最小

4、優(yōu)化（Sequential Minimal Optimization, SMO）算法，提出了基于分類噪聲檢測(cè)的序列最小優(yōu)化算法（Classification Noises Detection based Sequential Minimal Optimization, CNSMO）。針對(duì)現(xiàn)有的支持向量機(jī)在訓(xùn)練過程中依賴交叉驗(yàn)證會(huì)大幅增加訓(xùn)練時(shí)間的問題，CNSMO算法通過排除分類噪聲后平滑了決策函數(shù)，避免了分類噪聲產(chǎn)生的過學(xué)習(xí)現(xiàn)象，因此在

5、訓(xùn)練過程中不需要使用交叉驗(yàn)證也能夠獲得良好的預(yù)測(cè)精度。同時(shí)，由于排除分類噪聲將不可分問題轉(zhuǎn)化為可分問題，不需要對(duì)懲罰系數(shù)進(jìn)行尋優(yōu)，簡(jiǎn)化了拉格朗日參數(shù)迭代模型。仿真結(jié)果表明改進(jìn)算法能夠在不犧牲算法預(yù)測(cè)精度的前提下，大幅縮短了支持向量機(jī)的訓(xùn)練時(shí)間，算法具有良好的穩(wěn)定性。
　?、弁ㄟ^計(jì)算到某些固定參考點(diǎn)的度量來(lái)衡量不同樣本之間的位置差異，以避免直接計(jì)算樣本之間的歐式距離，提出了基于位置差異的近鄰搜索算法(Location Differe

6、nce based Algorithm，LDBA)。針對(duì)在相對(duì)密度計(jì)算中使用的現(xiàn)有近鄰算法在高維數(shù)據(jù)集中性能下降的問題，LDBA算法使用參考點(diǎn)與樣本所構(gòu)成的角度和距離來(lái)度量不同樣本點(diǎn)之間的位置差異，避免對(duì)樣本之間的歐式距離直接進(jìn)行計(jì)算，因此具有較低的算法時(shí)間復(fù)雜度。另外，LDBA算法不依賴索引樹結(jié)構(gòu)，因此在高維數(shù)據(jù)集中仍然能夠保持良好的算法效率。仿真結(jié)果表明LDBA算法具有和基本算法接近的預(yù)測(cè)精度，但比同類算法在高維數(shù)據(jù)集中表現(xiàn)出了更好

7、的算法效率。
　?、芡ㄟ^將LDBA算法結(jié)合到CNSMO算法中，提出了基于位置差異和分類噪聲的最小序列化支持向量機(jī)算法(Location Difference and Classification Noise based Sequential Minimal Optimization,LD-CNSMO)。針對(duì)CNSMO算法在高維數(shù)據(jù)集中性能下降的問題，將LDBA算法結(jié)合到相對(duì)密度的計(jì)算過程中以檢測(cè)和消除分類噪聲，提出了LD-CNSM

8、O算法。由于LDBA算法不依賴樹索引結(jié)構(gòu)，因此LD-CNSMO算法能夠在高維數(shù)據(jù)集中保持良好的算法效率。仿真結(jié)果表明LD_CNSMO算法在高維數(shù)據(jù)集中能夠獲得比CNSMO和其他算法更好的算法效率。
　　本論文引入分類噪聲后，通過使用基于LDBA的相對(duì)密度模型進(jìn)行檢測(cè)和排除分類噪聲，并結(jié)合到SMO支持向量機(jī)中，避免了在支持向量機(jī)訓(xùn)練過程中使用交叉驗(yàn)證。在不影響算法泛化能力的情況下，大幅度提高了算法在低維和高維數(shù)據(jù)集中的訓(xùn)練效率，并增