基于支持向量機(jī)的特征選擇及其分類算法研究.pdf

1、特征選擇是數(shù)據(jù)挖掘領(lǐng)域中一個重要的研究課題，特征選擇可以剔除學(xué)習(xí)過程中冗余的、無關(guān)的和有噪聲的特征，從而得到一個維數(shù)最少而判別能力更強(qiáng)的信息特征子集?？梢杂兄谔岣吣Ｊ阶R別的識別率，機(jī)器學(xué)習(xí)算法的精度及其泛化能力。隨著大規(guī)模數(shù)據(jù)的不斷增長，不僅樣本數(shù)很大，而且樣本的特征維數(shù)也很高。在此情況下，分類算法的時間復(fù)雜度會隨著不相關(guān)特征或噪聲數(shù)據(jù)成指數(shù)增長，不僅會造成維數(shù)災(zāi)難(Curse of Dimensionality)，也會造成降低分類算

2、法的效果，因此有必要進(jìn)行特征選擇。一個特征選擇的過程在原理上可以看成是一個組合優(yōu)化過程，在原有的特征中選擇其中的一部分，使某個特定的評價函數(shù)最優(yōu)。但傳統(tǒng)基于支持向量機(jī)的特征選擇算法精度低并且時間復(fù)雜度高，本文重點研究了基于支持向量機(jī)的特征選擇及其分類算法的基本概念和相關(guān)理論基礎(chǔ)，提出了3個SVM-RFE特征選擇算法的改進(jìn)算法。為了避免SVM-RFE特征選擇算法在特征空間搜索過程效率較低的缺陷，在基于SVM-RFE的特征選擇算法中結(jié)合了模

3、式識別領(lǐng)域的兩種重要的特征選擇方法過濾(Filter)和封裝(Wrapper)的優(yōu)點，得到SVM-RFE的特征選擇改進(jìn)算法(A-SVM-RFE)，并且利用相關(guān)的數(shù)學(xué)知識和原理分析了SVM-RFE特征選擇算法不能剔除線性冗余特征的情況，利用相關(guān)系數(shù)的方法剔除冗余特征進(jìn)一步改進(jìn)了SVM-RFE算法(AD-SVM-RFE)。受到Weston等人在特征選擇算法中利用梯度下降法來優(yōu)化特征搜索策略的啟發(fā)，本文也在SVM-RFE特征選擇算法中應(yīng)用了梯