基于支持向量機(jī)的不平衡數(shù)據(jù)分類方法研究與應(yīng)用.pdf

1、在很多實(shí)際應(yīng)用中,如入侵檢測(cè)、醫(yī)療診斷和故障檢測(cè)等,我們要進(jìn)行處理研究的數(shù)據(jù)大多數(shù)都是不平衡數(shù)據(jù)集,即某些類別的樣本數(shù)量遠(yuǎn)遠(yuǎn)少于其它類別樣本數(shù)量的數(shù)據(jù)集,在大多數(shù)情況下,少數(shù)類樣本中所蘊(yùn)含的信息量卻更值得關(guān)注。然而,對(duì)不平衡數(shù)據(jù)進(jìn)行分類研究時(shí),傳統(tǒng)分類方法的分類結(jié)果總會(huì)傾向于多數(shù)類,而對(duì)少數(shù)類的樣本的識(shí)別率低。因此,如何有效地改善和提高不平衡數(shù)據(jù)集中少數(shù)類樣本的分類精度和分類器的整體性能已逐漸成為機(jī)器學(xué)習(xí)領(lǐng)域和實(shí)際應(yīng)用領(lǐng)域的一個(gè)研究熱點(diǎn)

2、和難點(diǎn)。
　　支持向量機(jī)(Support Vector Machine, SVM)是針對(duì)有限樣本情況下的、以統(tǒng)計(jì)學(xué)理論為堅(jiān)實(shí)理論基礎(chǔ)的新的機(jī)器學(xué)習(xí)方法。針對(duì)支持向量機(jī)算法處理不平衡數(shù)據(jù)時(shí)分類精確度較低的缺陷,本文在基于理論分析和實(shí)驗(yàn)證明的基礎(chǔ)之上提出了三種改進(jìn)型算法,并將這三種算法集成至一個(gè)系統(tǒng)原型中。
　　第一種改進(jìn)型算法是在聚類權(quán)重模型基礎(chǔ)之上提出的:分階段的支持向量機(jī)(WSVM)。預(yù)處理時(shí),采用 K均值算法得到多數(shù)類中

3、各樣本的權(quán)重。分類時(shí),第一階段根據(jù)權(quán)重選出多數(shù)類內(nèi)各簇邊界區(qū)域的與少數(shù)類數(shù)目相等的樣本;第二階段對(duì)選取的樣本和少數(shù)類樣本進(jìn)行初始分類;第三階段用多數(shù)類中未選取的樣本對(duì)初始分類器進(jìn)行優(yōu)化調(diào)整,當(dāng)滿足停止條件時(shí),得到最終分類器。通過對(duì) UCI數(shù)據(jù)集上的實(shí)驗(yàn)表明,WSVM在少數(shù)類樣本的識(shí)別率和分類器的整體性能上都優(yōu)于傳統(tǒng)分類算法及相應(yīng)的改進(jìn)型算法。
　　第二種改進(jìn)型算法針對(duì)少數(shù)類樣本合成過采樣技術(shù)(Synthetic Minority

4、Over-sampling Technique,SMOTE)在生成少數(shù)類新樣本時(shí)存在的缺陷,提出了一種新的改進(jìn)型 SMOTE算法(GA-SMOTE)。GA-SMOTE算法借鑒遺傳算法中三個(gè)基本遺傳算子的思想和策略,并將其成功應(yīng)用于 SMOTE算法中,選擇算子實(shí)現(xiàn)對(duì)少數(shù)類樣本有區(qū)別地選擇,交叉、變異算子實(shí)現(xiàn)對(duì)合成樣本質(zhì)量和數(shù)量的控制。將 GA-SMOTE與 SVM算法結(jié)合處理不平衡數(shù)據(jù)的分類問題。通過對(duì) UCI數(shù)據(jù)集上的實(shí)驗(yàn)表明,GA-S

5、MOTE結(jié)合 SVM算法在少數(shù)類樣本的識(shí)別率和分類器的整體性能上都優(yōu)于傳統(tǒng)分類算法及相應(yīng)的改進(jìn)型算法。
　　第三種改進(jìn)型算法針對(duì) SVM在超平面附近進(jìn)行不平衡數(shù)據(jù)分類的不準(zhǔn)確性,提出了一種改進(jìn) SVM-KNN算法,該算法在分類階段計(jì)算測(cè)試樣本與最優(yōu)超平面的距離,如果距離差大于給定閾值可直接應(yīng)用支持向量機(jī)分類;如果距離差小于給定閾值,則將所有支持向量都作為測(cè)試樣本的近鄰樣本,進(jìn)行 KNN分類。通過對(duì) UCI數(shù)據(jù)集上的實(shí)驗(yàn)表明,該算法