多元不均衡數(shù)據(jù)分類問題研究.pdf

1、不均衡數(shù)據(jù)的分類是數(shù)據(jù)挖掘和機器學習中最具挑戰(zhàn)的問題之一。對于均衡數(shù)據(jù)，分類算法追求的目標是盡最大可能地提高分類的整體正確率。傳統(tǒng)的分類方法對均衡數(shù)據(jù)的分類一般都能取得較好的準確度。然而，在某些特殊應(yīng)用中，僅提高分類的總體正確率并不能滿足應(yīng)用的需要，尤其是不均衡的數(shù)據(jù)，對于少數(shù)類樣本的識別率要比對多數(shù)類樣本的識別率更加重要，不均衡數(shù)據(jù)分類的應(yīng)用場景包括醫(yī)療診斷、信用卡欺詐檢測和計算機病毒檢測等。
　　目前，針對二元不均衡數(shù)據(jù)分類算

2、法的研究已經(jīng)日趨成熟，而針對多元不均衡數(shù)據(jù)分類方法的研究，是目前研究的熱點和難點。鑒于不均衡數(shù)據(jù)分類的理論意義和實際應(yīng)用價值，本文對不均衡數(shù)據(jù)分類的方法進行了大規(guī)模的實驗對比分析，并設(shè)計了新的多元不均衡數(shù)據(jù)分類方法。本研究分為三個部分，一是屬性選擇算法和數(shù)據(jù)選擇算法對二元不均衡數(shù)據(jù)分類的影響，二是多類不均衡數(shù)據(jù)分類算法性能的實驗對比分析，三是新的多元不均衡數(shù)據(jù)分類算法DECOC。
　　在屬性選擇算法和數(shù)據(jù)選擇算法對二元不均衡數(shù)據(jù)的

3、影響的大規(guī)模實驗中，在42個數(shù)據(jù)集上對比了10種屬性選擇算法和6種數(shù)據(jù)選擇算法分別對3種分類算法的影響，實驗采用了<屬性選擇算法-數(shù)據(jù)選擇算法-分類算法>和<數(shù)據(jù)選擇算法-屬性選擇算法-分類算法>兩種不同的方式，因此對于每個數(shù)據(jù)，結(jié)合屬性選擇算法、數(shù)據(jù)選擇算法和分類算法的方式一共有10×6×3×2=360種。通過計算分類結(jié)果在ACC（整體正確率）、ACC+（少數(shù)類樣本的正確率）、ACC-（多數(shù)類樣本的正確率）、G-mean（Geomet

4、ric mean）和 F-measure（F-Score）五種評估標準上的性能，得出了一些總結(jié)性的結(jié)論，這些結(jié)論包括但不限于在各個評估標準下，針對每種分類算法，屬性選擇算法與數(shù)據(jù)選擇算法最好的結(jié)合方式。
　　屬性選擇算法對分類的影響，或者是數(shù)據(jù)選擇算法對分類的影響已有大量相關(guān)的研究，然而屬性選擇算法和數(shù)據(jù)選擇算法結(jié)合起來對分類的影響還未有相關(guān)的研究。因此，此項工作的創(chuàng)新點在于將屬性選擇算法和數(shù)據(jù)選擇算法結(jié)合起來，研究其對不均衡數(shù)據(jù)

5、分類的影響。
　　在多類不均衡數(shù)據(jù)分類算法性能的實驗對比分析中，本文設(shè)計實驗，分析了16種多元不均衡數(shù)據(jù)分類方法，揭示各種方法的優(yōu)缺點，為研究人員和應(yīng)用實踐提供參考。實驗結(jié)果表明，結(jié)合多種分類算法的DOVO(Diversified One-against-One)算法的準確率(基于AUC，G-mean等評價指標)最佳。ImECOC+sparse、imECOC+dense、HDDT+ECOC、AdaBoost.M1、SAMME和 P

6、IBoost的準確率次之。因此，若不考慮時間因素，DOVO方法是首選的多類不均衡分類算法。而在算法運行時間方面，上述7個算法中， imECOC+sparse、imECOC+dense、AdaBoost.M1和SAMME的運行速度較快。
　　由于目前國內(nèi)外對多元不均衡數(shù)據(jù)分類的研究相對比較缺乏，因此本文在對比分析了現(xiàn)有的16種算法的基礎(chǔ)上，提出了一個新的多元不均衡數(shù)據(jù)分類算法DECOC。由實驗結(jié)果可知：結(jié)合多種分類方法的DOVO算法

7、的正確率最佳；在分解方法中使用sparse生成糾錯輸出編碼的方法優(yōu)于OVO；由ECOC改進而來的imECOC方法更適用于不均衡數(shù)據(jù)。綜合這三條結(jié)論，新方法 DECOC使用了多分類器系統(tǒng)，同時在分解方法中使用 sparse生成糾錯輸出編碼，并且采用了 imECOC方法中對每個子分類器分配不同的權(quán)重。新算法在ACC（整體正確率）、G-mean（Geometric mean）、F-measure（F-Score）和AUC四個方面都優(yōu)于現(xiàn)有的1