非均衡分類的集成學(xué)習(xí)應(yīng)用研究.pdf

1、類傾斜分布的數(shù)據(jù)集廣泛存在于現(xiàn)實(shí)世界中。在很多領(lǐng)域，針對(duì)非均衡分布的分類問(wèn)題，少數(shù)類樣本被正確分類的重要程度往往高于多數(shù)類樣本被正確分類的重要程度。在類傾斜分布數(shù)據(jù)集的前提下構(gòu)建非均衡分類模型時(shí)，大多經(jīng)典分類算法都是以訓(xùn)練集具有平衡的類分布或者各類樣本具有相同的誤分代價(jià)為前提建立分類模型，因此，非均衡的類分布在一定程度上造成了這些分類算法性能下降。在這種情況下，少數(shù)類樣本的信息往往被多數(shù)類樣本信息所掩蓋，導(dǎo)致來(lái)自少數(shù)類樣本的分類錯(cuò)誤率遠(yuǎn)

2、遠(yuǎn)高于多數(shù)類樣本。因此，非均衡分類問(wèn)題的研究愈發(fā)受到廣泛關(guān)注，同時(shí)也成為數(shù)據(jù)挖掘應(yīng)用領(lǐng)域的熱點(diǎn)及難點(diǎn)問(wèn)題。本文在探討非均衡分類應(yīng)用問(wèn)題之前，首先對(duì)非均衡分類問(wèn)題研究?jī)?nèi)容和現(xiàn)狀進(jìn)行介紹，從采樣方法、分類算法方面展開詳細(xì)的綜述。然后，根據(jù)集成學(xué)習(xí)算法在處理非均衡數(shù)據(jù)時(shí)，較單分類器能夠取得更好的性能的優(yōu)點(diǎn)，進(jìn)一步探討了集成學(xué)習(xí)組合方法對(duì)非均衡分類問(wèn)題的處理情況，并對(duì)相關(guān)應(yīng)用進(jìn)行詳細(xì)闡述。本文基于集成學(xué)習(xí)模型對(duì)非均衡分類問(wèn)題有以下兩部分應(yīng)用:<

3、br>　　第一部分，基于2014年A股滬市1000組上市公司財(cái)務(wù)數(shù)據(jù)，使用基于海格林距離的隨機(jī)森林(Hellinger Distance based Random Forest，HDRF)從ST股非均衡分類的角度對(duì)上市公司財(cái)務(wù)預(yù)警模型構(gòu)建問(wèn)題進(jìn)行研究?；诤Ａ指窬嚯x的隨機(jī)森林能夠集成隨機(jī)森林的差異性以及海林格距離決策樹的傾斜不敏感特征，實(shí)驗(yàn)中選擇了傳統(tǒng)隨機(jī)森林、基于C4.5決策樹為基分類器的Bagging、AdaBoost、旋轉(zhuǎn)森林集成

4、分類器以及基于海林格決策樹為基分類器的相應(yīng)集成分類器作對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明基于海林格距離的隨機(jī)森林集成模型在處理上市公司ST股非均衡分類問(wèn)題時(shí)，在ROC曲線下面積及Fmeasure指標(biāo)上具有相對(duì)更好的綜合分類性能，此外海林格距離決策樹作為基分類器能夠提高集成模型非均衡分類性能。
　　第二部分，拓展了非均衡分類模型的應(yīng)用。針對(duì)客戶關(guān)系管理領(lǐng)域的客戶保持研究，此部分重點(diǎn)討論了商業(yè)銀行客戶流失問(wèn)題，將CVParameterSelect

5、ion應(yīng)用于支持向量機(jī)組合核函數(shù)參數(shù)尋優(yōu)，構(gòu)建了基于EasyEnsemble的Relief-SVM客戶流失預(yù)測(cè)模型，并通過(guò)商業(yè)銀行客戶資料數(shù)據(jù)研究驗(yàn)證了該模型較單一核函數(shù)EasyEnsemble-Relief-SVM模型及傳統(tǒng)C4.5決策樹為基分類器的Bagging、AdaBoost集成分類器在AUC、Fmeasure指標(biāo)上均有所提升。因此，在參數(shù)尋優(yōu)前提下組合核函數(shù)EasyEnsemble的Relief-SVM客戶流失預(yù)測(cè)模型是一種處