基于半監(jiān)督和集成學習的不平衡數(shù)據(jù)特征選擇和分類.pdf

1、隨著大數(shù)據(jù)時代的到來，機器學習和數(shù)據(jù)挖掘技術(shù)正面臨著前所未有的機遇和挑戰(zhàn)。作為機器學習最核心的研究領域之一，分類問題受到了研究者持續(xù)而廣泛的關注，并且出現(xiàn)了大量的經(jīng)典理論、算法模型和應用軟件。但是在現(xiàn)實應用領域，獲取到的分類數(shù)據(jù)集經(jīng)常存在類別間樣本數(shù)分布不平衡的情況，造成傳統(tǒng)分類器的分類效果明顯下降，這種情況被稱為類別不平衡問題。簡單而言，類別不平衡就是一個類中的樣本數(shù)量要明顯少于另一個（或幾個）類。類別不平衡問題在通訊、互聯(lián)網(wǎng)、生態(tài)學

2、、生物學、醫(yī)學等領域廣泛存在，并被列為當前數(shù)據(jù)挖掘界最突出問題之一。
　　從學習的角度分析，少數(shù)類往往包含更重要的分類信息而且錯分少數(shù)類樣本的代價會更高。但是由于少數(shù)類樣本不但與一些異常且重要的情況有著密切的關聯(lián)，而且獲取少數(shù)類樣本的成本更高，因此識別的難度往往會更大。另一方面，由于大多數(shù)標準的分類算法只考慮訓練集為平衡的情況，當面臨不平衡數(shù)據(jù)的時候就可能會生成不理想的分類器。
　　近幾年來，由于類不平衡問題在許多應用場景中

3、經(jīng)常出現(xiàn)，不平衡數(shù)據(jù)分類已經(jīng)成為機器學習和數(shù)據(jù)挖掘研究群體的關注熱點。鑒于此，本文基于集成學習和半監(jiān)督學習的相關方法，對不平衡數(shù)據(jù)的分類和特征選擇問題展開了研究?，F(xiàn)將本文的主要工作和成果總結(jié)如下：
　　1)當前搜索引擎公司普遍受到垃圾網(wǎng)頁（web spam）問題的困擾，本文針對不平衡垃圾網(wǎng)頁數(shù)據(jù)集提出了一種結(jié)合過采樣方法 SMOTE與隨機森林的改進方法SMOTERF。在WEBSPAM-UK2007數(shù)據(jù)集上的對比實驗表明，本文方法在

4、分類結(jié)果，尤其是AUC值上有了明顯提升。即使與參數(shù)優(yōu)化后的隨機森林對比，其AUC值也有一定提高。本文方法簡單且泛化能力強，可以用于搜索引擎垃圾網(wǎng)頁檢測。
　　2)基于近幾年提出的一個高效的集成學習算法旋轉(zhuǎn)森林，本文提出了三個改進算法，并分別應用于不平衡的垃圾網(wǎng)頁檢測和高度不平衡數(shù)據(jù)分類的問題中。首先，本文先用SMOTE方法平衡垃圾網(wǎng)頁數(shù)據(jù)集的原始分布，再利用改進的嵌套旋轉(zhuǎn)森林算法進行分類。實驗結(jié)果證明SMOTE和嵌套旋轉(zhuǎn)森林的結(jié)合

5、方法可以明顯地提高不平衡的垃圾網(wǎng)頁數(shù)據(jù)集的分類效果。針對高度不平衡數(shù)據(jù)集的分類問題，本文將兩個經(jīng)典的不平衡預處理方法隨機欠采樣和SMOTE過采樣分別嵌入到旋轉(zhuǎn)森林的特征提取過程中，生成了兩個改進算法 SROForest和RUROForest。在22個高度不平衡數(shù)據(jù)集上的對比實驗結(jié)果表明，本文方法對AUC值的提高較為明顯。非參數(shù)統(tǒng)計結(jié)果也證明了本文方法，尤其是RUROForest的表現(xiàn)優(yōu)于其他對比方法。
　　3)由于在許多現(xiàn)實數(shù)據(jù)集

6、中，類別分布不平衡和標記樣本數(shù)量過少的情況經(jīng)常同時存在，因此，本文提出了一系列SMOTE與半監(jiān)督框架下的自標記技術(shù)和多分類器模型的結(jié)合方法，來解決欠標記且不平衡的垃圾網(wǎng)頁數(shù)據(jù)集分類問題。在部分標記的 WEBSPAM-UK2007數(shù)據(jù)集上的對比實驗結(jié)果表明，本文提出的方法，特別是基于多分類器模型的方法能夠在基本不降低分類精度的前提下，顯著提高spam類的recall值和整體的AUC值，是解決只有少量標記且類不平衡數(shù)據(jù)集分類問題的一個有效策

7、略。
　　4)針對利用高維不平衡的卵巢癌微陣列數(shù)據(jù)進行診斷及生存預測的問題，本文提出了一個基于隨機森林的過濾式不平衡特征選擇算法IFSRF。該算法選用AUC值作為特征選擇時的評價指標，因此可以顯著降低類分布不平衡給分類系統(tǒng)帶來的負面影響。實驗結(jié)果表明 IFSRF能夠明顯提高所有分類器特別是隨機森林在卵巢癌診斷、生存預測和復發(fā)預測3個不平衡數(shù)據(jù)集上的AUC值，同時還能保證整體分類精度略有提高。本文方法實現(xiàn)簡單且魯棒性強，可以廣泛用于