面向不平衡數(shù)據(jù)的結(jié)構(gòu)化支持向量機(jī)集成方法研究.pdf

1、不平衡數(shù)據(jù)在實(shí)際應(yīng)用中廣泛存在,如何從不平衡數(shù)據(jù)中學(xué)習(xí)并獲得分類(lèi)器成為了當(dāng)前機(jī)器學(xué)習(xí)研究領(lǐng)域的一個(gè)熱點(diǎn)。該方面的研究已經(jīng)取得了一定的成果,并在入侵檢測(cè)、信用卡交易和基因編碼信息發(fā)現(xiàn)等應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用。
　　 已有的針對(duì)均衡數(shù)據(jù)或代價(jià)不敏感的分類(lèi)器評(píng)價(jià)準(zhǔn)則對(duì)不平衡數(shù)據(jù)不再適合,因?yàn)椴黄胶鈹?shù)據(jù)的分類(lèi)器更關(guān)注少數(shù)的分類(lèi)精度。針對(duì)不平衡數(shù)據(jù)的分類(lèi)問(wèn)題,研究者側(cè)重從數(shù)據(jù)層面、算法層面和評(píng)價(jià)準(zhǔn)則等三個(gè)方面展開(kāi)研究,取得了一定的進(jìn)展。

2、在已有的針對(duì)不平衡數(shù)據(jù)的分類(lèi)學(xué)習(xí)方法中,支持向量機(jī)(SVM)的變種成了主流的方法之一,如:結(jié)構(gòu)化不平衡支持向量機(jī)(StASVM),該模型是在不平衡支持向量機(jī)(ASVM)的基礎(chǔ)上,引入數(shù)據(jù)類(lèi)內(nèi)結(jié)構(gòu)先驗(yàn)信息,有效地提高了分類(lèi)器的性能。本文以StASVM模型為基礎(chǔ),結(jié)合集成學(xué)習(xí)方法,提出了基于結(jié)構(gòu)化支持向量機(jī)的集成學(xué)習(xí),主要工作如下:
　　 1.提出了基于StASVM的集成算法(EStASVM)。對(duì)大類(lèi)樣本進(jìn)行聚類(lèi)并進(jìn)行基于聚類(lèi)的欠采

3、樣,進(jìn)而構(gòu)建多個(gè)子分類(lèi)器,從而設(shè)計(jì)出子分類(lèi)器的集成算法,其中欠采樣可有效地降低類(lèi)別的不平衡性。實(shí)驗(yàn)表明,集成方法能夠有效地提高算法的穩(wěn)定性和分類(lèi)性能。
　　 2.提出了基于隨機(jī)子空間、特征選擇和StASVM的集成算法(RsStASVM)。該算法為從數(shù)據(jù)集的特征空間隨機(jī)采樣出發(fā),生成多個(gè)新的樣本特征空間,進(jìn)而誘導(dǎo)出多個(gè)子分類(lèi)器,從而設(shè)計(jì)出子分類(lèi)器的集成算法。實(shí)驗(yàn)表明,該方法對(duì)不平衡數(shù)據(jù)的分類(lèi),尤其能有效改進(jìn)高維數(shù)據(jù)的分類(lèi)性能。