面向不平衡數(shù)據(jù)的特征選擇與半監(jiān)督分類算法研究.pdf

1、不平衡數(shù)據(jù)在現(xiàn)實(shí)世界中廣泛存在。由于人們更為關(guān)注的是稀有的小類，所以選出更有利于識(shí)別小類的特征是很有必要的。而且在很多實(shí)際應(yīng)用當(dāng)中，獲取標(biāo)記樣本比較困難，因此如何有效利用少量的標(biāo)記樣本和大量的未標(biāo)記樣本是很有意義的。
　　本文主要對(duì)不平衡數(shù)據(jù)的特征選擇和標(biāo)記樣本少的不平衡數(shù)據(jù)分類算法展開研究。研究了基于ReliefF和聚類的不平衡數(shù)據(jù)過(guò)濾型特征選擇方法、基于遺傳算法的不平衡數(shù)據(jù)封裝型特征選擇方法、基于證據(jù)理論和Biased-SVM

2、的不平衡數(shù)據(jù)半監(jiān)督分類算法、基于遺傳算法和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督特征選擇方法。主要取得了以下四個(gè)方面的研究成果:
　　第一部分，針對(duì)無(wú)線電信號(hào)識(shí)別問題，首先提出一種基于ReliefF和聚類的特征選擇方法。在此基礎(chǔ)上，借鑒Bagging算法，進(jìn)而提出一種基于ReliefF和聚類的不平衡數(shù)據(jù)特征選擇方法。該方法采用Bagging算法從大類樣本集中隨機(jī)抽取多個(gè)樣本子集，使每個(gè)抽取的樣本子集的樣本數(shù)量與小類樣本數(shù)量一致，然

3、后將抽取的樣本子集分別與小類樣本組成多個(gè)新的訓(xùn)練集，再在這些新的訓(xùn)練集上采用基于ReliefF和聚類的特征選擇方法進(jìn)行特征選擇得到多個(gè)特征子集，最后通過(guò)集成投票的方式得到最終的特征子集。實(shí)驗(yàn)結(jié)果顯示，提出的方法在地空通信信號(hào)識(shí)別中表現(xiàn)出良好的性能，不僅有效地降低了特征維數(shù)，而且提高了干擾信號(hào)的識(shí)別率。
　　第二部分，首先針對(duì)兩類不平衡數(shù)據(jù)提出一種基于遺傳算法的特征選擇方法。該方法改進(jìn)了遺傳算法中的適應(yīng)度函數(shù)，并采用分類性能較好的S

4、VM作為分類器。該方法首先在公共數(shù)據(jù)庫(kù)里的幾個(gè)數(shù)據(jù)集上進(jìn)行試驗(yàn)，結(jié)果顯示該方法優(yōu)于傳統(tǒng)的基于遺傳算法的特征選擇方法，它不僅有效地縮減了特征維數(shù)，而且提高了小類的識(shí)別率。最后將其應(yīng)用到地空通信信號(hào)識(shí)別當(dāng)中，表現(xiàn)出良好的性能。然后將兩類推廣到多類，針對(duì)多類不平衡數(shù)據(jù)提出一種基于遺傳算法的特征選擇方法。該方法通過(guò)采用多類不平衡數(shù)據(jù)評(píng)價(jià)準(zhǔn)則EG-mean代替總的分類準(zhǔn)確率以改進(jìn)遺傳算法中的適應(yīng)度函數(shù)。在一些UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的

5、基于遺傳算法的特征選擇方法相比，提出的方法在特征子集大小和小類識(shí)別率兩個(gè)方面均有一定的優(yōu)勢(shì)。
　　第三部分，針對(duì)標(biāo)記樣本少的不平衡數(shù)據(jù)，首先提出了一種基于Biased-SVM的不平衡半監(jiān)督分類算法。該方法首先利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，然后用訓(xùn)練好的Biased-SVM模型為未標(biāo)記樣本加上標(biāo)簽，再把新標(biāo)記樣本加入到初始標(biāo)記樣本集中，重新訓(xùn)練Biased-SVM模型，最后在測(cè)試集上進(jìn)行測(cè)試。然后為了提高標(biāo)注的穩(wěn)

6、定性，引入證據(jù)理論，提出一種基于證據(jù)理論和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督分類算法。該算法先采用隨機(jī)子空間法得到不同的視圖，然后在各個(gè)視圖上利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，并將其應(yīng)用于未標(biāo)記樣本集，從而得到未標(biāo)記樣本的類概率輸出，最后引入證據(jù)理論進(jìn)行信息融合來(lái)提高標(biāo)注的穩(wěn)定性。通過(guò)在一些公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與其他方法相比，在不同的標(biāo)記樣本率下，所提方法均具有較高的數(shù)據(jù)集整體的G-mean值和小類的F-va

7、lue值，并具有較高的穩(wěn)定性。
　　第四部分，針對(duì)標(biāo)記樣本缺乏的高維不平衡數(shù)據(jù)，提出了一種基于遺傳算法和Biased-SVM的不平衡數(shù)據(jù)半監(jiān)督特征選擇算法。該方法首先利用初始的標(biāo)記樣本集訓(xùn)練Biased-SVM模型，然后用訓(xùn)練好的Biased-SVM模型為未標(biāo)記樣本加上標(biāo)簽，再把新標(biāo)記樣本加入到初始標(biāo)記樣本集中得到新標(biāo)記樣本集，最后再采用基于遺傳算法的不平衡數(shù)據(jù)特征選擇方法選出最優(yōu)的特征子集。在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提方法