半監(jiān)督學(xué)習(xí)中不平衡數(shù)據(jù)集分類研究.pdf

1、隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，如何從海量數(shù)據(jù)中挖掘出隱藏的信息、規(guī)律吸引了大量研究學(xué)者的關(guān)注。分類方法作為數(shù)據(jù)挖掘的一個重要手段被廣泛應(yīng)用于實際生活中，然而分類是受到很多因素制約的，除了分類器本身的原因，還包括樣本復(fù)雜度、樣本分布等原因，其中，樣本分布對分類方法有著重要的影響。由于大多數(shù)的傳統(tǒng)分類器建立在數(shù)據(jù)集中各個類別樣本數(shù)分布相同的假設(shè)基礎(chǔ)上，一旦數(shù)據(jù)集存在不平衡的樣本分布，分類器就會明顯偏向于強(qiáng)勢類，使得弱勢類難以被正確分類。
　

2、　不平衡數(shù)據(jù)集的分類問題不僅困擾著監(jiān)督學(xué)習(xí)的方法，而且對半監(jiān)督學(xué)習(xí)方法有著一樣的問題，然而傳統(tǒng)的不平衡數(shù)據(jù)集分類方法基本是在監(jiān)督學(xué)習(xí)領(lǐng)域中，半監(jiān)督學(xué)習(xí)領(lǐng)域中，關(guān)于不平數(shù)據(jù)集分類的研究非常少。由于半監(jiān)督學(xué)習(xí)領(lǐng)域中，數(shù)據(jù)集的特點是少量的有標(biāo)簽數(shù)據(jù)和大量的無標(biāo)簽數(shù)據(jù)，且重采樣方法需要判斷分類邊界而顯得不太適合，因此，本文主要關(guān)注于半監(jiān)督學(xué)習(xí)中不平衡數(shù)據(jù)集的分類研究。
　　考慮到半監(jiān)督學(xué)習(xí)領(lǐng)域中大量無標(biāo)簽數(shù)據(jù)的存在，本文提出一種基于樣本信

3、息量的迭代最近鄰過采樣(SI-INNO)方法，在分類開始前，通過樣本的相似性，將一部分無標(biāo)簽數(shù)據(jù)轉(zhuǎn)化為有標(biāo)簽數(shù)據(jù)，SI-INNO結(jié)合了樣本的信息量來選擇樣本，更加合理地改進(jìn)數(shù)據(jù)集的樣本分布。這種方法不僅適用于二分類數(shù)據(jù)集，同樣適用于多分類數(shù)據(jù)集。
　　實驗中，本文分析了SI-INNO算法在處理不平衡數(shù)據(jù)集時，有標(biāo)簽數(shù)據(jù)集和整體數(shù)據(jù)集不平衡度的關(guān)系。在大量的數(shù)據(jù)集上實驗表明，結(jié)合本文所提算法對預(yù)處理數(shù)據(jù)集后，再使用半監(jiān)督分類算法進(jìn)行