基于置信度預(yù)測(cè)的半監(jiān)督特征選擇算法.pdf

1、傳統(tǒng)的特征選擇算法直接在有類(lèi)別標(biāo)簽數(shù)據(jù)集上進(jìn)行特征選擇，以選取對(duì)這些已知類(lèi)別標(biāo)簽樣本的類(lèi)別具有最大區(qū)分能力的特征子集。但是在一些實(shí)際應(yīng)用中，如在醫(yī)學(xué)診斷、欺詐檢測(cè)等領(lǐng)域，樣本的類(lèi)別標(biāo)簽通常不能很容易地獲取。在這種情況下，訓(xùn)練數(shù)據(jù)可能存在有類(lèi)別標(biāo)簽樣本不足或者樣本分布存在偏差等問(wèn)題。此時(shí)，根據(jù)訓(xùn)練集上的數(shù)據(jù)所構(gòu)造出的模型可能無(wú)法正確地反映真實(shí)數(shù)據(jù)分布。但另一方面，無(wú)類(lèi)別標(biāo)簽數(shù)據(jù)通常都能大量地獲取，并且它們一般都是比較接近真實(shí)數(shù)據(jù)分布的。半

2、監(jiān)督學(xué)習(xí)方法就是為解決這類(lèi)問(wèn)題而產(chǎn)生的機(jī)器學(xué)習(xí)方法。半監(jiān)督特征選擇只需要很少量的有類(lèi)別標(biāo)簽樣本，同時(shí)利用大量的無(wú)類(lèi)別標(biāo)簽樣本來(lái)進(jìn)行特征選擇。半監(jiān)督特征選擇的任務(wù)是當(dāng)給定一個(gè)學(xué)習(xí)算法時(shí)，同時(shí)利用有類(lèi)別標(biāo)簽數(shù)據(jù)和無(wú)類(lèi)別標(biāo)簽數(shù)據(jù)找出一個(gè)能使學(xué)習(xí)算法達(dá)到精度最高的最優(yōu)特征子集。 本文提出一種迭代式的基于置信度預(yù)測(cè)的半監(jiān)督特征選擇算法框架。在算法的每一次迭代中，原始的有類(lèi)別標(biāo)簽數(shù)據(jù)和通過(guò)一定手段精心選取的無(wú)類(lèi)別標(biāo)簽數(shù)據(jù)及其預(yù)測(cè)標(biāo)簽將被用于

3、特征選擇過(guò)程。對(duì)于無(wú)類(lèi)別標(biāo)簽數(shù)據(jù)的選取我們采用了置信度的方法，這將保證所選取的數(shù)據(jù)將有較高的概率保證它的預(yù)測(cè)標(biāo)簽是正確的。因?yàn)槲覀円肓藷o(wú)類(lèi)別標(biāo)簽數(shù)據(jù)，所合成的數(shù)據(jù)集更能反映真實(shí)的數(shù)據(jù)分布，因此在該合成的數(shù)據(jù)集上能選取到更好的特征子集。 本文在通過(guò)形式化分析、復(fù)雜性分析、合成樣例分析和實(shí)驗(yàn)分析等方法對(duì)基于置信度預(yù)測(cè)的半監(jiān)督特征選擇算法進(jìn)行了深入的研究。從理論分析和實(shí)驗(yàn)分析的結(jié)果來(lái)看，基于置信度預(yù)測(cè)的半監(jiān)督特征選擇算法(SemiF