特征選擇與特征學(xué)習(xí)算法研究.pdf

1、信息時(shí)代的到來(lái)導(dǎo)致在機(jī)器學(xué)習(xí)過(guò)程中，學(xué)習(xí)數(shù)據(jù)趨向于更大規(guī)模，更高維度，并且具有復(fù)雜噪聲，從而給模型的訓(xùn)練與學(xué)習(xí)提出了挑戰(zhàn)。因此，充分地對(duì)數(shù)據(jù)進(jìn)行分析挖掘，提取出數(shù)據(jù)中的關(guān)鍵特征和港在信息，具有重要的研究?jī)r(jià)值和意義。本文分別從特征選擇和特征學(xué)習(xí)兩個(gè)方面進(jìn)行研究。
　　特征選擇旨在從數(shù)據(jù)中利用一定策略選擇出原始特征集的一個(gè)最優(yōu)子集。現(xiàn)有的特征選擇算法，主要通過(guò)考慮特征與目標(biāo)任務(wù)的相關(guān)度評(píng)估特征的重要性。在監(jiān)督學(xué)習(xí)中，考慮特征與目標(biāo)的統(tǒng)

2、計(jì)相關(guān)性，在無(wú)監(jiān)督學(xué)習(xí)中，根據(jù)特征與樣本結(jié)構(gòu)的契合程度，評(píng)估特征在樣本集上的區(qū)分能力。除了考慮特征的相關(guān)度，本文提出結(jié)合特征相關(guān)度和冗余度的特征選擇算法FSIR2，算法基于譜特征選擇理論評(píng)估特征的相關(guān)度，同時(shí)考慮特征集內(nèi)部的冗余度，通過(guò)最大化特征與目標(biāo)的相關(guān)度，最小化特征之間的冗余度，進(jìn)而確定最優(yōu)特征子集。算法適用于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩種條件。
　　不同于特征選擇，特征學(xué)習(xí)致力于將原始特征集映射到新的特征空間，學(xué)習(xí)數(shù)據(jù)的最優(yōu)表達(dá)

3、?，F(xiàn)有的特征學(xué)習(xí)算法主要分為傳統(tǒng)學(xué)習(xí)算法和基于神經(jīng)網(wǎng)絡(luò)的算法兩種。目前，大量工作基于卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等進(jìn)行監(jiān)督特征學(xué)習(xí)，而充分利用大量低成本的的無(wú)監(jiān)督數(shù)據(jù)進(jìn)行特征學(xué)習(xí)的研究工作不足。本文提出基于卷積自編碼網(wǎng)絡(luò)的特征學(xué)習(xí)算法SoundAutoEncoder。算法針對(duì)視頻數(shù)據(jù)中的音頻數(shù)據(jù)進(jìn)行無(wú)監(jiān)督的特征學(xué)習(xí)，一方面利用卷積自編碼網(wǎng)絡(luò)，以充分挖掘音頻數(shù)據(jù)中的有效信息進(jìn)行特征學(xué)習(xí);另一方面利用視頻數(shù)據(jù)中圖像數(shù)據(jù)與音頻數(shù)據(jù)的天然一致性，

4、通過(guò)完善的視覺(jué)識(shí)別模型提取圖像數(shù)據(jù)中的語(yǔ)義信息，進(jìn)而指導(dǎo)音頻數(shù)據(jù)的特征學(xué)習(xí)過(guò)程。
　　對(duì)于FSIR2算法，本文在監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩種條件下，在10個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，測(cè)試其所選特征集上的分類(lèi)、聚類(lèi)準(zhǔn)確率，以及特征之間的冗余度。在與相對(duì)表現(xiàn)最好的算法MCFS的對(duì)比中，F(xiàn)SIR2算法在聚類(lèi)結(jié)果的準(zhǔn)確率、NMI上提升了4％，在冗余度上降低了5％，在分類(lèi)結(jié)果的準(zhǔn)確率上與MCFS表現(xiàn)相當(dāng)。對(duì)于SoundAutoEncoder算法，本文通