基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征提取與選擇方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展以及科學(xué)技術(shù)的不斷進(jìn)步，在現(xiàn)實(shí)生活與科學(xué)研究中都積累了大量類(lèi)型不同的數(shù)據(jù)。而且其中大部分?jǐn)?shù)據(jù)都呈現(xiàn)為結(jié)構(gòu)各異的非結(jié)構(gòu)化數(shù)據(jù)，具有維度較高，表現(xiàn)形式迥異，含有大量冗余信息等特點(diǎn)。而傳統(tǒng)的機(jī)器學(xué)習(xí)方法又無(wú)法直接利用這些多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)，提出一種用于多模態(tài)數(shù)據(jù)的特征提取方法成為迫切需要。同時(shí)因?yàn)椴煌B(tài)中包含著冗余信息甚至噪聲信息，對(duì)于這一問(wèn)題需要提出一種能夠?qū)Σ煌瑪?shù)據(jù)模態(tài)的特征進(jìn)行選擇的方法，以便去除冗余與噪聲信息。

2、>　　本文提出了一系列基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征提取與特征選擇方法。首先為了解決多模態(tài)環(huán)境下不同數(shù)據(jù)模態(tài)之間結(jié)構(gòu)差異巨大，傳統(tǒng)機(jī)器學(xué)習(xí)方法無(wú)法直接應(yīng)用這一現(xiàn)實(shí)問(wèn)題，本文引入了深度學(xué)習(xí)這一特征提取方法，將深度學(xué)習(xí)的思想應(yīng)用于多模態(tài)特征提取。本文提出了一種多模態(tài)神經(jīng)網(wǎng)絡(luò)，對(duì)于每一種模態(tài)都有一個(gè)獨(dú)立結(jié)構(gòu)的多層子神經(jīng)網(wǎng)絡(luò)與之對(duì)應(yīng)，用于將不同模態(tài)下的特征轉(zhuǎn)換為同模態(tài)特征。同時(shí)通過(guò)位于這些子神經(jīng)網(wǎng)絡(luò)之上的所有模態(tài)共有的一個(gè)網(wǎng)絡(luò)層，在這些這些不同的

3、模態(tài)之間建立聯(lián)系，最終將多個(gè)異構(gòu)模態(tài)轉(zhuǎn)換成為同一模態(tài)并且從中提取出多種數(shù)據(jù)模態(tài)的融合特征。
　　另一方面，不同的模態(tài)對(duì)于當(dāng)前的學(xué)習(xí)任務(wù)作用也不盡相同，為了評(píng)價(jià)不同模態(tài)對(duì)于當(dāng)前學(xué)習(xí)任務(wù)的重要程度，本文提出了一種結(jié)合了深度神經(jīng)網(wǎng)絡(luò)與稀疏表達(dá)學(xué)習(xí)的多模態(tài)特征評(píng)價(jià)與選擇方法。首先使用多模態(tài)神經(jīng)網(wǎng)絡(luò)將不同模態(tài)的異構(gòu)特征轉(zhuǎn)換成為同模態(tài)下的同構(gòu)特征，隨后采用基于結(jié)構(gòu)化稀的特征選擇方法，得到不同模態(tài)的重要性權(quán)值，選擇出對(duì)于當(dāng)前學(xué)習(xí)任務(wù)最重要的特征