情感識別中的多模態(tài)信息融合方法研究.pdf

1、分類號：分類號：密級：密級：研究生學(xué)位論文研究生學(xué)位論文論文題目（中文）論文題目（中文）情感識別中的多模態(tài)信息融合方法研究情感識別中的多模態(tài)信息融合方法研究論文題目（外文）論文題目（外文）ResearchonMethodsofMultimodalInfmationFusioninEmotionRecognition研究生姓名研究生姓名陳婧陳婧學(xué)科、專業(yè)學(xué)科、專業(yè)計算機(jī)科學(xué)與技術(shù)計算機(jī)應(yīng)用技術(shù)計算機(jī)科學(xué)與技術(shù)計算機(jī)應(yīng)用技術(shù)研究方向研究方向

2、情感計算情感計算學(xué)位級別學(xué)位級別博士博士導(dǎo)師姓名、職稱導(dǎo)師姓名、職稱胡斌教授胡斌教授論文工作論文工作起止年月起止年月2014年09月至2016年05月2014年09月至2016年05月論文提交日期論文提交日期2016年06月2016年06月論文答辯日期論文答辯日期2016年06月2016年06月學(xué)位授予日期學(xué)位授予日期2016年06月2016年06月校址：甘肅省蘭州市城關(guān)區(qū)天水南路222號I情感識別中的多模態(tài)信息融合方法研究摘情感識別中

3、的多模態(tài)信息融合方法研究摘要要情感識別是情感計算領(lǐng)域中的一個重要研究分支，是人工智能、人機(jī)交互和模式識別等領(lǐng)域的重點研究內(nèi)容。情感識別是計算機(jī)科學(xué)、數(shù)學(xué)、生理學(xué)和心理學(xué)等多學(xué)科交叉的研究課題之一，目前仍存在諸多問題亟待解決，尤其是在特征提取、特征降維、情感識別算法和多模態(tài)數(shù)據(jù)融合等方面需要更加深入地研究和探索。雖然很多研究側(cè)重于使用語音和面部表情進(jìn)行情感識別，但這些表達(dá)人類外在情感的生理模態(tài)仍然不能反映出真實的內(nèi)在情感體驗。因此情感識別

4、研究者也轉(zhuǎn)向于探索人類內(nèi)在的生理信號，試圖發(fā)現(xiàn)其中可表征人類情感的潛在信息。大腦活動（腦電信號）、心臟活動（心電信號）、呼吸、面部肌肉運動（肌電信號）和皮膚傳導(dǎo)性（皮膚電反應(yīng)）等被認(rèn)為是識別人類情感的重要生理模態(tài)。很多情感識別研究表明，利用生理信號識別人類情感在實驗環(huán)境下能夠獲得滿意的識別效果。但是僅僅使用單模態(tài)生理信號進(jìn)行情感識別在識別準(zhǔn)確率、穩(wěn)定性等方面仍然表現(xiàn)出一些固有缺陷。為了彌補(bǔ)單模態(tài)生理信號的不足，融合多模態(tài)生理信息進(jìn)行情感

5、識別的方法應(yīng)運而生，并受到廣泛關(guān)注。目前，多模態(tài)信息融合進(jìn)行情感識別的研究仍處于探索階段，方法和技術(shù)并不成熟，因此該領(lǐng)域的研究還需進(jìn)一步深入和完善。本文針對多模態(tài)情感識別中的關(guān)鍵問題，提出了多模態(tài)融合進(jìn)行情感識別的一系列方法。從識別準(zhǔn)確率和識別方法普適性方面考慮，提出了獨立于用戶的三層情感決策方法。利用該決策方法可構(gòu)建出一個在多用戶環(huán)境下識別人類情感的范化模型。從多模態(tài)信息互補(bǔ)角度考慮，提出了多模態(tài)特征層融合方法和決策層融合方法進(jìn)行情感

6、識別。在這兩種融合方法中都使用到了“多樣性特性”計算方法，并將多樣性特性計算方法與傳統(tǒng)的特征選擇方法相結(jié)合對多模態(tài)（或者單模態(tài)）特征進(jìn)行選擇（和融合）。本文工作及創(chuàng)新點歸結(jié)如下：1.提出三層結(jié)構(gòu)的情感識別決策方法。為了構(gòu)建普適化的情感識別模型對多用戶情感進(jìn)行識別，決策方法的第一層首先將測試用戶劃分到某一用戶組中，然后使用由該用戶組數(shù)據(jù)構(gòu)建的分類模型對測試用戶的情感進(jìn)行分類。決策方法的第二層是將多類情感識別問題轉(zhuǎn)化成多個情感池的分類問題，