多模態(tài)融合的情感識別研究.pdf

1、情感是人們在溝通交流的過程中傳遞的重要信息,情感狀態(tài)的變化影響著人們的感知和決策。情感識別是模式識別的重要研究領域,它將情感維度引入人機交互。情感表達的模態(tài)包括面部表情、語音、姿勢、生理信號、文字等,情感識別本質(zhì)上是一個多模態(tài)融合的問題。
　　提出一種多模態(tài)融合的情感識別算法,從面部圖像序列和語音信號中提取表情和語音特征,基于隱馬爾可夫模型和多層感知器設計融合表情和語音模態(tài)的情感分類器。建立面部表情圖像的主動外觀模型,實現(xiàn)面部特征

2、點的定位和跟蹤;根據(jù)面部特征點的位移,計算面部動畫參數(shù)作為表情特征。對語音信號作時域、和頻域分析,提取各幀的短時平均能量、基音頻率和共振峰作為語音特征。利用提取的表情和語音特征,采用Viterbi算法訓練各種表情和語音情感的隱馬爾可夫模型;利用特征向量關(guān)于各隱馬爾可夫模型的條件概率,采用反向傳播學習算法訓練多層感知器。實驗結(jié)果表明,融合表情和語音的情感識別算法在識別樣本中的高興、悲傷、憤怒、厭惡等情感狀態(tài)時具有較高的準確率。