V-A空間連續(xù)維度情感預(yù)測(cè)方法研究.pdf

1、情感計(jì)算是人機(jī)交互領(lǐng)域一個(gè)重要的分支，維度空間情感的研究是情感計(jì)算領(lǐng)域一個(gè)重要的研究方向。人類(lèi)情感的表達(dá)是復(fù)雜的、微妙的，不受簡(jiǎn)單幾個(gè)情感類(lèi)別限制的，維度情感空間可以從理論上涵蓋所有的情感狀態(tài)。情感的變化是連續(xù)的、緩慢的、有規(guī)律的，受上下文影響的，基于此，本文基于Valence-Arousal(V-A)空間語(yǔ)音維度情感預(yù)測(cè)提出了在決策層加入了上下文相關(guān)(Context Dependent，CD)信息輔助預(yù)測(cè)，同時(shí)考慮到情感的表達(dá)是多通道

2、的，還加入了人臉表情通道，研究了基于改進(jìn)K近鄰(k-Nearest Neighbor, KNN)算法的多通道維度情感預(yù)測(cè)，取得了較好的效果。具體研究?jī)?nèi)容如下:
　　(1)提出基于改進(jìn)Viterbi算法的上下文相關(guān)連續(xù)語(yǔ)音維度情感預(yù)測(cè)模型。該預(yù)測(cè)模型分為兩層，第一層為使用傳統(tǒng)分類(lèi)效果較好的分類(lèi)器，分別為深度學(xué)習(xí)網(wǎng)絡(luò)(Deep NeuralNetwork，DNN)和隱馬爾科夫模型(Hidden Markov Model，HMM)，其獲

3、取的每個(gè)情感級(jí)別分類(lèi)結(jié)果作為下一層的輸入。第二層建立一個(gè)決策層HMM模型，使用提出的改進(jìn)Viterbi算法對(duì)輸入序列解碼，得到上下文相關(guān)的預(yù)測(cè)結(jié)果。分別使用兩種模型實(shí)現(xiàn)兩層上下文相關(guān)的情感預(yù)測(cè):DNN-CD-HMM模型和HMM-CD-HMM模型。實(shí)驗(yàn)結(jié)果表明，加入上下文思想的兩層預(yù)測(cè)方法優(yōu)于沒(méi)有考慮上下文思想的傳統(tǒng)預(yù)測(cè)方法;DNN-CD-HMM模型的預(yù)測(cè)能力優(yōu)于HMM-CD-HMM模型;對(duì)A維度的情感預(yù)測(cè)相比V維度準(zhǔn)確率更高。
　

4、　(2)提出基于改進(jìn)KNN算法的多模態(tài)連續(xù)維度情感預(yù)測(cè)方法。改進(jìn)的KNN算法作為回歸預(yù)測(cè)器，在訓(xùn)練樣本二次篩選和K近鄰值權(quán)重兩方面進(jìn)行改進(jìn)，預(yù)測(cè)連續(xù)輸入的情感序列在V-A空間中的變化情況。一方面實(shí)現(xiàn)單通道特征（語(yǔ)音情感通道、人臉表情通道）預(yù)測(cè)，同時(shí)實(shí)現(xiàn)特征融合通道的預(yù)測(cè)，兩個(gè)單通道的預(yù)測(cè)結(jié)果進(jìn)行融合實(shí)現(xiàn)模式融合預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，特征融合預(yù)測(cè)效果優(yōu)于單個(gè)通道預(yù)測(cè)，模式融合在預(yù)測(cè)Arousal維度時(shí)性能最優(yōu)，預(yù)測(cè)Valence維度時(shí)，特征