基于表情時(shí)空特征的認(rèn)知情感狀態(tài)識(shí)別研究.pdf

1、情感識(shí)別是近年來(lái)模式識(shí)別領(lǐng)域的研究熱點(diǎn)，是實(shí)現(xiàn)自然人機(jī)交互的一個(gè)重要研究課題。心理學(xué)認(rèn)為：人類在學(xué)習(xí)過(guò)程中會(huì)產(chǎn)生一些認(rèn)知情感狀態(tài)，從而影響學(xué)習(xí)效果。而目前的計(jì)算機(jī)教學(xué)系統(tǒng)缺乏與學(xué)習(xí)者的情感交流，教學(xué)效果與傳統(tǒng)的面對(duì)面教學(xué)有明顯差異。因此，研究如何識(shí)別學(xué)習(xí)者的認(rèn)知情感狀態(tài)是實(shí)現(xiàn)具有情感能力的智能教學(xué)系統(tǒng)的關(guān)鍵。臉部表情是人類情感最直接的外在反映。目前的研究主要是從圖像中提取表情的空間靜態(tài)特征用于情感識(shí)別。但表情變化是動(dòng)態(tài)的，而且在現(xiàn)代人機(jī)

2、交互中，計(jì)算機(jī)獲取的往往是包含了時(shí)域信息的視頻數(shù)據(jù)，僅用靜態(tài)特征很難得到準(zhǔn)確的識(shí)別結(jié)果。因此，需要提取視頻中表情的時(shí)空特征，分析情感的動(dòng)態(tài)性，以提高識(shí)別效果。但視頻數(shù)據(jù)的高維度和識(shí)別的實(shí)時(shí)性要求，給情感特征提取及識(shí)別算法的設(shè)計(jì)提出了很大挑戰(zhàn)。本文針對(duì)如何提取視頻中有效的表情時(shí)空特征以及實(shí)現(xiàn)對(duì)認(rèn)知情感狀態(tài)的高效且準(zhǔn)確識(shí)別的問(wèn)題展開(kāi)研究，提出了若干新穎的算法，主要內(nèi)容和創(chuàng)新工作包括以下幾個(gè)方面：
　　1、針對(duì)基于表情時(shí)空特征的情感識(shí)別

3、問(wèn)題對(duì)國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了全面綜述。研究并討論了多個(gè)關(guān)鍵問(wèn)題，包括：離散情感和維度情感的表示方法、認(rèn)知情感狀態(tài)和基本情感的區(qū)別、自然情感和表演情感的區(qū)別、情感實(shí)驗(yàn)數(shù)據(jù)集的選擇、視頻的預(yù)處理算法（包括人臉檢測(cè)、仿射變換和直方圖均衡化）、表情的時(shí)空特征提取算法（包括幾何特征、外觀特征和混合特征）、情感分類算法（包括支持向量機(jī)（SVM）、K臨近和自適應(yīng)增強(qiáng)）以及情感識(shí)別的實(shí)時(shí)性要求。
　　2、對(duì)主動(dòng)外觀模型（AAM）進(jìn)行了深入的研究，包

4、括形狀模型、紋理模型和外觀模型的建立算法以及特征點(diǎn)的擬合算法。在此基礎(chǔ)上，提出了一種臉部規(guī)范差分形變（FNDD）時(shí)空特征，闡述了該特征的設(shè)計(jì)思想和提取算法；FNDD特征以AAM特定人模型定位的臉部形狀為基礎(chǔ)，將該形狀去除剛性形變，并基于AAM通用模型進(jìn)行幾何規(guī)范化，與參考臉部形狀進(jìn)行差分，得到用于描述表情變化的時(shí)空幾何特征；將 FNDD特征用多種分類算法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果證明了其在認(rèn)知情感狀態(tài)識(shí)別中的有效性。
　　3、對(duì)現(xiàn)代圖形處

5、理器（GPU）的體系結(jié)構(gòu)及其計(jì)算模型進(jìn)行了深入研究。在此基礎(chǔ)上，針對(duì)AAM擬合算法計(jì)算復(fù)雜度高，限制了其在實(shí)時(shí)情感識(shí)別系統(tǒng)中應(yīng)用的問(wèn)題，提出了一種基于GPU的并行AAM擬合算法；通過(guò)分析AAM擬合算法的“熱點(diǎn)”并結(jié)合GPU高度并行結(jié)構(gòu)的特征，提出了以AAM模型像素為單位的細(xì)粒度并行算法設(shè)計(jì)思想，充分利用了GPU的硬件資源。為了進(jìn)一步提高算法速度，還提出了一種新穎的GPU矩陣向量相乘算法，該算法能夠根據(jù)矩陣形狀和行列大小自動(dòng)調(diào)節(jié)線程的分配

6、，以達(dá)到高效率計(jì)算的目的。實(shí)驗(yàn)結(jié)果表明：該算法對(duì)不同形狀和大小的矩陣都能保持較高的計(jì)算性能；在不同數(shù)據(jù)維度上對(duì)并行AAM擬合算法進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法在處理高維紋理時(shí)達(dá)到了幾十倍的加速比，完全能夠滿足實(shí)時(shí)情感識(shí)別的要求。
　　4、對(duì)局部時(shí)空特征的思想和相關(guān)算法進(jìn)行了深入研究，包括Harris3D特征點(diǎn)提取算法、HOG/HOF和HOG3D特征描述算法和詞袋模型。在此基礎(chǔ)上，根據(jù)人臉表情的動(dòng)態(tài)性提出了基于表情局部時(shí)空特征的認(rèn)知情感

7、狀態(tài)識(shí)別方法。包括三種算法：第一種算法基于人臉幾何歸一化和Harris3D算法提取臉部的動(dòng)態(tài)特征點(diǎn)，并結(jié)合HOG/HOF或HOG3D特征描述算法以及詞袋模型對(duì)認(rèn)知情感狀態(tài)進(jìn)行識(shí)別。第二種算法將臉部紋理投影到AAM臉部規(guī)范形狀上，提出了臉部規(guī)范紋理序列（FNTS），在FNTS上采用HOG/HOF或HOG3D提取局部時(shí)空特征，用SVM對(duì)認(rèn)知情感狀態(tài)進(jìn)行識(shí)別。第三種算法是在第二種算法的基礎(chǔ)上融合了臉部規(guī)范差分形變（FNDD）特征，將形狀和局部

8、紋理結(jié)合起來(lái)，用SVM對(duì)認(rèn)知情感狀態(tài)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明這三種算法均能有效的對(duì)認(rèn)知情感狀態(tài)進(jìn)行識(shí)別，其中第三種算法獲得了最高識(shí)別率，驗(yàn)證了其特征融合思想的有效性。
　　5、對(duì)無(wú)監(jiān)督特征學(xué)習(xí)的各種算法進(jìn)行了分析，并深入研究了其中的堆疊卷積ISA（SISA）模型。在該模型的基礎(chǔ)上，結(jié)合AAM提出了一種無(wú)監(jiān)督提取表情時(shí)空特征的認(rèn)知情感狀態(tài)識(shí)別算法。該算法利用AAM模型從表情視頻序列中提取臉部規(guī)范差分形變（FNDD）特征和臉部規(guī)范紋理序