人臉表情識別中幾個關(guān)鍵問題的研究.pdf

1、自動人臉表情識別(AFER)是近年來發(fā)展起來的研究熱點，其目的是讓計算機等機器辨認出人類特有的情感表現(xiàn)之一——表情。由于人表情的復(fù)雜、微妙等特性使得表情識別變得異常的具有挑戰(zhàn)與艱巨性，就整個識別系統(tǒng)來說，主要表現(xiàn)在以下幾個方面：(1)人臉數(shù)據(jù)獲取的速度與準(zhǔn)確率問題；(2)作為識別必要前提條件的面部關(guān)鍵特征精確定位問題；(3)表情特征的提取與識別問題。本文重點探討了人臉表情識別中的上述關(guān)鍵問題。主要工作總結(jié)如下： 1.從情感出發(fā)，

2、在簡要介紹情緒理論的基礎(chǔ)上，全面綜述了表情識別的研究歷史與現(xiàn)狀。討論了情感計算在國際與國內(nèi)的研究狀況，介紹了情感的基礎(chǔ)情緒的基本理論，重點而全面地綜述了情緒的表達方式之一——面部表情的識別技術(shù)。將人臉表情識別工作劃分為兩個部分，概括地描述了表情識別的一般模型。根據(jù)表情識別的目的、手段將其分為三個階段，對每個階段的研究特點以及代表性方法進行了較為詳盡的介紹。從面部特征自動定位、人臉表示模型、分類和識別算法三個角度對人臉表情識別領(lǐng)域的主要技

3、術(shù)方法進行了分類整理，闡述了人臉表情識別的研究現(xiàn)狀。簡要介紹了幾種主要的人臉表情庫，總結(jié)了現(xiàn)有的主要人臉表情識別系統(tǒng)的情況。最后，本文討論了人臉表情識別領(lǐng)域目前仍然面臨的主要技術(shù)難題和開放問題。 2.研究了基于膚色與模板的人臉檢測問題，提出了一種基于膚色與梯度模板的人臉檢測算法。人臉檢測是人臉研究中的必要研究課題，已經(jīng)出現(xiàn)了多種經(jīng)典算法。但是基于膚色的人臉檢測研究時間并不長。本文在前人對膚色空間的研究成果基礎(chǔ)上，采用了一種新的人

4、臉匹配模板——梯度模板，試圖使其包含有盡量多的人臉信息。整個算法達到了膚色空間過濾大部分非膚色區(qū)域，人臉梯度模板準(zhǔn)確檢測的效果。 3.研究了特征精確配準(zhǔn)問題，對活動模板模型在搜索空間與搜索過程上做了一些改進。面部特征精確配準(zhǔn)是魯棒實用的人臉表情識別系統(tǒng)的基本前提。主動形狀模型(ASM)是目前解決該問題的主流方法。本文詳盡地分析主動形狀模型(ASM)的工作原理，仔細地討論了它的優(yōu)缺點，并在此基礎(chǔ)上，提出了三點改進：(1)針對經(jīng)典A

5、SM算法中模型空間構(gòu)造的不足，在原模型空間的基礎(chǔ)上加入了形狀變化子空間，提出了最優(yōu)搜索空間的概念，提高了原模型空間的模型表達能力(2)針對經(jīng)典ASM算法及其以后的改進算法中沒有任何對搜索結(jié)果進行評價的現(xiàn)實，提出了一種合理、簡便、易行的評價方法，使搜索過程變得不再盲目，搜索結(jié)果更符合實際情況。 (3)在第二步評價的基礎(chǔ)上，針對ASM算法搜索過程中模型搜索和圖像紋理搜索相互獨立的缺點，提出了一種最優(yōu)搜索算法，其中使用了反饋策略，使得

6、兩種空間的搜索結(jié)果互相約束，互相利用，搜索過程變得更加合理，智能。這些改進在一定程度上彌補了ASM算法中模型空間與搜索過程的不足，更能夠比較精確地定位預(yù)定義的面部關(guān)鍵特征。為后續(xù)的人臉表情識別打下了良好的配準(zhǔn)基礎(chǔ)。 4.研究了獨立分量特征(IC)人臉表情表示方法，提出了一種AdaICA人臉表情識別新方法。利用獨立分量作為特征進行判別分析，不僅是特征之間相互獨立，而且還能充分利用變量的高階統(tǒng)計量信息，具有很強的優(yōu)勢。但是它具有兩個

7、方面的缺陷：第一，獨立基的獲取結(jié)果很隨機，并不唯一。第二，獨立基的判別分析性能不穩(wěn)定，有的獨立基可能具有很強的識別能力，有的則相對較弱。總的來說是獲取與選擇獨立基成為兩大難點。針對這個問題，本文考慮了統(tǒng)計性原理，多次運行ICA算法，在此基礎(chǔ)上，將Boosting策略創(chuàng)新性地應(yīng)用于ICA特征的優(yōu)化與選擇，最終得到數(shù)目較少、判別分析能力較強的AdaIC特征，并最終通過對AdaIC特征的判別分析實現(xiàn)人臉表情識別——即所謂的AdaICA人臉表情

8、識別新方法。在JAFFE與自選兩個人臉表情圖像庫上的對比實驗表明AdaICA方法可以有效提取判別特征，識別精度也比傳統(tǒng)方法有了較大提高。 5.研究了基于離散小波與離散余弦的人臉表情全局特征提取與分析方法。簡單地研究了全局表情特征的提取問題，采用離散小波對圖像進行壓縮，利用離散余弦變換對壓縮圖像進行去相關(guān)、聚能運算，并將最終的對角拉直主要能量數(shù)據(jù)作為待識別特征。算法簡單，實現(xiàn)容易。 6.研究了基于局部特征的表情分析方法，提

9、出了一種新的局部二元模式表情識別算法。由于表情是由一些局部肌肉變形組合而來，準(zhǔn)確的局部特征在表情識別中應(yīng)該具有很強的優(yōu)勢。但是以下幾點需要注意：第一，采用的算法能夠真正地提取局部特征，真正地反映局部的拓撲結(jié)構(gòu)或者是空間信息，而不是將全局特征提取算法用在圖像的局部上。第二，提取的特征對局部的變化很敏感，微小的局部變化都應(yīng)該被反應(yīng)出來，以保證準(zhǔn)確地提取很細微的表情特征。第三，具有一定的組合能力，因為表情是局部形變的組合。基于以上幾點考慮，本

10、文引入了在圖形學(xué)中具有很強描述紋理能力的局部二元模式(LocalBinaryPatterns，LBP)算法，改進了其中的三點對表情識別不利的因素：(1)將原圖像經(jīng)過小波包分解并在其它頻率圖像為零的情況下重構(gòu)，得到了四幅與原圖像大小相等的不同頻率圖像，在一定程度上增加了原圖像的數(shù)據(jù)，改進了原算法數(shù)據(jù)量不足的問題。(2)將圖像由粗到精的方式分為好多LBP直方圖塊，采用級聯(lián)的策略串聯(lián)每個塊中的LBP直方圖，這種提取方式的改進使得最終的特征同時