人臉表情的識(shí)別、重建與合成.pdf

1、近30多年來，通過計(jì)算機(jī)對人臉表情進(jìn)行自動(dòng)處理成為當(dāng)前計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、模式識(shí)別等領(lǐng)域的一個(gè)熱點(diǎn)研究課題，在視頻會(huì)議、影視制作、智能人機(jī)接口等方面有著廣泛的應(yīng)用前景。本文的工作主要集中在兩個(gè)方面，一方面是對人臉表情進(jìn)行識(shí)別，另一方面是對人臉進(jìn)行重建，合成人臉表情。 提出論文的研究背景和研究內(nèi)容，回顧人臉表情識(shí)別(基于靜態(tài)圖像、視頻及語音視頻)、人臉重建以及表情合成的相關(guān)技術(shù)，分別對這些方法進(jìn)行分類和比較，指出其優(yōu)點(diǎn)和不足

2、之處，并給出研究的難點(diǎn)。 針對人臉表情識(shí)別，根據(jù)輸入數(shù)據(jù)的不同，分三章進(jìn)行闡述。 第三章提出基于GPU的主動(dòng)形狀模型(ASM)用于對靜態(tài)圖像中的人臉表情特征進(jìn)行跟蹤和提取，通過基于GPU的邊界濾波和調(diào)和映射，使對象梯度輪廓梯度得到增強(qiáng)，減少模型匹配收斂的迭代次數(shù)和搜索時(shí)間，在速度和準(zhǔn)確度上都比傳統(tǒng)的ASM有很大提高。進(jìn)而采用SVM進(jìn)行表情分類。 對于動(dòng)態(tài)視頻序列，第四章提出基于Kalman預(yù)測的AAM視頻跟蹤算法

3、，利用當(dāng)前幀跟蹤結(jié)果通過Kalman濾波預(yù)測下一幀中關(guān)鍵點(diǎn)的位置，并采用跟蹤結(jié)果對形狀模型進(jìn)行更新，從而減少搜索空間，使在視頻中進(jìn)行人臉特征搜索的速度得以提高。提出一個(gè)基于二元隱馬爾科夫模型(HiddenMarkovModel，HMM)的視頻人臉表情識(shí)別模型，將跟蹤的特征進(jìn)行分割構(gòu)造兩個(gè)獨(dú)立的特征向量流，使表情動(dòng)作和嘴巴的動(dòng)作得以分離，既保持二者的時(shí)間關(guān)聯(lián)性，又保持在人臉運(yùn)動(dòng)中的獨(dú)立性，使識(shí)別的準(zhǔn)確率得到提高。 在第四章工作的基

4、礎(chǔ)上，第五章對二元HMM進(jìn)行推廣，提出一個(gè)三元HMM及其相關(guān)的Viterbi最優(yōu)路徑搜索算法和模型訓(xùn)練算法，引入情緒語音，實(shí)現(xiàn)語音輔助的人臉表情識(shí)別，并通過設(shè)置權(quán)重平衡視覺特征和語音特征的影響，使平均識(shí)別率取得了提高，識(shí)別更為魯棒。 對于人臉重建和表情合成，工作集中在快速人臉紋理映射和高分辨率人臉網(wǎng)格模型表情生成這兩個(gè)問題上。 第六章提出一個(gè)基于RBF速度場的實(shí)時(shí)交互紋理映射算法，避免對特征點(diǎn)的全局操作導(dǎo)致的復(fù)雜交互和較

5、大系統(tǒng)開銷，使紋理映射變得簡單快捷，系統(tǒng)開銷大大降低，實(shí)現(xiàn)基于單幅照片的人臉快速紋理映射，最后通過FAP參數(shù)驅(qū)動(dòng)獲得不同表情的人臉。 第七章在進(jìn)行人臉網(wǎng)格的對齊方面，提出基于SVD的三維人臉網(wǎng)格對齊算法，使不同尺度、方向和位置的人臉網(wǎng)格模型取得對齊；在實(shí)現(xiàn)不同人臉網(wǎng)格之間的對應(yīng)上，提出基于GPU的網(wǎng)格圖像反饋對應(yīng)算法，解決以往算法需要迭代逼近取得對應(yīng)的計(jì)算復(fù)雜度高、時(shí)間開銷大的問題；在表情的映射上，提出基于Helmholtz-H