微表情識別的理論和方法研究.pdf

1、微表情是一種持續(xù)時間非常短暫的表情，它能夠表達(dá)人們想要隱藏的真實情感。近年來，微表情識別因為其潛在的應(yīng)用價值而逐漸引起了研究者的關(guān)注。目前微表情識別的研究僅處于初始階段，一是微表情數(shù)據(jù)庫的稀少，二是由于微表情本身的細(xì)微行為特點導(dǎo)致大多數(shù)特征提取方法不魯棒。針對這些問題，本文受最近深度學(xué)習(xí)的巨大成功的啟發(fā)，探索和研究其在微表情識別中的方法及應(yīng)用。本文的主要工作總結(jié)如下:
　　(1)建立了一個誘發(fā)的微表情數(shù)據(jù)庫。微表情數(shù)據(jù)庫是進(jìn)行微表

2、情識別研究的重要支撐，而目前通過誘發(fā)的微表情數(shù)據(jù)庫太稀少。本文搭建了微表情誘發(fā)環(huán)境，利用攝像機采集了被試觀看誘發(fā)視頻的微表情視頻，從中挑選出了微表情幀序列，標(biāo)注了微表情的標(biāo)簽，建立了微表情數(shù)據(jù)庫，并總結(jié)了建庫的一些難題。
　　(2)概述了一套完整的微表情識別工作，包括微表情幀序列預(yù)處理、微表情檢測、微表情特征提取、微表情分類，進(jìn)行了一系列基準(zhǔn)實驗。
　　(3)提出了一種基于深度置信網(wǎng)絡(luò)（Deep Belief Network

3、，DBN）的微表情識別方法。將深度學(xué)習(xí)與微表情識別研究結(jié)合在一起，先對微表情數(shù)據(jù)進(jìn)行擴充樣本，再提取動態(tài)特征輸入到深度置信網(wǎng)絡(luò)中，并在預(yù)訓(xùn)練、微調(diào)過程中調(diào)節(jié)參數(shù)，最終得到了較好的識別率。
　　(4)提出了一種基于三維卷積神經(jīng)網(wǎng)絡(luò)(three dimensional ConvolutionalNeural Network，3D-CNN)的微表情識別方法。目前，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人們研究模式識別問題最常采用的深度學(xué)習(xí)網(wǎng)絡(luò)模型之一

4、。然而，CNN的功能僅僅局限在對于2D輸入的處理。本文在CNN的基礎(chǔ)上，發(fā)展了一種三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)的網(wǎng)絡(luò)結(jié)構(gòu)，用3D-CNN提取微表情動態(tài)視頻的特征，并對其進(jìn)行分類。3D-CNN是一種新的深度學(xué)習(xí)網(wǎng)絡(luò)，增加了對于時間信息的卷積，因此可以處理各種3D輸入，可以應(yīng)用于視頻系列分類任務(wù)。
　　(5)開發(fā)了一個簡單的微表情自動檢測和識別系統(tǒng)。該系統(tǒng)分為兩個部分:一是微表情自動檢測部分，用來檢測微表情視頻的起始幀、峰值幀、結(jié)