3D可視化言語表達(dá)和情感模擬研究.pdf

1、語音可視化是語音合成研究領(lǐng)域中的一項(xiàng)重要的分支，具有真實(shí)感的3D人臉模型是實(shí)現(xiàn)言語表達(dá)和情感模擬動(dòng)畫的基礎(chǔ)和前提，同樣也是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、人機(jī)交互等領(lǐng)域中非常重要的和非常活躍的熱點(diǎn)研究課題。合成具有真實(shí)感視覺方面的3D人臉模型是現(xiàn)階段國內(nèi)外的許多專家學(xué)者的難點(diǎn)所在。這是因?yàn)槿四樕斫Y(jié)構(gòu)的復(fù)雜度，人臉說話口型的多樣性，人臉表情運(yùn)動(dòng)的微妙性，口型動(dòng)作與文本或聲音的復(fù)雜的映射建模等都是具有挑戰(zhàn)性的研究。本文在前人研究的基礎(chǔ)上結(jié)合語言

2、學(xué)和計(jì)算機(jī)圖形學(xué)的知識(shí)，建立一個(gè)文本驅(qū)動(dòng)的帶說話、嘴部動(dòng)作、韻律和面部表情等的3D說話人頭像動(dòng)畫模型。該模型具有真實(shí)感好、言語表達(dá)和情感模擬性逼真、自動(dòng)化等優(yōu)點(diǎn)，在電影特效、廣告動(dòng)畫、計(jì)算機(jī)游戲和言語康復(fù)訓(xùn)練以及虛擬教學(xué)和視頻會(huì)議等領(lǐng)域都有重要的應(yīng)用前景。
　　本文使用直接面部跟蹤技術(shù)，以美國的NaturalPoint公司旗下的Optitrack系統(tǒng)采集真實(shí)人臉部運(yùn)動(dòng)數(shù)據(jù)的三維信息。該系統(tǒng)有六個(gè)紅外攝像機(jī)和配套的軟件Arena組成

3、，用來跟蹤真實(shí)人說話時(shí)貼在臉部的markers點(diǎn)運(yùn)動(dòng)位置。首先將得到的三維運(yùn)動(dòng)信息提出得到運(yùn)動(dòng)特征點(diǎn)的三維坐標(biāo)，其次將經(jīng)過處理的三維坐標(biāo)點(diǎn)映射到人臉模型特征點(diǎn)坐標(biāo)系中來驅(qū)動(dòng)虛擬的3D人臉模型。文章中3D虛擬人臉模型分成幾個(gè)運(yùn)動(dòng)相對(duì)獨(dú)立的功能區(qū)域，使用狄利克雷自由變形算法DFFD和剛體的旋轉(zhuǎn)平移變換上的控制點(diǎn)的移動(dòng)來驅(qū)動(dòng)3D說話人模型，通過不同功能區(qū)域交叉控制點(diǎn)，模擬不同功能區(qū)的相互影響。通過Visual Studio2010C/C++編

4、程，并用開放的圖形接口OpenGL添加光照，紋理映射等信息顯示出來。本文中的言語表達(dá)和情感模擬分別采集不同的真實(shí)人的臉部運(yùn)動(dòng)信息來驅(qū)動(dòng)。言語表達(dá)采集中性的文本語音數(shù)據(jù)，然而情感模擬的數(shù)據(jù)需要采集專業(yè)表演人員的帶有感情色彩的語句。與此同時(shí)采集并處理對(duì)應(yīng)的語音信息，作為音視頻對(duì)照和同步以及可視化語音識(shí)別的一個(gè)研究方向。接著本文設(shè)計(jì)了人工實(shí)驗(yàn)來對(duì)對(duì)模擬出來的言語和情感效果進(jìn)行驗(yàn)證以及評(píng)價(jià)。最后，我們對(duì)本文的研究工作做了總結(jié)，并對(duì)當(dāng)前存在的不足