口型識別與唇讀算法研究.pdf

1、人類對語言的感知是多通道的，聽力正常者在交談的過程中也無意識的使用唇動、表情等視覺信息以輔助聽覺能力。對于聽力障礙者或噪聲環(huán)境下的語言感知，視覺信息顯得更加重要。計算機(jī)唇讀技術(shù)正是在這樣的背景下應(yīng)運而生，它是指對說話者的口型變化等視頻信息進(jìn)行分析而識別出說話內(nèi)容的過程。該技術(shù)涉及計算機(jī)視覺、人機(jī)交互、圖像處理、模式識別等諸多領(lǐng)域，被廣泛應(yīng)用于與語音信息融合以提高識別率，也用于公共安全領(lǐng)域、生物特征識別和口型合成等。
　　本文主要研

2、究單視覺通道下基于孤立漢語字的唇讀系統(tǒng)，從唇部區(qū)域檢測、唇區(qū)特征提取及唇讀訓(xùn)練和識別三方面展開研究，主要工作及創(chuàng)新如下:
　　(1)在唇部區(qū)域檢測模塊，詳細(xì)介紹了基于Viola-Jones的檢測方法，該方法利用Haar like矩形特征作為特征模板，以Adaboost算法訓(xùn)練特征值，并用級聯(lián)的方式得到強(qiáng)分類器以實現(xiàn)檢測。本文將其用于人臉和唇區(qū)的檢測，檢測正確率達(dá)到了97％，為下一步處理打下了良好的基礎(chǔ)。
　　(2)特征提取是

3、唇讀技術(shù)的核心。本文提出了一種基于像素的4階段級聯(lián)的特征提取方法。該方法首先對唇區(qū)圖像進(jìn)行圖像變換，接著針對不同的圖像變換結(jié)果采用合適的方法選取需要的數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)降維，最后對降維后數(shù)據(jù)實現(xiàn)矢量量化，得到最終特征向量。實驗結(jié)果表明該方法與單獨使用基于像素的方法相比特征向量維度大大降低，DCT-PCA和DWT-PCA方法的最高識別率分別達(dá)到了72.8％和77.4％。
　　(3)唇讀訓(xùn)練和識別模塊，分析了HMM模型用于唇讀識別的可

4、行性，對將HMM應(yīng)用于唇讀時所面臨的模型類型選取、初始參數(shù)選擇等具體問題做了詳細(xì)的說明，并給出了利用HMM進(jìn)行唇讀訓(xùn)練和識別的過程，最后通過實驗建立了合理的唇讀HMM模型。
　　(4)唇讀數(shù)據(jù)庫是進(jìn)行唇讀研究的基礎(chǔ)。文章研究了國內(nèi)外現(xiàn)有的一些數(shù)據(jù)庫，分析了它們的語料和規(guī)格，并建立了適合本文研究的數(shù)據(jù)庫。自建數(shù)據(jù)庫選取了漢語中常用的37個漢字，有3女2男共5名發(fā)音者，每人對每個字發(fā)音10遍，并對錄制的視頻資料進(jìn)行了唇區(qū)提取等后期處理