基于視頻的徒手手語識(shí)別方法的研究.pdf

1、隨著計(jì)算機(jī)性能的逐步提高和各領(lǐng)域?qū)τ?jì)算機(jī)使用的不斷深入,用戶對(duì)計(jì)算機(jī)使用方便程度和人機(jī)交互的自然性要求程度越來越高,尤其在虛擬現(xiàn)實(shí)和可穿戴計(jì)算領(lǐng)域中更為明顯。因此,直觀、自然和友好的多模式人機(jī)交互方式很有必要。在日常生活中,人與人之間交流使用的自然語言主要是口語和書面語。除此之外,還有手勢(shì)、表情等方式可以在人與人面對(duì)面的交流中輔助傳遞信息。而手語則是聾人之間主要的表達(dá)方式。手語識(shí)別不僅可以為聾人提供幫助,而且也可推動(dòng)人機(jī)交互研究的發(fā)展。

2、
　　 本文主要對(duì)基于視覺的手語識(shí)別領(lǐng)域中的兩大模塊進(jìn)行了應(yīng)用研究:手部區(qū)域跟蹤與手勢(shì)特征提取。本文主要的研究工作可以概括為以下三點(diǎn):
　　 (1)目標(biāo)模板構(gòu)建。首先對(duì)視頻第一幀圖像進(jìn)行顏色空間的轉(zhuǎn)換,然后通過膚色檢測(cè)來自動(dòng)截取感興趣區(qū)域,從而得到膚色模板圖,并建立其H分量直方圖。這樣便解決了連續(xù)自適應(yīng)均值漂移(CamShiit)算法的半自動(dòng)化問題,為后續(xù)的手部區(qū)域跟蹤打好了基礎(chǔ)。
　　 (2)手部區(qū)域跟蹤。主要

3、研究了連續(xù)自適應(yīng)均值漂移(CamShift)算法在手語視頻環(huán)境下的特殊應(yīng)用,實(shí)現(xiàn)了對(duì)手語視頻中手部區(qū)域的連續(xù)跟蹤。在保留CamShift算法優(yōu)點(diǎn)的基礎(chǔ)上,對(duì)其進(jìn)行應(yīng)用改進(jìn),使之能夠有效地對(duì)視頻中的手部區(qū)域進(jìn)行自動(dòng)跟蹤。實(shí)驗(yàn)結(jié)果證明了方法的有效性。
　　 (3)手勢(shì)特征提取。主要做了手勢(shì)特征的提取與分析和手勢(shì)特征的訓(xùn)練識(shí)別工作。分別提取了手部區(qū)域的橢圓擬合特征與感興趣區(qū)域的邊緣方向直方圖特征。用橢圓擬合特征作為手部的位置面積方向特