基于Kinect的三維手語識別.pdf

1、手語是聾啞人和外界交流的主要途徑，對手語識別的研究有助于聽障群體與其他人進行交流，并無障礙的享受社會提供的服務。
　　在對手語識別進行研究的基礎上，我們也對手語識別相關的手部跟蹤和手型分割工作進行了研究。對于所要解決的基于Kinect數(shù)據(jù)的手語識別問題，在研究了手部跟蹤和分割的工作后，不同于現(xiàn)有的HMM框架下的手語識別方法，接著提出一種基于軌跡和關鍵手型片段融合的手語識別方法。具體的工作如下：
　　首先針對RGB-D手語視頻

2、數(shù)據(jù)中手部形變較大及運動過快的問題，提出融合手型、深度和位置三通道特征的手部跟蹤方法。結合人臉檢測功能，通過自動建立膚色模型來實現(xiàn)手部的自動檢測，以此來確定跟蹤目標，然后利用手型、深度和位置三通道特征構造目標估計函數(shù)和優(yōu)化能量函數(shù)，實現(xiàn)雙手的跟蹤工作。在300個視頻44810幀中，手部的跟蹤成功率為91％。
　　然后根據(jù)手部所處的不同位置，把手的狀態(tài)主要劃分為雙手分開、雙手重合和手臉重合這三種存在情況。對于雙手分開的手型，我們利用

3、膚色和深度進行分割；對于雙手在一起的手型，認為此雙手作為一個整體，不再對左右手進行單獨分割；對于手臉重疊的手型，從膚色和深度上已經(jīng)無法將手部和臉部區(qū)分開，可以利用手臉重疊前的臉部信息去剔除臉部的干擾，得到純凈的手型圖。
　　最后，由于手語的判別信息絕大部分集中在關鍵手型片段中，所以提出只需要全局軌跡和關鍵的手型片段進行手語識別的方法。利用并行的HMM框架進行軌跡識別和關鍵手型片段識別，然后在決策層進行融合，在370個手語詞匯中，首