基于SAE-PCA模型的ASL字母識別方法研究.pdf

1、手勢識別是新一代人機交互技術(shù)中一個重要的研究方向，因此有著廣闊的應用前景。通?？梢詫⑹謩葑R別過程分為檢測和識別兩個步驟，但是由于視角的不同、光照的變化、復雜的背景、目標的遮擋等因素，從圖片或者視頻中把手勢區(qū)域檢測出來并對其識別是非常有挑戰(zhàn)的。
　　本文最終是完成基于Kinect實時的ASL字母識別系統(tǒng)，ASL庫是包含有24個英文字母的靜態(tài)手勢圖片庫，其中手勢的背景、光照較復雜，且有些手勢的形狀非常接近，因而比較難區(qū)分。文章主要研究

2、的內(nèi)容及創(chuàng)新點如下:
　　1.提出了基于在線膚色學習的手勢分割方法。利用Kinect的第三方庫函數(shù)進行手勢跟蹤，找到手勢點并以該點為中心截取出一個矩形區(qū)域，該區(qū)域包含整個手勢，接著利用手勢點的深度值對手勢進行初步分割，然后用膚色模型進行進一步分割。這里，我們給出了一個能自適應人到Kinect平面距離的手勢矩形計算公式，同時提出了能夠在線學習手勢操作者膚色信息的模型。
　　2.提出了基于SAE-PCA模型手勢特征提取方法。我們

3、提出了SAE-PCA模型來提取圖片的特征，使用這些特征在ASL圖片庫上取得了最優(yōu)的成績。SAE-PCA模型同時結(jié)合了顏色信息和深度信息，它是在經(jīng)典的CNN結(jié)構(gòu)前后加入了多個PCA層，模型中參數(shù)的訓練采用的是基于patch的方法，這種方法和傳統(tǒng)的算法效果一樣，但訓練時間卻快了1000倍以上。
　　3.完成了基于Kinect的ASL字母識別系統(tǒng)。任務是對Kinect采集到圖像實時的進行手勢區(qū)域檢測并識別。我們對前面提出的手勢分割算法進