融合深度數(shù)據(jù)的人機交互手勢識別研究.pdf

1、基于圖像信息的生物特征識別是近些年來計算機視覺研究中的一個重要領域，其中針對人類的各種生物特征的識別是該領域的主要研究內(nèi)容，相關研究成果多用于自然人機交互、虛擬現(xiàn)實和智能視頻監(jiān)控等方面。進一步地，人類的手勢識別研究是人類的生物特征識別中重要的研究內(nèi)容，它主要從圖像數(shù)據(jù)中分割、跟蹤和識別出不同的手勢，最終對其加以描述和理解。然而，由于人手的個體差異性，加之其復雜的各種形變，再加上手勢在空間和時間上的變化性，以及視覺問題與生俱來的不適定性，

2、這些困難和原因使手勢識別成為了一個非常具有挑戰(zhàn)性的研究領域。
　　經(jīng)典的手勢識別研究一般包括手勢分割、手勢跟蹤、手勢識別等三個階段，這三個階段分別對應于計算機視覺研究的圖像分析和圖像理解兩個研究層次。其中手勢分割屬于圖像分析層次，這一階段把圖像中屬于手勢的像素點劃分標識出來，這是整個研究的起點也是最為重要的部分，其結果的優(yōu)劣會直接影響到后續(xù)的研究階段。手勢跟蹤也屬于圖像分析層次，它對圖像序列的每一幀圖像中屬于手勢的像素點進行連續(xù)的

3、定位和標注。手勢識別則屬于圖像理解層次，它首先將海量的圖像數(shù)據(jù)經(jīng)過表示與描述成為一系列特征或特征組合，而后在特征空間中對其中的特征點進行分類，最終實現(xiàn)手勢的識別。
　　另一方面，多模態(tài)數(shù)據(jù)融合理論認為單一種類傳感器數(shù)據(jù)只能獲得被測物體的不完備信息并且較易受環(huán)境影響，而多模態(tài)信息融合將多種傳感器數(shù)據(jù)進行組合，可以提高系統(tǒng)的可靠性。基于此，本文在傳統(tǒng)視覺數(shù)據(jù)的基礎上引入了深度數(shù)據(jù)，在深度與圖像數(shù)據(jù)融合的基礎上分別研究了手勢的分割、跟蹤

4、和識別三個階段的算法。
　　基于動態(tài)深度閾值的手勢分割算法。首先基于MCG-Skin(A BenchMark Human SkinDatabase，中國科學院計算技術研究所多媒體計算課題組)數(shù)據(jù)庫建立膚色的高斯模型，并獲得模型的均值與方差;其次根據(jù)深度信息建立人體包括手勢部分的深度的高斯混合模型;再次根據(jù)深度高斯模型可以得到粗略的動態(tài)深度閾值，從而劃分出包括手勢在內(nèi)的部分圖像;最后將這部分圖像輸入第一步得到的膚色高斯模型，即可得出

5、每個像素點與膚色的相似度，進而得到膚色相似度圖像，然后對該圖像應用Otsu's算法得到手勢分割結果。通過多個實驗從不同的角度對手勢分割算法的可用性進行了檢驗。
　　基于權重漂移重采樣的手勢跟蹤算法。首先建立相對深度直方圖及其相似性概念，以此作為手勢跟蹤的模板;其次針對傳統(tǒng)粒子重采樣算法中的粒子退化問題，以后驗概率密度梯度非遞減為原則進行了粒子重采樣，在重采樣的過程中不刪除粒子，更能保證粒子的多樣性。通過多個實驗從不同的角度對手勢跟

6、蹤算法的可用性進行了檢驗。
　　基于相對徑向距離的手勢識別算法。針對超球支持向量機在超球相交時類別劃分可能出現(xiàn)的問題，提出了不僅基于絕對距離，還要同時基于相對徑向距離的超球支持向量機，通過特征點到超球球心的距離與超球半徑之比來確定特征點的歸屬，即滿足這個值最小的超球為該特征點的最終歸屬。通過多個實驗從不同的角度對手勢識別算法的可用性進行了檢驗。
　　最后建立了一個面向手勢識別的手勢圖像數(shù)據(jù)集合，并在上述研究的基礎上，設計開發(fā)