基于手勢識別的人機交互及其在3D魔方游戲中的應(yīng)用.pdf

1、人機交互是指人與計算機之間相互交互和影響的方式。從第一臺計算機誕生到現(xiàn)在，人機交互方式也發(fā)生了翻天覆地的變化。如今，人機交互正向著“以人為中心”的多模式方式發(fā)展。美國將人機交互列為21世紀信息技術(shù)計劃中的四大基礎(chǔ)研究之一。
　　基于手勢識別的人機交互方式將用戶的手勢作為人機交互的輸入，因此需要獲取用戶手勢的靜態(tài)數(shù)據(jù)與動態(tài)信息。獲取信息的方式有三種，分別是基于數(shù)據(jù)手套的方法、基于手持裝置的方法和基于計算機視覺的方法。其中基于計算機視

2、覺的方法是指通過視頻采集設(shè)備將用戶手勢的手勢拍攝下來，通過計算機圖像處理等方法提取視頻中手勢的數(shù)據(jù)與信息。該方法需要借助計算機圖像處理的相關(guān)算法對視頻數(shù)據(jù)信息進行分析處理來實現(xiàn)對手勢的識別。
　　本課題面向人機交互應(yīng)用，通過對手勢視頻的實時處理，先后經(jīng)過提取手勢、計算手勢特征、靜態(tài)手勢特征匹配、動態(tài)手勢匹配四個步驟來完成對動態(tài)手勢的語義識別。尤其是針對復(fù)雜背景下手勢前景的提取、基于多特征的靜態(tài)手勢特征描述與匹配方法和基于多特征的動

3、態(tài)手勢描述與匹配方法做了深入研究，并在此基礎(chǔ)上設(shè)計了一個3D魔方游戲作為應(yīng)用背景。該應(yīng)用以用戶的手勢作為3D魔方游戲的輸入，實現(xiàn)了人機之間的友好交互。
　　在手勢提取方面，本文針對3D魔方游戲中背景復(fù)雜的特點，將采樣視頻轉(zhuǎn)換到Y(jié)CbCr空間，以貝葉斯膚色模型為基礎(chǔ)進行手勢分割。并在該模型的基礎(chǔ)上提出了兩種優(yōu)化方法，使手勢前景的提取效果更具有自適應(yīng)性。該方法根據(jù)視頻信息中有大量時間冗余與空間冗余的特點，對分割結(jié)果不斷地修改，并反饋在

4、貝葉斯膚色模型中，有效地解除了復(fù)雜背景對手勢提取的制約，在一定程度上改善了手勢前景的提取效果。
　　在手勢特征描述方面，本文使用了三種方法來描述靜態(tài)手勢的特征，分別是輪廓特征、指尖特征和掌心特征。其中輪廓特征應(yīng)LCS描述方法來表。本文同樣使用了三種方法來描述動態(tài)手勢的特征，分別是靜態(tài)手勢序列、指尖運動特征和掌心運動特征，其中靜態(tài)手勢序列是指一組有序的靜態(tài)手勢編號。
　　在手勢匹配方面，靜態(tài)手勢匹配是指提取到的當前的LCS序列

5、與定義的標準靜態(tài)手勢的LCS序列依次匹配，選擇最匹配的標準靜態(tài)手勢。而動態(tài)手勢匹配是對連續(xù)幾幀的靜態(tài)手勢的匹配結(jié)果進行匹配。最終確定這幾幀圖像表達的動態(tài)語義本文分別對靜態(tài)手勢和動態(tài)手勢分別使用了以一種特征匹配為主，另外兩種特征為輔的方式。
　　最后在上述研究基礎(chǔ)上，將手勢描述與匹配算法與具體應(yīng)用相結(jié)合，實現(xiàn)了對輸入手勢的自動識別，并選取虛擬現(xiàn)實環(huán)境為應(yīng)用背景，在VS2008環(huán)境下設(shè)計了一個3D魔方游戲。實驗表明該應(yīng)用在樣本圖像與實