面向多傳感器融合的手勢視覺特征提取與識別.pdf

1、手勢是一種直觀方便的交流方式，通過對手勢的識別可以實現(xiàn)自然舒適的人機(jī)交互，因此基于手勢的交互技術(shù)是人機(jī)交互領(lǐng)域的重要研究內(nèi)容之一。手勢交互技術(shù)有著廣泛的應(yīng)用，可以用于虛擬現(xiàn)實環(huán)境中對虛擬物體的操控，也可以運用在智能家電以及相應(yīng)的自動控制領(lǐng)域，還可以為兒童、老人和聾啞人的生活和教育提供幫助。
　　 由于人體手部的復(fù)雜構(gòu)造使得手勢具有多樣性，手勢識別依舊是一個研究難點。目前主要的識別途徑可以分為基于視覺的手勢識別以及基于表面肌電信號

2、和加速計的手勢識別方式?；谝曈X的手勢識別利用攝像頭對手勢動作實施非接觸式捕獲，是一種較為自然的交互方式。但是容易受到視角，背景等因素的影響?；诒砻婕‰娦盘柡图铀儆嫷氖謩葑R別不受外部環(huán)境的影響，具有較好的魯棒性，但是該方法的分類準(zhǔn)確度受到個體差異等因素的影響。
　　 本文重點考察基于視覺信號的手勢特征提取，在此基礎(chǔ)之上，將表面肌電信號和加速計信號與視覺信號相結(jié)合，探索多傳感器融合下的手勢識別。主要的研究內(nèi)容和研究成果如下：

3、r>　　 1.基于視覺信號的手型提取和指尖定位。通過膚色信息結(jié)合主動輪廓模型提取手型。采用基于邊界的手指輪廓模型對指尖進(jìn)行檢測定位。通過指尖可以描述手勢單個手指的個數(shù)以及手指的軌跡，為后續(xù)的手勢識別提供重要信息。
　　 2.基于視覺的手勢特征提取與識別。提出改進(jìn)型形狀上下文描述子表達(dá)手勢輪廓和提取特征的方法。該方法是一種基于手勢輪廓重心的投影方法，降低了投影之后的計算量，避免了由輪廓點采樣而帶來的不利影響。采用有向無環(huán)圖支持向

4、量機(jī)對手勢進(jìn)行分類。實驗結(jié)果表明利用改進(jìn)型形狀上下文描述子的字母手勢識別得到了較好的效果。
　　 3.將視覺信號和表面肌電信號以及加速計信號相結(jié)合，采用多傳感器融合技術(shù)實現(xiàn)手勢識別。在融合過程中，提取靜態(tài)視覺特征來和表面肌電信號特征描述手勢的姿態(tài)，采用動態(tài)手勢特征和加速計信號特征描述動態(tài)手勢軌跡，采用隱馬爾可夫模型及支持向量機(jī)對相應(yīng)特征進(jìn)行判決，再采用決策級融合方法完成手勢類型的最終判決。實驗結(jié)果表明，多傳感器融合能夠提升總體識