基于RGB-D攝像機(jī)的人體動(dòng)作識(shí)別的研究.pdf

1、人體動(dòng)作識(shí)別是多媒體分析領(lǐng)域的一個(gè)重要課題，近年來被廣泛應(yīng)用于人機(jī)交互、智能視頻監(jiān)控和虛擬現(xiàn)實(shí)等方面。本文結(jié)合西工大研究生創(chuàng)業(yè)種子基金“基于Kinect的手勢識(shí)別系統(tǒng)”，針對(duì)人體動(dòng)作識(shí)別中的手指以及四肢識(shí)別跟蹤問題，基于RGB-D攝像機(jī)數(shù)據(jù)流，研究了指尖和四肢的檢測、標(biāo)注以及深度跟蹤等技術(shù)問題，解決了人體動(dòng)作識(shí)別中手指運(yùn)動(dòng)跟蹤問題、人體四肢運(yùn)動(dòng)跟蹤問題，實(shí)現(xiàn)了桌面上的虛擬鋼琴彈奏的手勢識(shí)別以及仰臥位人體姿態(tài)識(shí)別兩種典型算法。論文的主要研

2、究內(nèi)容以及成果如下：
　　1、分析了手指識(shí)別的現(xiàn)有方法以及應(yīng)用范圍，并以此為基礎(chǔ)研究了白色桌面上手指的指尖檢測與標(biāo)注。主要包括利用皮膚橢圓模型檢測手部區(qū)域，使用基于手輪廓的凸缺陷檢測指尖位置，利用手部的生理構(gòu)造以及幾何模型進(jìn)行雙手指尖標(biāo)注。完成了基于C++的指尖標(biāo)注跟蹤軟件，實(shí)現(xiàn)了桌面上手指的運(yùn)動(dòng)跟蹤。
　　2、為了減小由于外界環(huán)境干擾而造成的指尖深度值的波動(dòng)噪聲，在手指運(yùn)動(dòng)跟蹤過程中，采用滑動(dòng)窗口策略獲得穩(wěn)定的指尖深度信息

3、。實(shí)驗(yàn)表明，增加滑動(dòng)窗能有效減小深度值的不穩(wěn)定性，使本文的指尖跟蹤系統(tǒng)具有較強(qiáng)的魯棒性和抗干擾能力。
　　3、在RGB-D攝像機(jī)人體骨骼信息追蹤的基礎(chǔ)上，根據(jù)深度信息進(jìn)行人體區(qū)域的檢測，解決了仰臥位人體識(shí)別中背景信息被誤識(shí)別為人體的一部分而造成的人體位置信息不準(zhǔn)確的問題，實(shí)現(xiàn)了人體的準(zhǔn)確定位，為人體四肢跟蹤提供了可靠的數(shù)據(jù)。
　　4、研究了人體四肢檢測的算法，包括人體骨架構(gòu)造、人體腿部檢測以及人體上肢的檢測。首先細(xì)化人體輪廓

4、得到人體骨架，然后根據(jù)人體骨架構(gòu)造得到人體腿部。實(shí)驗(yàn)表明，該算法可以給出仰臥位狀態(tài)下人體四肢的準(zhǔn)確位置。
　　5、設(shè)計(jì)了融合四肢深度信息、提高四肢標(biāo)注準(zhǔn)確性的方案。使用深度信息有效地解決了當(dāng)兩腳與攝像機(jī)位于一條直線上時(shí)由于遮擋而出現(xiàn)腿部標(biāo)注誤交換的問題，使四肢標(biāo)注跟蹤的準(zhǔn)確度得到很好的提高。
　　本文基于RGB-D攝像機(jī)數(shù)據(jù)流，通過四肢以及手指的檢測、深度跟蹤等關(guān)鍵技術(shù)，開發(fā)了人體動(dòng)作識(shí)別中手勢識(shí)別以及仰臥位人體姿態(tài)識(shí)別系統(tǒng)