基于深度機(jī)器學(xué)習(xí)的體態(tài)與手勢感知計(jì)算關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算資源和用戶需求的快速增長，直觀、自然并且能夠適應(yīng)各種交互環(huán)境的感知計(jì)算成為研究熱點(diǎn)。本文面向體態(tài)和手勢這兩種常見的感知通道，系統(tǒng)地研究其中的問題挑戰(zhàn)及其解決方法。隨著人們對于姿態(tài)恢復(fù)和手勢識(shí)別的精確性和易用性越來越高的要求，缺乏先驗(yàn)知識(shí)表示、準(zhǔn)確率與時(shí)延折中、標(biāo)定過程繁瑣以及有標(biāo)數(shù)據(jù)不足等關(guān)鍵問題與挑戰(zhàn)交錯(cuò)疊加。首先，一些人類熟知的有助于解決感知問題的先驗(yàn)知識(shí)難以直接嵌入在基于深度機(jī)器學(xué)習(xí)的端到端的感知計(jì)算方法中;其次，現(xiàn)有的基

2、于肌電信號(hào)的手勢識(shí)別方法難以同時(shí)做到高準(zhǔn)確率和低時(shí)延;再次，現(xiàn)有的基于肌電信號(hào)的手勢識(shí)別方法通常需要用戶在每次佩戴設(shè)備后先進(jìn)行嚴(yán)格的標(biāo)定;最后，現(xiàn)有的基于肌電信號(hào)的手勢識(shí)別方法依賴于大量的具有手勢標(biāo)簽的訓(xùn)練數(shù)據(jù)，然而這些有標(biāo)記的訓(xùn)練數(shù)據(jù)通常難以獲得。
　　本研究主要內(nèi)容包括：⑴針對基于無標(biāo)記單目相機(jī)的體態(tài)感知中缺乏先驗(yàn)知識(shí)表示的問題，提出了一種新的先驗(yàn)知識(shí)的表示方式----高度圖用于從單目相機(jī)拍攝的視頻中精確地恢復(fù)三維人體姿態(tài)。在

3、此基礎(chǔ)上，提出使用雙流深度卷積網(wǎng)絡(luò)融合彩色圖像和高度圖兩種輸入信息來估計(jì)二維人體姿態(tài)，充分利用了人體各部位的高度這一先驗(yàn)信息來提高二維姿態(tài)估計(jì)準(zhǔn)確率;提出一種新的帶有時(shí)序一致性約束的目標(biāo)函數(shù)，用于從估計(jì)出的人體關(guān)節(jié)點(diǎn)的二維人體姿態(tài)序列中恢復(fù)出對應(yīng)的三維人體姿態(tài)序列，利用人體姿態(tài)和相機(jī)參數(shù)在時(shí)間上的連續(xù)性來提高三維姿態(tài)估計(jì)的準(zhǔn)確率。⑵針對基于肌電信號(hào)的手勢感知中準(zhǔn)確率與時(shí)延折中的問題，發(fā)現(xiàn)了瞬時(shí)的高密度肌電信號(hào)中存在特定的模式，這一發(fā)現(xiàn)使

4、得基于瞬時(shí)肌電信號(hào)的手勢識(shí)別成為可能。基于這一發(fā)現(xiàn)，提出肌電圖像的概念，以及基于瞬時(shí)肌電圖像和深度卷積網(wǎng)絡(luò)的手勢識(shí)別框架。該方法可以在提高基于肌電信號(hào)的手勢識(shí)別準(zhǔn)確率的同時(shí)降低時(shí)延。⑶針對基于肌電信號(hào)的手勢感知中標(biāo)定過程繁瑣和有標(biāo)數(shù)據(jù)不足的問題，提出了基于深度機(jī)器學(xué)習(xí)的無監(jiān)督領(lǐng)域自適應(yīng)框架，從而提升基于肌電信號(hào)的會(huì)話間手勢識(shí)別的準(zhǔn)確率，同時(shí)降低模型適配過程中所需要的用戶交互的復(fù)雜度。該適配方法無監(jiān)督和增量地更新模型中的統(tǒng)計(jì)量參數(shù)，適配貫