基于RGB-D的多線性異構信息的動作識別研究.pdf

1、深度傳感器不僅能獲得RGB視頻數(shù)據(jù)還能獲得3D深度數(shù)據(jù)，因而基于RGB-D相機的動作識別的研究越來越多。3D結構信息簡化了動作識別的運動內(nèi)部變化，并且去除了雜亂的背景噪聲，因此3D結構信息能夠有效地用于識別任務。雖然3D結構信息很有效，但是有關3D結構信息的方法僅適用于深度數(shù)據(jù)。由于深度數(shù)據(jù)是不連續(xù)的，會產(chǎn)生噪聲，而RGB數(shù)據(jù)是連續(xù)的，剛好可以彌補深度數(shù)據(jù)的缺點。而人體部位的動作是高度相關的，因而采用深度序列。但是深度序列是串聯(lián)的高維向

2、量增加了參數(shù)數(shù)目和計算時間，而用矩陣形式表示就可以克服這個問題。為了解決上述問題，本文進行了以下研究工作：
　?。?）針對 RGB數(shù)據(jù)和深度數(shù)據(jù)以及骨骼數(shù)據(jù)優(yōu)缺點之間的互補關系，提出了基于RGB-D的雙線性異構信息的動作識別研究。該方法有效地利用兩種數(shù)據(jù)，并進行交叉模態(tài)特征空間學習。用矩陣的形式表示捕獲的時空特征。該方法學習了兩種數(shù)據(jù)的共享特征空間，并產(chǎn)生了交叉模態(tài)特征。在該模型中，許多噪聲可以用信息測度來減少。使用學習交叉模態(tài)特

3、征的共享特征空間來進行動作分類。實驗表明，當一種數(shù)據(jù)缺失或者丟失時，依然能夠通過另一模態(tài)進行識別，提高了識別泛化能力。且用矩陣表示特征提高了計算效率。
　?。?）針對 RGB數(shù)據(jù)和深度數(shù)據(jù)都缺失的情況下不能識別的問題，增加骨骼特征來進行動作識別，提出了基于RGB-D的多線性異構信息的動作識別研究。該方法充分地利用RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)，并用矩陣形式進行捕獲到的時空關系特征表示。該方法學習了RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)的共