三維人體動作識別及其在交互舞蹈系統(tǒng)上的應用.pdf

1、近年來，動作捕捉(Motion Capture)技術發(fā)展迅速，并已在智能人機交互、計算機動畫，三維電影制作、視頻游戲等領域得到廣泛應用。借助特殊的軟硬件設備，動作捕捉系統(tǒng)能精確地記錄運動物體各部分的三維運動軌跡。基于這些軌跡信息，人們便可以對運動物體進行準確地建模以及對運動動作進行語義分析或利用，比如動畫驅(qū)動等。然而，動作捕捉是一個極其耗時耗力的過程。捕捉的動作數(shù)據(jù)需要大量的后期處理，它需要人工地將各動作序列按需要分割成片段以及對各片段

2、標識語義等。另一方面，一些實時應用場景（比如人機交互）還要求系統(tǒng)能迅速理解用戶的輸入動作信息以便做出相應的決策或反應。因此，這就需要高效智能的方法來對動作數(shù)據(jù)自動處理，從而動作識別(Motion Recognition)應運而生。根據(jù)不同應用場景的不同要求，動作識別問題可分為已分割的動作模式分類、連續(xù)的動作模式識別以及實時的動作數(shù)據(jù)流識別三個方面。本文便圍繞這三個方面的問題進行了深入地研究，主要研究內(nèi)容和創(chuàng)新之處如下：
　　 首

3、先，眾所周知，動作數(shù)據(jù)具有高維度和高差異性的特點，對于已分割的動作模式識別，其主要困難也便在于此。主成分分析(PCA)是一種最常用且被證明行之有效的降維和特征提取方法。然而，對于像運動動作這樣的多維時序數(shù)據(jù)，PCA存在一個缺陷，即其結果不能保留時序數(shù)據(jù)中幀之間的時序信息，而這些信息對數(shù)據(jù)分類非常重要。因此，本文提出了兩種新的基于奇異值分解(SVD)的特征提取方法，即分塊SVD(SegSVD)和雙向分塊SVD(Bi-SegSVD)。它們均

4、先將每個數(shù)據(jù)模式按時序關系分割成一定數(shù)目的子片段，然后采用累積的方式對這些片段進行SVD處理并提取其本征特征(eigenfeature)用于分類?；谶@些特征，本文還提出了一種新的相似度計算方法，并將該方法同徑向基核函數(shù)整合為支持向量機(SVM)構造出一種新的復合核函數(shù)。通過SVM分類器，動作數(shù)據(jù)的分類達到了更高的準確率。
　　 其次，在連續(xù)的動作模式識別中，每個輸入動作序列都是由多個待識別的動作模式銜接而成，而這些動作模式可能

5、屬于不同類型，且長度不一。相對于已分割的動作模式識別，它面臨著另外一個挑戰(zhàn)，即在識別各個模式的同時需檢測它們的邊界（即開始幀和結束幀）。為此，本文提出了兩種不同的解決方案。方法一利用了開放終點的動態(tài)時間規(guī)整(OE-DTW)能在完整模式和不完整模式問找到最佳幀對幀匹配的特點，將每個輸入動作序列視作為完整模式，而模板模式視為不完整模式，并運用OE-DTW找出它們的最佳匹配，從而將各個嵌入的動作模式依次分割和識別出來。方法二利用了SegSVD

6、中子片段所得的SVD層的時序關系，提出了一種基于懲罰的層匹配方法，從而使得各嵌入模式的終點可以通過模板模式的頂層的匹配情況得以檢測。
　　 再次，在實時數(shù)據(jù)流識別問題中，由于輸入動作是實時捕捉的，它具有一定的任意性，也就是說用戶的輸入動作也可能不是合法的（即數(shù)據(jù)庫中未定義的）。因此，實時數(shù)據(jù)流識別不但要求識別速度必須足夠迅速以使得系統(tǒng)能及時對輸入的動作作出相應的反應，而且要求在分割與識別輸入數(shù)據(jù)的同時具備檢測輸入動作是否合法的能

7、力。為此，得益于基于內(nèi)容檢索技術的廣泛應用以及其快速有效的特點，本文提出了一種基于動作檢索表的識別方法。該方法利用了人體結構是由人體的上下肢和軀干等五部分組成的這一事實，將動作數(shù)據(jù)也分成這五部分的劃分并分別對各劃分進行聚類和映射等處理。對于每個動作類別，整合其相應的訓練樣本以構造一個代表該類別的通用模型(GM)，繼而通過這些GM，訓練了五個相應于這五個軀體部分的動作檢索表。在識別過程中，輸入幀依次經(jīng)過映射到聚類中，對各部分分別檢索其匹配