actionrecognition-jdl聯(lián)合實(shí)驗(yàn)室

1、Learning a Discriminative Hidden Part Model for Human Action Recognition,講解人：李 哲中科院計(jì)算所JDL2010年4月23日,2024/3/15,1,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,2,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)

2、特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,3,# 第一作者,Yang WangPhD student School of Computer ScienceSimon Fraser University, CanadaResearch InterestsComputer vision , statistical machine learningPublicationsHuman Action Recognitio

3、n & Human pose detection2005~2010: PAMI(2), NIPS(3), ICCV(3), CVPR(3), ACCV(1), ECCV(1), ICML(1)BackgroundPh.D. (recently finished) : Simon Fraser University, Canada;M.S. : University of Alberta, Canada;B.S. :

4、Harbin Institute of Technology, China.Homepagehttp://www.sfu.ca/~ywang12/,2024/3/15,4,# 第二作者,Greg Mori Assistant ProfessorSchool of Computer ScienceSimon Fraser University, CanadaResearch Interestshuman body pose

5、 estimation, pedestrian detection, activity recognition, object recognition, machine learning AwardsOutstanding Reviewer, ICCV 2009BackgroundPh.D. (2004) : University of California at Berkeley, US;B.S. (1999) : Univ

6、ersity of Toronto, Canada.Homepagehttp://www.cs.sfu.ca/~mori/,2024/3/15,5,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,6,# Abstract,We present a discriminative part-based approach for human action re

7、cognition from video sequences using motion features. Our model is based on the recently proposed hidden conditional random field (hCRF) for object recognition. Similar to hCRF for object recognition, we model a human a

8、ction by a flexible constellation of parts conditioned on image observations. Different from object recognition, our model combines both large-scale global features and local patch features to distinguish various actions

9、. Our experimental results show that our model is comparable to other state-of-the-art approaches in action recognition. In particular, our experimental results demonstrate that combining large-scale global features an

10、d local patch features performs significantly better than directly applying hCRF on local patches alone.,2024/3/15,7,# 摘要,本文提出了一種基于部件的判別方法，該方法使用運(yùn)動(dòng)特征能夠在視頻序列中識(shí)別人體動(dòng)作。本方法靈感來自于物體檢測(cè)中的隱條件隨機(jī)場(chǎng)（hCRF）方法。與其類似的，本文基于圖像對(duì)人體動(dòng)作建立了一個(gè)的部件模型

11、；與其不同的，我們將全局特征和局部塊特征聯(lián)合來區(qū)分不同的動(dòng)作。實(shí)驗(yàn)結(jié)果表明，我們的模型能夠與其他的state-of-the-art方法可比。實(shí)驗(yàn)結(jié)果還證明了，對(duì)于hCRF方法，聯(lián)合全局特征和局部塊特征比單單使用局部快特征有更好的性能。,2024/3/15,8,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,9,# 問題的提出,動(dòng)作識(shí)別需要解決的問題判斷

12、給定的一段視頻中的動(dòng)作類型物體檢測(cè) ——?jiǎng)幼髯R(shí)別物體檢測(cè)中hCRF的成功應(yīng)用Ariadna Quattoni, Michael Collins and Trevor Darrell. Conditional Random Fields for Object Recognition, NIPS 2005本文對(duì)這套方法進(jìn)行部分改進(jìn)，引入 到Human Action Recognition,2024/3/15,10,,#

13、提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,11,模型基于貝葉斯理論,獨(dú)立性假設(shè),# Hidden Markov model,一階鏈?zhǔn)诫[馬爾可夫模型,對(duì)聯(lián)合概率的估計(jì),,Definition of CRFs：graph structure G of label set is said to be a CRFs , if and only if it sati

14、sfies Markovianity：,Model：,To predict:,Conditioned on all the observations,Relax independence assumption,model posterior distribution directly,# Conditional Random Fields,If the graph structure G=(V, E) of label set for

15、ms a tree:,According to fundamental theorem of MRFs：,：association and interactive potentials OR features,: model parameters,# Conditional Random Fields,The model： 在CRF中引入隱含變量hi 隱含變量hi 之間通過無向圖產(chǎn)生關(guān)聯(lián) 直接對(duì)條件概率進(jìn)行估計(jì)

16、 The posterior ： To predict:,# Hidden Conditional Random Fields,Given potential function：Conditional probabilistic model：,If the graph forms a tree, then, the potential function will take the form:,# Hi

17、dden Conditional Random Fields,#CRF&hCRF資源,文章&代碼跟蹤整理Hanna m. wallach http://www.inference.phy.cam.ac.uk/hmw26/crf/,2024/3/15,17,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,18,# 篇章結(jié)構(gòu),1. Introd

18、uction2. Our Model2. 1 Motion feature2. 2 Hidden conditional random field (hCRF)3. Learning and Inference3.1 Learning root filter3.2 Patch initialization3.3 Inference4. Experiments4.1 Weizmann datasets4.2 KTH

19、datasets5. Conclusion,2024/3/15,19,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,20,2024/3/15,21,MotionFeaturex,Class Label y,,Each Frame,Hidden Part Model,Mapping motion feature of one frame to cla

20、ss label,# 模型介紹——Framework,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,22,#Motion Feature——光流(Optical Flow)簡介,,光流描述視頻中的運(yùn)動(dòng)信息，可以看做是一種運(yùn)動(dòng)特征前提假設(shè)與三維空間物體點(diǎn)相對(duì)應(yīng)的圖像點(diǎn)及其附近的灰度值在運(yùn)動(dòng)中保持不變（亮度守恒），變化的是物體的位置設(shè)I(x,y,t)表示

21、視頻序列的亮度變化函數(shù)，假設(shè)t時(shí)刻的成像點(diǎn)(x,y)在t+dt時(shí)刻運(yùn)動(dòng)到(x+dx,y+dy),,,,,忽略不計(jì),=0,,,光流方程,,v(vx, vy) 稱為光流場(chǎng),#Motion Feature——特征提取,Optical Flow Feature視頻預(yù)處理：對(duì)每一幀都截取子塊，子塊以感興趣的運(yùn)動(dòng)物體為中心采用Lucas-Kanade[2] 算法計(jì)算 光流將光流場(chǎng)F拆分成4個(gè)channel將F按方向分成：Fx ，F(xiàn)y再將

22、Fx, Fy按正負(fù)值分成：Fx+, Fx-, Fy+, Fy-分別對(duì)Fx+, Fx-, Fy+, Fy-，進(jìn)行Gaussian blur & normalization,[1] Recognizing Action at a Distance, ICCV 2003[2] An Iterative Image Registration Technique with an Application to Stere

23、o Vision, IJCAI 1981,# 提綱,作者介紹文章摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,25,#Hidden Part Model(1),2024/3/15,26,通過建立上述的圖模型，便可完全套用hCRF的一整套理論，建立從x到y(tǒng)的映射,圖1. 模型示意圖每個(gè)頂點(diǎn)表示一個(gè)變量，每個(gè)小方形表示模型中的一個(gè)參數(shù)（描述2個(gè)或3個(gè)變量的相關(guān)程度）。,符號(hào)說明：

24、I：頻序列中的一幀，包含一些顯著的patch分別記為{I1, I2, …, Im}x：圖像I的運(yùn)動(dòng)特征，其中對(duì)應(yīng)于I中patch區(qū)域的特征記為{x1, x2, …, xm}y: 該幀圖像所在video的動(dòng)作類別標(biāo)簽。y的集合記為Yh: 隱變量(部件類別標(biāo)簽)。h的集合記為H。對(duì)于每個(gè)patch Im 均有一個(gè)hm與之對(duì)應(yīng)。因此對(duì)應(yīng)于{I1, I2, …, Im},有{h1,h2,…,hm}。hi與hj之間的連線是由以patch之

25、間的相似度為權(quán)重的圖結(jié)構(gòu)生成的最小生成樹。,#Hidden Part Model(2),2024/3/15,27,根據(jù)隱條件隨機(jī)場(chǎng)理論有： ， 為模型參數(shù)其中

26、 為以 為參數(shù)的勢(shì)函數(shù),#Hidden Part Model(3),2024/3/15,28,設(shè) 是關(guān)于參數(shù) 是線性的則有,,,,,#Hidden Part Model(4),2024/3/15,29,,運(yùn)動(dòng)信息,位置信息,,將圖像均勻劃分為L個(gè)bin 表示一個(gè)L

27、維的向量。當(dāng)且僅當(dāng) 落在圖像的第k個(gè)bin時(shí)，將 的第k維設(shè)置為1，其他為0,,,示意圖,,,,#Hidden Part Model(5),2024/3/15,30,,,,Root Model（創(chuàng)新點(diǎn)）,# Learning and Inference(1),2024/3/15,31,模型參數(shù)學(xué)習(xí),利用 belief propagation能夠在O(|Y||E||H|2)復(fù)雜度計(jì)算得到參數(shù),由于引入了隱含變量h，

28、hCRF是非凸的，但仍然可以使用梯度下降法得到局部最優(yōu)解,# Learning and Inference(2),2024/3/15,32,關(guān)于參數(shù)初值設(shè)置給定訓(xùn)練數(shù)據(jù)(xt, yt),首先解決如下優(yōu)化問題 將 作為梯度下降法中 的初值，其他參數(shù)( )初值隨機(jī)設(shè)置,# Learning and Inference(3),2024/3/15,33,關(guān)于patch的選擇Training

29、setsTesting sets未知所屬動(dòng)作類別，選用哪個(gè)root model，哪個(gè)參數(shù)？解決方案對(duì)于motion feature x，分別采用不同的root model選擇patch，得到|Y|組patch .其中 表示采用root filter 得到的一組patch；最終圖像x的動(dòng)作標(biāo)簽為：,# 提綱,作者介紹文章

30、摘要問題的提出相關(guān)背景篇章結(jié)構(gòu)模型介紹運(yùn)動(dòng)特征部件模型實(shí)驗(yàn)結(jié)果結(jié)論,2024/3/15,34,# 實(shí)驗(yàn)——root filter結(jié)果,2024/3/15,35,# 實(shí)驗(yàn)——Weizmann Dataset,2024/3/15,36,Weizmann數(shù)據(jù)庫包含9個(gè)人的9種動(dòng)作的共83段視頻序列。隨機(jī)抽取5個(gè)人的9種動(dòng)作視頻作為訓(xùn)練集，剩下4人的視頻作為測(cè)試集。下圖顯示分別采用root model，local hCRF

31、 & 本文方法的平均識(shí)別正確率。,|H|表示隱變量的個(gè)數(shù),,# 實(shí)驗(yàn)——Weizmann Dataset,2024/3/15,37,|H|=10,|H|=10,,,# 實(shí)驗(yàn)——KTH Datasets,2024/3/15,38,KTH數(shù)據(jù)庫包含25個(gè)人在4種場(chǎng)景下的6種動(dòng)作，共600段視頻。隨機(jī)選取一半視頻作為訓(xùn)練一半測(cè)試。對(duì)每段視頻隨機(jī)抽取10幀作為實(shí)驗(yàn)數(shù)據(jù)。下圖顯示分別采用root model，local hCRF

32、& 本文方法的平均識(shí)別正確率。,,# 實(shí)驗(yàn)——KTH Datasets,2024/3/15,39,|H|=10,|H|=10,,# 結(jié)論,本文提出了一種用于人體動(dòng)作識(shí)別的部件模型，模型通過root filter對(duì)部件進(jìn)行初始化，無需人為指定部件。模型同時(shí)運(yùn)用了global 特征和local特征實(shí)驗(yàn)結(jié)果與當(dāng)前state-of-art方法可比，同時(shí)證明了將兩類特征（global & local feature）結(jié)合的性能