基于時空分析和多粒度特征表示的人體檢測方法研究.pdf

1、人體檢測逐漸成為近年來計算機視覺和模式識別領(lǐng)域中的一個研究熱點。其之所以備受關(guān)注，主要出于以下兩個原因：1）雖然人體檢測屬于一般對象識別的一個特例，但是由于其問題本身具有一般性，從而使得對于該問題的有效解決能夠?qū)ζ渌膶ο笞R別問題提供借鑒；2）應(yīng)用上的需求進一步推動了人體檢測方法的發(fā)展，例如在車載輔助預(yù)警系統(tǒng)、智能監(jiān)控系統(tǒng)、人機交互系統(tǒng)以及基于內(nèi)容的視頻/圖像管理系統(tǒng)中的應(yīng)用。
　　人體檢測中的難點問題可以歸結(jié)為兩個方面，即低信噪

2、比和弱配準(zhǔn)。低信噪比是指人體數(shù)據(jù)中噪聲所占比例較大而能夠被用于對人體進行判別的信息相對較少。弱配準(zhǔn)是指因人體形態(tài)上的差異而很難將人體的各個部分進行比較好的對齊。這兩個難點問題綜合作用結(jié)果就是人體數(shù)據(jù)具有非常大的類內(nèi)散度。針對于這兩個難點問題，本文分別采用了時空分析和多粒度特征表示的技術(shù)路線，并且在此技術(shù)路線的指導(dǎo)下，從數(shù)據(jù)預(yù)處理和特征提取兩個方面提出了一系列人體檢測模型和方法。
　　論文的創(chuàng)新與主要貢獻(xiàn)總結(jié)如下：
　　(1)

3、本文提出了一種輪廓運動特征（Contour-Motion Feature, CMF）進行魯棒的人體描述。該特征使用時-空輪廓作為人體的底層描述，然后利用3維的距離變換來將1維的輪廓信息擴展到3維的空間中。通過這種方式，局部輪廓之間的關(guān)系可以被隱式的進行表達(dá)。通過使用3維的Haar特征對于靜態(tài)和動態(tài)的特征進行統(tǒng)一的封裝，可以進一步得到人體的中層的表達(dá)：運動輪廓特征。最后利用Boosting的方法來選擇具有最強判別能力的特征用于分類。實驗結(jié)

4、果表明，該方法可以比其他同類方法具有更好的檢測性能和可擴展性。此外，盡管該方法是在人體檢測的背景下提出的，該方法還進一步被用于行為分析中，并且取得了較好的結(jié)果。
　　(2)本文提出了一種多粒度特征表示方法，稱為粒度可變的方向劃分描述子（Granularity-tunable Gradients Partition, GGP）。針對人體數(shù)據(jù)難以進行配準(zhǔn)的問題，本文提出了人體的多粒度特征表示方法。這里粒度這個概念表示特征對于數(shù)據(jù)的抽象

5、能力：精細(xì)粒度特征對于數(shù)據(jù)有較低程度的抽象，具有比較好的細(xì)節(jié)描述能力，適合用于對數(shù)據(jù)進行確定性的描述；而粗糙粒度的特征對于數(shù)據(jù)有較高程度的抽象，其所體現(xiàn)的通常是一種統(tǒng)計特性。因此，多粒度特征描述意味著可以對人體數(shù)據(jù)進行不同層次的抽象，從而得到從確定性描述到統(tǒng)計性描述的一系列的具有不同描述特性人體表示。
　　本文在霍夫空間中對于直線的定義進行了擴展，將直線對于旋轉(zhuǎn)和平移的不確定性顯式的體現(xiàn)在直線的定義當(dāng)中，并稱這類直線為廣義直線，其

6、旋轉(zhuǎn)和平移的不確定性為粒度參數(shù)。進一步該廣義直線被作為基元，對人體數(shù)據(jù)進行解析。通過調(diào)整粒度參數(shù)，描述子可以在不同描述特性之間切換。在精細(xì)粒度的一端，GGP可以變?yōu)橐环N確定性的描述，如Edgelet；而在粗糙粒度的一端，GGP可以變?yōu)橐环N具有統(tǒng)計特性的描述子，如梯度方向直方圖（Histograms of Oriented Gradients，HOG）。同時，梯度的位置、方向、強度和分布信息也被編碼到描述子的特征向量當(dāng)中，這樣可以進一步增

7、強特征的表述能力。在INRIA的人體數(shù)據(jù)庫上的評測結(jié)果表明，該方法可以達(dá)到與當(dāng)前領(lǐng)先的方法相當(dāng)?shù)臋z測水平，但是因為該方法中的特征和弱分類器都是線性的，所以在速度和計算復(fù)雜度上較其他方法更有優(yōu)勢。
　　(3)本文提出了一種多粒度特征表示與時空分析相結(jié)合的人體檢測方法，稱為時-空域粒度可變的方向劃分描述子（Spatial-Temporal Granularity-tunable Gradients Partition, STGGP）。

8、這種描述子融合了時空分析與多粒度特征表示的優(yōu)勢，因而具有更強的描述能力。根據(jù)時間信息與空間信息的相關(guān)性不同，提出了3種STGGP描述子的具體實現(xiàn)。
　　在第一種實現(xiàn)中，不考慮運動信息與外觀信息之間的相關(guān)性，將運動信息用光流梯度場表示，只將其與外觀信息進行簡單的串接，這種描述子稱為基于光流梯度場的STGGP描述子，用STGGP of表示；在第二種實現(xiàn)中，用時空體上相互正交的3個切平面來表示三個坐標(biāo)軸兩兩之間的相關(guān)性，并在這三個平面上

9、分別提取多粒度特征，這種描述子稱為基于時-空切平面的STGGP描述子，用STGGP op表示；在第三種實現(xiàn)中，充分考慮人體運動過程中的時-空相關(guān)性，將人體及其運動看作是3維空間中的一個實體，并且在3維霍夫空間中定義廣義平面對其進行解析，稱這種描述子為基于3維霍夫變換的STGGP描述子，用STGGP3h表示。最后，將STGGP描述子用于人體檢測和行為識別，實驗結(jié)果表明，STGGP描述子較其他算法具有較明顯的優(yōu)勢。
　　(4)為了進一

10、步提高人體檢測的速度和精度，本文將背景建模和運動檢測也作為一個研究內(nèi)容，并將其作為人體檢測的預(yù)處理過程，以達(dá)到縮小檢測區(qū)域、減少誤檢的目的。提出了一種基于非參數(shù)模型的背景建模方法用于運動目標(biāo)檢測，以此來降低人體檢測的誤檢率及提高檢測速度。首先，引入了一個新的模型，影響因素描述模型（Effect Components Description, ECD)，來對背景的變化進行建模。通過這個模型，可以將背景模型最好的估計與其分布的眾數(shù)相關(guān)聯(lián)。在

11、ECD的基礎(chǔ)上，進一步提出了一個有效的背景生成方法：可靠背景模型（Most Reliable Background Model, MRBM）。在MRBM生成的過程中，運用mean shift來迭代找到每個像素的分布的眾數(shù)。該方法的優(yōu)勢主要體現(xiàn)在三個方面：首先，非參數(shù)模型可以較好的處理多峰分布數(shù)據(jù)，該方法不需要純凈的背景作為訓(xùn)練，可以用于有復(fù)雜運動物體的情況下的背景模型的生成；其次，生成的背景圖像質(zhì)量較高，可以減輕圖像中由于壓縮導(dǎo)致的塊效