面向有限資源平臺人機交互的人手檢測與跟蹤.pdf

1、基于視覺的人機交互是一種新穎而且富有前途的人機交互技術(shù)。這種技術(shù)將會讓人和計算機之間的信息交換變得更為自然、直觀和高效。然而,由于環(huán)境光照的變化、復(fù)雜的背景、視頻質(zhì)量低、計算和存儲資源有限等因素的影響和限制,開發(fā)具有良好精確性、魯棒性和實時性的基于視覺的人機交互系統(tǒng)面臨著諸多困難。針對人機交互環(huán)境的特點和硬件平臺的性能,本文將人手檢測與跟蹤結(jié)果作為人機交互的依據(jù),設(shè)計、開發(fā)了一套性能良好的人機交互系統(tǒng),并對系統(tǒng)所涉及的關(guān)鍵計算機視覺技術(shù)

2、進行了深入的研究。
　　在分析了影響基于視覺的人機交互的幾個重要因素的基礎(chǔ)上,以人手檢測與跟蹤結(jié)果作為人機交互的依據(jù),設(shè)計了適合有限資源平臺的基于視覺的人機交互系統(tǒng)。將運動和膚色作為人手檢測與跟蹤的重要線索,并由此將涉及的關(guān)鍵計算機視覺技術(shù)劃分為背景消減、膚色檢測和目標跟蹤三個部分。介紹了基于視覺的人機交互系統(tǒng)的幾個典型應(yīng)用,并通過實驗驗證了所設(shè)計的人機交互系統(tǒng)的性能。
　　為適應(yīng)人機交互環(huán)境下的快速光照變化,提出了一種雙層

3、背景建模和背景消減方法。首先采用局部形狀作為特征對背景建模,通過背景消減得到前景輪廓;然后在檢測到的前景輪廓內(nèi),以顏色作為特征,采用改進的高斯混合模型進一步確定前景輪廓內(nèi)的各個像素是否屬于前景。這種由粗及細的背景建模和背景消減方法不僅在光照快速變化環(huán)境下具有良好的魯棒性,也具有良好的實時性。
　　為減輕人機交互環(huán)境下光照發(fā)生劇烈而快速變化對膚色檢測的影響,提出了一種結(jié)合模型動態(tài)自適應(yīng)和顏色校正的動態(tài)膚色檢測算法。首先,在最小錯誤率

4、貝葉斯決策框架下建立了膚色模型,從人臉檢測結(jié)果上采集膚色樣本用于動態(tài)更新膚色模型。其次,在光照發(fā)生了變化但沒有檢測到人臉情況下,將當前幀圖像的顏色校正到上一次更新膚色模型時的光照條件下,使舊的膚色模型對當前幀圖像仍然有效。與此同時,還提出了一種檢測光照是否發(fā)生劇烈變化的方法。在光照沒有發(fā)生變化的情況下,降低膚色模型的更新頻率。一方面,可以降低膚色模型更新出錯的潛在風險;另一方面,也可以減少計算量,提高算法的實時性。
　　提出了一種

5、結(jié)合運動檢測、目標跟蹤、目標檢測和目標驗證的長時效目標跟蹤框架,并分別將其應(yīng)用于人臉和人手的跟蹤。選用實時性與魯棒性較為平衡的Mean Shift目標跟蹤算法作為基礎(chǔ)跟蹤器,并融合膚色和運動特征來提高目標跟蹤的魯棒性。當基礎(chǔ)跟蹤器對目標的跟蹤失敗時,使用級聯(lián)式 AdaBoost目標檢測器將目標再次找回。在進行目標檢測時,使用運動模板來排除掉大量沒有目標存在的區(qū)域,明顯降低了目標檢測的運算量,使算法的實時性得到了保障。目標驗證策略的使用避