基于結(jié)構(gòu)化稀疏表示模型的多模態(tài)目標(biāo)跟蹤方法研究.pdf

1、隨著智能視頻監(jiān)控系統(tǒng)的廣泛普及，計(jì)算機(jī)視覺(jué)理論研究不斷深入，其中目標(biāo)跟蹤在理論研究和實(shí)際應(yīng)用上獲得了越來(lái)越多的重視，已然成為計(jì)算機(jī)視覺(jué)研究范疇中的重要課題。為了克服在單一的可見(jiàn)光視頻中目標(biāo)跟蹤算法應(yīng)對(duì)復(fù)雜環(huán)境的局限性，如霧霾天氣、低照度、背景雜亂等，可以通過(guò)融合除了可見(jiàn)光視頻外的其他模態(tài)的視頻信息，如熱紅外視頻，從而實(shí)現(xiàn)對(duì)目標(biāo)更穩(wěn)健持續(xù)的跟蹤。近年來(lái)的多模態(tài)目標(biāo)跟蹤方法，尤其是可見(jiàn)光-熱紅外跟蹤，主要集中在研究目標(biāo)外觀的稀疏表示模型上，

2、因?yàn)橄∈璞硎灸Ｐ途哂幸种圃肼暫徒档驼`差的能力。然而，現(xiàn)有的多模態(tài)目標(biāo)跟蹤方法大多只考慮候選目標(biāo)的整體結(jié)構(gòu)或其內(nèi)在結(jié)構(gòu)，忽略了目標(biāo)的整體和內(nèi)部信息對(duì)于目標(biāo)跟蹤的可靠性，未能將多模態(tài)視頻信息實(shí)現(xiàn)自適應(yīng)融合。
　　針對(duì)基于稀疏表示的多模態(tài)目標(biāo)跟蹤問(wèn)題，一方面，如何在融合兩個(gè)模態(tài)的視頻信息的同時(shí)兼顧各模態(tài)下的稀疏表示系數(shù)的相關(guān)性，實(shí)現(xiàn)更加魯棒和穩(wěn)定的多模態(tài)目標(biāo)跟蹤。另一方面，如何構(gòu)建一個(gè)目標(biāo)稀疏表示模型，既能系統(tǒng)地表示跟蹤目標(biāo)的全局和局部

3、外觀，同時(shí)又能抑制背景信息的影響。本文主要進(jìn)行了以下兩方面的研究:
　　(1)在多模態(tài)目標(biāo)跟蹤過(guò)程中，為了應(yīng)對(duì)不同的場(chǎng)景條件，做到自適應(yīng)地融合各模態(tài)信息，在不同場(chǎng)景條件下適當(dāng)取舍各模態(tài)視頻信息，實(shí)現(xiàn)更加準(zhǔn)確的表達(dá)目標(biāo)外觀，本文在粒子濾波框架下，提出了一種基于協(xié)同稀疏表示模型的多模態(tài)目標(biāo)跟蹤方法。本文提出的多模態(tài)協(xié)同稀疏表示模型考慮到了不同模態(tài)的視頻信息在不同場(chǎng)景條件下對(duì)于目標(biāo)表達(dá)的貢獻(xiàn)度不同，使用了能夠自適應(yīng)更新的模態(tài)權(quán)重。其次，

4、本文在該模型的聯(lián)合求解過(guò)程中為保證不同模態(tài)之間的稀疏重構(gòu)系數(shù)的一致性，加入了稀疏重構(gòu)系數(shù)的跨模態(tài)一致性約束。最后，本文在公開(kāi)的可見(jiàn)光-熱紅外目標(biāo)多模態(tài)單目標(biāo)跟蹤數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)驗(yàn)證了該算法的有效性。
　　(2)為了更好的表達(dá)目標(biāo)外觀，更魯棒地應(yīng)對(duì)多模態(tài)目標(biāo)跟蹤過(guò)程中目標(biāo)發(fā)生的較大的外觀變化，通過(guò)觀察可知，在目標(biāo)跟蹤的過(guò)程中，目標(biāo)在不同場(chǎng)景條件下，目標(biāo)內(nèi)部的局部圖像塊對(duì)于跟蹤結(jié)果表達(dá)的貢獻(xiàn)度不同，于是本文提出了一種基于加權(quán)結(jié)構(gòu)

5、化稀疏表示的多模態(tài)目標(biāo)跟蹤算法。該算法在粒子濾波框架下討論目標(biāo)跟蹤問(wèn)題，在對(duì)目標(biāo)進(jìn)行稀疏表示的同時(shí)，通過(guò)一種特殊的特征提取方式構(gòu)建候選樣本與目標(biāo)模板的局部圖像塊之間、候選樣本集與目標(biāo)模板集之間的多模態(tài)結(jié)構(gòu)化稀疏表示模型，兼顧了目標(biāo)的局部和全局外觀信息。其次，該模型考慮到目標(biāo)遮擋或其他干擾因素的影響，引入了能夠反映局部圖像塊對(duì)于目標(biāo)表達(dá)的重要性的局部圖像塊權(quán)重及其跨模態(tài)一致性約束，為跟蹤目標(biāo)建立了對(duì)于遮擋和形變不敏感的多模態(tài)加權(quán)結(jié)構(gòu)化稀疏