復雜環(huán)境中的運動目標檢測、提取與跟蹤研究

1、運動目標檢測、提取,主 講：劉 龍 2024年3月16日,研究現(xiàn)狀,已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。視覺跟蹤問題進行分類 ●攝像機的數(shù)目：單攝像機Vs多攝像機 ●攝像機是否運動：攝像機靜止Vs攝像機運動 ●場景中運動目標的數(shù)目：單運動目標Vs多運動目標 ●場景中運動目標的類型：剛體Vs非剛體 ●傳感器的種類：可見光圖像Vs紅外圖像處理視覺跟蹤問題的兩種思路

2、●自底向上（Bottom-Up，Data-Driven） ●自頂向下（Top-Down，Model-Driven）視覺跟蹤方法分類 ●基于區(qū)域的跟蹤（Region-based tracking） ●基于特征的跟蹤（Feature-based tracking） ●基于變形模板的跟蹤（Deformable-Template-based tracking） ●基于模型的跟蹤（Model-ba

3、sed tracking),技術(shù)路線,由于本文研究具有極強的工程應用背景，因此選擇了自底向上的思路，這種思路對視覺跟蹤的一般處理過程示意圖如下,,,預處理,運動檢測,目標分類,目標跟蹤,,,圖像序列,,,,,技術(shù)路線,本學位論文對其中所涉及的四個環(huán)節(jié)，即圖像預處理、目標檢測、目標分類和目標跟蹤進行了研究。主要的創(chuàng)新之處包括以下四個方面。圖像預處理--消噪算法及推廣算法 目標檢測--PIC算法及PICM算

4、法目標分類--FFA Snake算法,返回目錄,運動目標檢測,問題的提出相關(guān)工作基于像素灰度歸類的背景重構(gòu)算法(Pixel Intensity Classification, PIC )基于像素灰度歸類與修補的背景重構(gòu)算法(Pixel Intensity Classification and Mend, PICM）小結(jié),問題的提出,在視頻監(jiān)視系統(tǒng)中，運動目標的檢測與分割是個非常重要的問題，尤其在復雜環(huán)境中對運動目標進行檢測

5、時，由于受到環(huán)境噪聲的影響，往往很難檢測到完整的或者真實的運動目標。運動檢測的方法很多，這些方法可以分為三類：基于光流的運動檢測?；谙噜弾瑘D像差分的運動檢測?；诒尘安畹倪\動檢測。,問題的提出,由于背景差方法的優(yōu)越性，選擇該方法作為研究的對象，但是該方法的難點在于如何在背景不斷變化的情況下構(gòu)造出隨之變化的背景圖像以避免運動目標的誤檢測。,相關(guān)工作,一種經(jīng)典的方法是時間平均法，即對一段時間中的圖像序列求和再平均，獲得一幀近似的背景

6、圖像，但是這種方法容易將前景運動目標混入背景圖像當中，產(chǎn)生混合現(xiàn)象。,相關(guān)工作,近年來關(guān)于背景圖像的自適應更新，主要有兩大類方法，第一類方法建立背景模型，并采用自適應方法對模型參數(shù)進行調(diào)整，從而獲得新的背景圖像，這類方法通常假定在模型初始化階段，背景圖像中不含運動前景，但這種假設(shè)在實際的公共場合很難滿足；其次，運動前景很容易混入到背景圖像中，產(chǎn)生混合現(xiàn)象。,相關(guān)工作,第二類方法是從過去的一組觀測圖像當中按照一定的假設(shè)選擇像素灰度構(gòu)成當前

7、的背景圖像，這類方法的優(yōu)點在于背景的初始化與場景中是否存在運動的前景無關(guān)，同時能夠有效避免混合現(xiàn)象。但是，由于這類方法是從過去的一段圖像序列中重構(gòu)背景圖像，因此不如第一類方法能夠適應迅速的場景變化，而是產(chǎn)生一定的時間延遲，但這個問題對于長時間圖像監(jiān)視和跟蹤系統(tǒng)的影響不大。本文的背景重構(gòu)算法屬于第二類方法。,基于像素灰度歸類的背景重構(gòu)算法,首先選擇假設(shè)。第二類方法所采用的背景假設(shè)主要有：在一段圖像序列中，像素點處于穩(wěn)定狀態(tài)最長 的灰度

8、值是背景像素灰度值。背景至少在50%的時間內(nèi)可以被觀測到。背景在圖像序列中總是最經(jīng)常被觀測到的。上述假設(shè)中，最后一種假設(shè)相比而言更為合理。。,基于像素灰度歸類的背景重構(gòu)算法,算法步驟：步驟1：劃分像素點的灰度平穩(wěn)區(qū)間；步驟2：分別計算各灰度平穩(wěn)區(qū)間的平均灰度值；步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計該區(qū)間像素點出現(xiàn)的頻率；步驟4：選擇頻率最大的灰度值作為該像素點的背景灰度值。,基于像素灰度

9、歸類的背景重構(gòu)算法,步驟1：劃分像素點的灰度平穩(wěn)區(qū)間；已知圖像序列 ，從中等間隔抽取N +1幀圖像。 表示在這N +1幀圖像中的第i幀( i = 0,1,2,…, N )像素點(x,y)處的灰度值。則存在下式 , 和 灰度值不一致，不屬于同一灰度平穩(wěn)區(qū)間； ，

10、 和 灰度值一致，屬于同一灰度平穩(wěn)區(qū)間。,基于像素灰度歸類的背景重構(gòu)算法,步驟2：分別計算各灰度平穩(wěn)區(qū)間的平均灰度值； 第s個灰度平穩(wěn)區(qū)間的平均灰度值為 由上式可得灰度平穩(wěn)區(qū)間的平均灰度值。,基于像素灰度歸類的背景重構(gòu)算法,步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計該區(qū)間像素點出現(xiàn)的頻率；比較所得灰度平穩(wěn)區(qū)間的平均灰度值，選出灰度值一致的

11、全部區(qū)間并合并，如果有則第i個區(qū)間和第j區(qū)間為灰度值一致區(qū)間,其平均灰度值為,基于像素灰度歸類的背景重構(gòu)算法,步驟4：選擇頻率最大的灰度值作為該像素點的背景灰度值。將灰度值一致區(qū)間中最大像素數(shù)與所對應的平均灰度值分別記為 和 ，有下式即像素點(x,y)所對應的背景像素點的灰度值為,基于像素灰度歸類的背景重構(gòu)算法,實驗結(jié)果一：,,基于像素灰度歸類的背景重

12、構(gòu)算法,實驗結(jié)果二：,,基于像素灰度歸類與修補的背景重構(gòu)算法,基于像素灰度歸類的背景重構(gòu)算法存在的問題。 在圖像序列分析中，如果背景像素的出現(xiàn)滿足假設(shè)條件，即背景在圖像序列中總是最經(jīng)常被觀測到的，則利用PIC算法可以獲得非常滿意的重構(gòu)背景。但是在很多情況下，這種假設(shè)條件并不滿足。,基于像素灰度歸類與修補的背景重構(gòu)算法,例如在高速公路上，如果車輛較多時，道路在大多數(shù)情況下總是被遮擋的。,,基于像素灰度歸類與修補的背景重構(gòu)算法,基于像

13、素灰度歸類與修補的背景重構(gòu)算法的算法思路： PICM算法首先確定出利用PIC算法得到的重構(gòu)背景中的錯誤區(qū)域，然后按照一定的規(guī)則對錯誤區(qū)域進行修補，最終得到正確的重構(gòu)背景。 即算法分為三步： 步驟1：利用PIC算法得到重構(gòu)的初始背景； 步驟2：確定初始背景中的錯誤區(qū)域； 步驟3：修補錯誤區(qū)域，獲得正確的重構(gòu)背景。,基于像素灰度歸類與修補的背景重構(gòu)算法,步驟2：確定背景中的錯誤區(qū)域； 初始背景中的錯誤區(qū)域通常

14、是由該區(qū)域運動目標的遮擋所造成的，盡管這些錯誤區(qū)域所對應的真實背景在實際圖像序列中出現(xiàn)的頻率并不是最高的，但仍會以一定的頻率出現(xiàn)。因此，如果將該圖像序列與初始重構(gòu)背景相減，那么錯誤區(qū)域所對應像素點的灰度值總是會以一個比較高的比例顯示為變化的。,基于像素灰度歸類與修補的背景重構(gòu)算法,由步驟2得到的實驗結(jié)果,,基于像素灰度歸類與修補的背景重構(gòu)算法,步驟3：修補錯誤區(qū)域，獲得正確的重構(gòu)背景。 這一步的工作是在區(qū)域一致性假設(shè)的前提下進行的

15、。所謂區(qū)域一致性假設(shè)是指，如果在背景的一個區(qū)域中，像素灰度值是大面積均勻的，則稱該區(qū)域為均勻區(qū)域，在均勻區(qū)域中不會出現(xiàn)像素灰度值突變的區(qū)域，這種假設(shè)非常符合背景中含有道路、廣場和天空等均勻區(qū)域的情況。 然后選擇錯誤區(qū)域周邊的像素灰度值作為標準灰度值,在錯誤區(qū)域所對應的像素點上選出與標準灰度值最接近的灰度值作為該點背景像素的灰度值，從而獲得正確的重構(gòu)背景，即最終背景。,基于像素灰度歸類與修補的背景重構(gòu)算法,由步驟3得到的實驗結(jié)果,,基

16、于像素灰度歸類與修補的背景重構(gòu)算法,實驗結(jié)果一：,,基于像素灰度歸類與修補的背景重構(gòu)算法,實驗結(jié)果二：,,小結(jié),針對復雜環(huán)境中的運動目標檢測問題，本章首先提出了一種基于像素灰度歸類的背景重構(gòu)算法(PIC)，該算法無須對場景中的背景和目標建立模型，能夠直接從含有前景運動目標的場景圖像中重構(gòu)背景，有效的避免了混合現(xiàn)象。同時PIC算法只需要對一個物理意義明確的參數(shù)進行調(diào)節(jié)，在參數(shù)變化的很大范圍內(nèi)都可以得到滿意的結(jié)果。通過對實際圖像序列的處理表

17、明，PIC算法能夠很好的進行背景重構(gòu)。,小結(jié),但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像序列中的前提下的，若不滿足這種假設(shè)則不能正確重構(gòu)背景。因此本章又提出基于像素灰度歸類和修補的背景重構(gòu)算法(PICM)，該算法重構(gòu)出初始背景之后，檢測初始背景中的錯誤區(qū)域并對其進行修補，最終獲得正確的重構(gòu)背景，從而有效克服了當不滿足初始假設(shè)條件時背景圖像的錯誤重構(gòu)問題。通過對實際圖像序列的處理表明，PICM算法能夠準確地進行背景重構(gòu)，從而正確

18、完整地檢測和分割出運動的前景目標。,返回目錄,基于力場分析Snake的運動目標提取,問題的提出主動輪廓模型的數(shù)學基礎(chǔ)基于力場分析的主動輪廓模型實驗結(jié)果與比較小結(jié),問題的提出,在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測到運動目標之后，應當將運動目標提取出來，以便獲取運動目標的相關(guān)信息，從而進行更進一步的處理。 運動目標的提取問題屬于圖像分割范疇。在眾多的圖像分割方法中，主動輪廓模型(Active Contour Models) 近些年受

19、到廣泛關(guān)注。主動輪廓模型又稱為Snake模型。本章主要利用Snake模型實現(xiàn)對運動目標完整和有意義地提取。,問題的提出,傳統(tǒng)Snake模型存在以下嚴重缺點：初始輪廓必須靠近感興趣圖像的真實邊緣，否則就會得到錯誤的結(jié)果。不能進入感興趣圖像的深凹部分。參數(shù)主動輪廓模型具有非凸性，曲線能量最小時有可能是局部極小點。,問題的提出,針對這些缺點已經(jīng)提出了許多改進算法，主要有主動輪廓線的氣球模型。距離勢能模型。GVF Snake（Gra

20、dient Vector Flow Snake）。 但上述算法在解決傳統(tǒng)Snake模型其中一個或兩個缺點的同時又會產(chǎn)生新的問題。為此，經(jīng)過研究提出一種基于力場分析的主動輪廓模型(Force Field Analysis Snake)，稱為FFA Snake。,主動輪廓模型的數(shù)學基礎(chǔ),主動輪廓模型分為兩大類：一類是參數(shù)主動輪廓模型（Parametric Active Contour Model）另一類是幾何主動輪廓模型（

21、Geometric Active Contour Model）,主動輪廓模型的數(shù)學基礎(chǔ),參數(shù)主動輪廓模型傳統(tǒng)的參數(shù)Snake模型是一條曲線v(s)=[x(s), y(s)], s [0,1],這條曲線在圖象的空間域中移動的能量最小化函數(shù)為其中， 稱為內(nèi)部能量函數(shù)，用來平滑Snake曲線。 稱為外部能量函數(shù)，用來推動或牽引Snake向圖象中感興趣特征移動。,主動輪廓模型的數(shù)學基礎(chǔ),幾何主動輪廓模型幾何主動輪廓模型是

22、建立在曲線演化理論(Curve Evolution Theory)基礎(chǔ)上利用水平集(Level Set)方法來實現(xiàn)的。在水平集方法中，曲線 被看作是高一維水平集函數(shù) 的零水平集，定義 值是點 在時刻 時到曲線 的最短距離，則曲線 由下式表示,基于力場分析的主動輪廓模型,FFA Snake的算法思路算法步驟真輪廓點的判定假輪

23、廓點已更新輪廓,基于力場分析的主動輪廓模型,FFA Snake的算法思路傳統(tǒng)Snake方法所得結(jié)果示意圖,(a)Snake的收縮過程使用(b)距離勢能力場，(c)在接近邊緣凹槽處的力場分布細節(jié)示意,,,,基于力場分析的主動輪廓模型,FFA Snake的算法思路FFA Snake的算法思路示意圖,,,基于力場分析的主動輪廓模型,FFA Snake的算法思路要實現(xiàn)上述思想，主要解決兩個問題：1）如何判斷預更新輪廓中的真輪廓點和假輪

24、廓點？也就是說，在上圖中如何確定假輪廓ACB。2）如何確定已更新輪廓？實際上，這個問題要解決的是如何確定上圖中的對應輪廓點D，因為知道了點D就可以將點C直接拖向點D，從而也就確定了已更新輪廓ADB。,基于力場分析的主動輪廓模型,FFA Snake的算法步驟步驟1：對輸入圖像進行邊緣檢測，求取邊緣圖像；步驟2：對邊緣圖像求基于歐氏距離變換的距離勢能力場作為外部力場；步驟3：在外部力場上設(shè)定Snake的初始輪廓，進行Snake變形，

25、得預更新輪廓；步驟4：判斷預更新輪廓中有無假輪廓，若有轉(zhuǎn)步驟5，若無轉(zhuǎn)步驟7；步驟5：搜尋所有假輪廓的對應輪廓點；步驟6：將預更新輪廓中的假輪廓拉向其對應輪廓點，得到已更新輪廓，以此已更新輪廓作為Snake的初始輪廓，轉(zhuǎn)步驟3；步驟7：預更新輪廓為最終感興趣圖像的真實輪廓，算法結(jié)束。,基于力場分析的主動輪廓模型,真輪廓點的判定 通過觀察發(fā)現(xiàn)，真輪廓點的力場分布具有極強的規(guī)律性，假輪廓點的力場分布卻沒有規(guī)律可言。因此，只要歸

26、納出真輪廓點8-連接域中力場分布規(guī)律，從預更新輪廓中將符合這些規(guī)律的輪廓點去掉，剩下的輪廓點就是假輪廓點，也就確定出了假輪廓。 通過對大量真輪廓點8-連接域中力場分布規(guī)律的總結(jié)，一共歸納出了六類真輪廓點，分別是正規(guī)輪廓點、16對輪廓點、斷點、中心輪廓點、零點以及特殊輪廓點。,基于力場分析的主動輪廓模型,真輪廓點的判定真輪廓點的力場分布具有極強的規(guī)律性。,基于力場分析的主動輪廓模型,真輪廓點的判定正規(guī)輪廓點,基于力場分析的主動輪廓

27、模型,真輪廓點的判定16對輪廓點,基于力場分析的主動輪廓模型,真輪廓點的判定斷點,基于力場分析的主動輪廓模型,真輪廓點的判定中心輪廓點、零點以及特殊輪廓點,基于力場分析的主動輪廓模型,假輪廓點,基于力場分析的主動輪廓模型,已更新輪廓點 將預更新輪廓中的假輪廓點用對應輪廓點代替。更換后得到的新輪廓就是已更新輪廓。,實驗結(jié)果與比較,進入感興趣圖像的深凹部分克服局部極小點實際圖像的結(jié)果運行時間比較,,實驗結(jié)果與比較,進入感興