基于遠(yuǎn)距離高精度的立體視覺障礙物檢測系統(tǒng) 外文翻譯

1、<p>　　基于遠(yuǎn)距離高精度的立體視覺障礙物檢測系統(tǒng)</p><p>　　教授：Sergiu Nedevschi, Radu Danescu, Dan Frentiu, Tiberiu Marita,Florin Oniga, Ciprian Pocol 克盧日-納波卡科技大學(xué)計(jì)算機(jī)科學(xué)系；</p><p>　　sergiu.nedevschi@cs.utcluj.ro</

2、p><p>　　博士：Rolf Schmidt，Thorsten Graf 大眾汽車集團(tuán)電子研究小組</p><p>　　rolf4.schmidt@volkswagen.de</p><p>　　thorsten.graf@volkswagen.de</p><p>　　本文介紹了一種高精度立體視覺系統(tǒng)的障礙檢測方法以及從公路到城市，車輛在各種

3、交通場景中對于環(huán)境的感知能力。系統(tǒng)可以檢測所有類型的障礙，甚至是高距離一個(gè)長方體在三維坐標(biāo)中的位置、大小和速度會作為一個(gè)列表被輸出來用于檢測。</p><p><b>　　動力部分</b></p><p>　　由于人的欲望驅(qū)使，交通的密度和流量不斷增長，車輛行駛也越來越復(fù)雜，那么現(xiàn)代信息社會就需要探索新的解決方法。在過去的30年中歐洲的車輛行駛也雙倍增加，從每天的17

4、公里到每天35公里，車隊(duì)也增加甚至達(dá)到四倍之多[14]。共同的目標(biāo)是使所有道路使用者的行車安全系數(shù)增加，即使受傷人數(shù)每年減少50%（德國，1980到2000）[15]。這種被動的安全措施在過去的扮演一個(gè)主要角色。在未來有源系統(tǒng)所謂的先進(jìn)駕駛輔助系統(tǒng)（ADAS）將變得越來越重要，并且對于車輛來說它也會作為一個(gè)主要電子創(chuàng)新部分而被應(yīng)用[16]。</p><p>　　2、先進(jìn)駕駛輔助系統(tǒng)</p><

5、p>　　ADAS將不僅提高駕駛的舒適性和安全性，交通流通也隨之提高。現(xiàn)在已經(jīng)有主動系統(tǒng)可用于許多汽車，如ABS（防鎖制動系統(tǒng)），ESP（電子穩(wěn)定程序）或BA（制動輔助）。而且ACC（自主巡航控制）可提高駕駛舒適性并且在不久的將來會被應(yīng)用于大量的汽車之上。</p><p>　　通過調(diào)查研究主要國家和國際的研究活動，指出了目前的研發(fā)三種趨勢：</p><p>　　在單一的場景中用舒適性來

6、簡化驅(qū)動任務(wù)，即ACC。</p><p>　　報(bào)警功能在關(guān)鍵時(shí)刻警告駕駛者，即航道偏離報(bào)警。</p><p>　　安全功能以減少避免碰撞，即緊急制動。</p><p>　　車輛和駕駛環(huán)境之間的關(guān)系越來越受到關(guān)注。首先它包括通過一些傳感系統(tǒng)來驅(qū)動環(huán)境檢測和說明，必要的環(huán)境抽象層是由ADAS應(yīng)用自身決定的：一個(gè)簡單的縱向控制任務(wù)只需要測量目標(biāo)的推進(jìn)速度。然而在更復(fù)雜的駕

7、駛環(huán)境下，警告和安全功能需要明確潛在障礙物的尺寸。在像擁擠的高速公路或者城區(qū)內(nèi)這樣的復(fù)雜環(huán)境中，需要更來自立體視覺傳感器更豐富的傳感信息。</p><p>　　通過圖像處理的障礙物檢測主要根據(jù)兩個(gè)主要趨勢：基于單相機(jī)檢測和兩個(gè)（或者更多）相機(jī)檢測，單眼方法運(yùn)用對象模型擬合技術(shù)，顏色分割或者紋理和對稱軸特征檢測。三維特征測量是在檢測階段完成后才進(jìn)行的，它經(jīng)常是通過對象（如尺寸）的知識結(jié)合來表現(xiàn)，道路特征的假設(shè)和校準(zhǔn)

8、相機(jī)的參數(shù)的知識?；诹Ⅲw視覺的方法有直接估計(jì)圖像三維坐標(biāo)的優(yōu)點(diǎn)，這個(gè)圖像是由一個(gè)點(diǎn)到一個(gè)復(fù)雜結(jié)構(gòu)的東西，三維視覺包括從左到右尋找信息。信息的尋找很困難，費(fèi)時(shí)這是不可避免的，障礙物檢測涉及立體視覺，為了對一些經(jīng)典問題進(jìn)行簡化并且得到實(shí)時(shí)的效果可以采用不同的方法。例如，利用立體視覺只是測量對象的距離，這個(gè)對象已經(jīng)完成單目圖像檢測，檢測障礙點(diǎn)是立體視差與道路視差的比較。檢測障礙的特征有兩個(gè)相關(guān)過程，一個(gè)是在垂直表面特征的假設(shè)之下，另一個(gè)是在

9、水平表面的假設(shè)下，并且比較每種情況下的匹配質(zhì)量。立體視覺系統(tǒng)根本不用搜索信息，二十用扭曲圖像來代替，然后執(zhí)行減法操作。</p><p>　　我們的方法執(zhí)行的是一個(gè)3D可是場景重建，唯一的限制是重建點(diǎn)必須位于垂直或者傾斜的的邊緣，得到的三維點(diǎn)列表分為僅基于密度和附近標(biāo)準(zhǔn)的對象，在這種方式中，該系統(tǒng)可以檢測到所有類型的障礙，輸出一個(gè)有3D位置和大小長方體列表，沒必要做出任何類型的假設(shè)。如果需要分類技術(shù)可用于區(qū)分，檢測

10、目標(biāo)的檢測可以用多目標(biāo)跟蹤算法檢測速度。</p><p><b>　　3、環(huán)境模型</b></p><p>　　所有的3D 實(shí)體（點(diǎn)，對象）的世界坐標(biāo)系統(tǒng)如圖一所示，這個(gè)地球坐標(biāo)系統(tǒng)實(shí)際上是一個(gè)汽車坐標(biāo)系統(tǒng)，在汽車的前面的地面上是它的原點(diǎn)，我們的行駛方向是它的Z軸，最后的屬性是確保準(zhǔn)確校準(zhǔn)相機(jī)時(shí)間</p><p><b>　　圖一 地

11、球坐標(biāo)系統(tǒng)</b></p><p>　　圖二所示是地球坐標(biāo)系統(tǒng)相機(jī)的左右位置，這一位置完全是由換算矢量TR和TL決定的，旋轉(zhuǎn)矢量RL和RR在相機(jī)和地球坐標(biāo)系統(tǒng)之間，這些參數(shù)是必不可少的立體聲重建過程。</p><p><b>　　圖二 相機(jī)坐標(biāo)系統(tǒng)</b></p><p>　　為了估計(jì)平移向量和旋轉(zhuǎn)矩陣，相機(jī)在固定并安裝在汽車上后再

12、用通用的校準(zhǔn)技術(shù)校準(zhǔn)。對象是長方體，有位置大小和速度，位置（X,Y,Z）和速度(VX,VZ)在中央下部的位置標(biāo)示。</p><p>　　4、3D立體視覺信息提取</p><p>　　立體重建算法主要是基于可供選擇的現(xiàn)有文獻(xiàn)的古典立體視覺原理，找到左右信息的對應(yīng)點(diǎn)，用立體聲校正系統(tǒng)映射到三維世界。</p><p>　　關(guān)心重建點(diǎn)實(shí)時(shí)響應(yīng)和高可信度，為了減少搜索空間和強(qiáng)

13、調(diào)對象的結(jié)構(gòu)，只將左邊圖像的邊緣點(diǎn)和右圖的點(diǎn)關(guān)聯(lián)起來。由于相機(jī)的水平視差，采用基于梯度的垂直邊緣檢測，非極大值抑制和滯后邊緣連接，聚焦圖像邊緣不僅僅是提高響應(yīng)時(shí)間是的相關(guān)任務(wù)也變得容易，因?yàn)檫@些點(diǎn)在非均勻圖像的區(qū)域。</p><p>　　基于面積的相關(guān)性，對于每一個(gè)左邊緣點(diǎn)，右邊圖像被搜索，絕對和差異（SAD）函數(shù)用來衡量相似性，用在（5x5或7x7像素）的區(qū)域，并行處理器的功能是實(shí)現(xiàn)這個(gè)功能，沿外極線從立體幾何

14、計(jì)算開始搜索。運(yùn)用了兩種模式：圖像整改，沿水平線搜索或不整改和沿由幾何系統(tǒng)決定外極線搜索。</p><p>　　為得到低雙率，相關(guān)函數(shù)的強(qiáng)烈反應(yīng)通常是通信者。如果全球最小功能的函數(shù)相對其他地方的函數(shù)還不夠強(qiáng)大。如圖三，第一列是正確的相關(guān)性表現(xiàn)，后兩列是拒絕通信者的模糊相似函數(shù)表現(xiàn)，去掉重復(fù)的圖案只有完整的一對被重建。</p><p>　　為了達(dá)到更好地3D深度解析，將拋物線加到相關(guān)函數(shù)中計(jì)

15、算子像素的信息。</p><p>　　圖三：每一列三個(gè)相關(guān)方案。第一行左邊的圖用“x”標(biāo)明， 第二行右圖的搜索區(qū)域和外極線，第三行相關(guān)函數(shù)（低意外著更匹配）。</p><p>　　拋物線嵌在全局最小值的局部鄰域，得到的準(zhǔn)確性是1/4 至1/6像素。這種精度依賴于圖像質(zhì)量（特別是噪聲水平和對比度），我們的實(shí)驗(yàn)表明3鄰域拋物線工作的比一個(gè)好。</p><p>　　圖四：

16、線性分段近似于5點(diǎn)相關(guān)函數(shù)圖中所示兩條拋物線嵌到3和5鄰域。子像素的位移“d”表示3鄰域拋物線。 </p><p>　　在此步驟下可以找到對應(yīng)信息，每一對左右對應(yīng)點(diǎn)映射到唯一的三維點(diǎn)中，利用相機(jī)幾何形狀追蹤每一對點(diǎn)的3D投影射線。計(jì)算投影射線的交點(diǎn)，3D點(diǎn)的坐標(biāo)就被確定。當(dāng)使用圖像糾正時(shí)，公式就變得簡單，如果是原始圖像用來相關(guān)，公式

17、就變得復(fù)雜。</p><p>　　雖然圖像糾正為通信者和簡單的三維重建提供了一個(gè)簡單的搜索區(qū)域，而一般的圖像沒有糾正，因?yàn)闆]有圖像的重采樣需要更好地分辨率。</p><p>　　5以分組的三維點(diǎn)為對象</p><p>　　在交通對象水平中我們只使用3D點(diǎn)。對象只是包含路面上的物體，路面水平上的點(diǎn)和過高的點(diǎn)都被忽視，過于側(cè)面和太遠(yuǎn)的點(diǎn)也會忽視。剩下的點(diǎn)就是興趣區(qū)（SO

18、I），SOI時(shí)平行六面體，它們和道路平行或在道路之上，假定道路為平面。</p><p>　　在測試駕駛之前校準(zhǔn)相機(jī)的外部參數(shù)，相機(jī)固定在汽車上，這樣相機(jī)跟著汽車移動。汽車和路面的夾角根據(jù)靜態(tài)和動態(tài)因子而改變。汽車的裝載是一個(gè)靜態(tài)因子，加速減速和轉(zhuǎn)向是動態(tài)因子，這也導(dǎo)致汽車相對路面改變其仰俯角和側(cè)滾角，為了獲得這兩個(gè)角度，我們要測量底盤和輪子的距離，因?yàn)檩喿雍吐访娼佑|。四個(gè)傳感器固定在地盤和輪軸之間。測量俯仰和側(cè)滾

19、角，SOIQU區(qū)域可以設(shè)置在路面正上方，SOI的高度包含最高的車輛。對象只能在SOI區(qū)域，不能在其他區(qū)域。在興趣區(qū)的三維點(diǎn)的衛(wèi)星圖上，假定忽視低密度區(qū)域噪聲點(diǎn)，那么，我們可以用高點(diǎn)密度區(qū)分區(qū)域，指定和定位對象。對衛(wèi)圖的3D點(diǎn)進(jìn)行分析以識別圖像，如圖五所示，是一個(gè)視圖顯示。</p><p>　　圖五 左圖像和3D點(diǎn)的衛(wèi)圖</p><p>　　一個(gè)重要的發(fā)現(xiàn)是，3D點(diǎn)隨著距離的增大而減少，為

20、了克服這個(gè)缺點(diǎn)，我們壓縮衛(wèi)圖的空間，在新的空間中局部密度點(diǎn)保持穩(wěn)定。在壓縮空間中忽視對像的距離，則該區(qū)域的對象有相同的點(diǎn)密度。</p><p>　　基于距離的壓縮系數(shù)（Z）: Scale(Z)=f··k</p><p><b>　　[注]：Z—距離</b></p><p><b>　　F—相機(jī)焦距</b>

21、;</p><p>　　K—根據(jù)豐富的三維重建點(diǎn)的電流重建方法，是可以手動選擇的因素，X軸和Z軸的值的K可以是不同的。</p><p>　　K因子的選擇需滿足發(fā)現(xiàn)的對象中的兩個(gè)條件：</p><p>　　—不要把一個(gè)真正的對象分成許多小的物體；</p><p>　　—不將許多實(shí)物統(tǒng)一成一個(gè)更大的物體。</p><p>

22、　　該方程用于找到的位置（行，列）在壓縮的空間，一個(gè)點(diǎn)（x，z）在未壓縮的空間，是：row=log1+k/f；Zmin=SOI低距離限制</p><p>　　col=X·Scale(Z)</p><p>　　圖6中所描繪場景的壓縮空間在圖8中有所顯示。</p><p>　　圖6 壓縮空間和識別的對象</p><p>　　同時(shí)，在圖6

23、中對象被確定為密集區(qū)域。為使物體沿Y軸的極限位置被發(fā)現(xiàn)將目標(biāo)對象用框圖標(biāo)注如圖7所示。</p><p><b>　　6、對象跟蹤</b></p><p>　　目標(biāo)跟蹤是為了獲取更穩(wěn)定的結(jié)果，并沿X軸和Z軸坐標(biāo)分別跟蹤估計(jì)物體的速度，采用簡單的平均電流的簡化方法在最后檢測坐標(biāo)。</p><p>　　目標(biāo)跟蹤的數(shù)學(xué)支持的是線性卡爾曼濾波。該對象的位

24、置被認(rèn)為是一個(gè)以恒定速度統(tǒng)一的運(yùn)動的位置。瞬時(shí)k是狀態(tài)向量X（k）的組成部分，我們試圖通過跟蹤該過程物體在沿X軸和Z軸的速度參數(shù)和位置進(jìn)行評估。</p><p>　　圖7：目標(biāo)圖象的長方體畫透視圖圖像</p><p>　　對象的實(shí)際檢測將形成測量向量，其中只包含了檢測到的對象的坐標(biāo)。</p><p>　　= 其中， X向量是由線性方程表示：=A(k)×X(

25、k-1) （1）</p><p><b>　　在狀態(tài)轉(zhuǎn)移矩陣是</b></p><p>　　一個(gè)單目標(biāo)跟蹤的步驟：</p><p>　　?預(yù)測：通過方程（1）用最后的狀態(tài)向量和過渡矩陣對目標(biāo)對象的新位置的進(jìn)行計(jì)算。預(yù)測Y坐標(biāo)即是最后的Y坐標(biāo)。</p><p>　　?測量方法：圍繞預(yù)測位置（PX，PY，PZ）我

26、們所需目標(biāo)對象分組結(jié)果有以下的預(yù)測距離閾值。方程（2）給出了沿不同的三個(gè)坐標(biāo)軸的權(quán)重位移，計(jì)算其距離并同時(shí)考慮當(dāng)前對象的速度被視為一個(gè)不確定性因素。</p><p><b>　　（2）</b></p><p>　　滿足使用條件的物體被用作形成一個(gè)信封，它的位置是被計(jì)算出來的，并用作測量，同時(shí)，信封的尺寸作為跟蹤對象的當(dāng)前尺寸,通過創(chuàng)建一個(gè)軌道附近物體外的信封對象我們可

27、以分開加入到以前所測量的物體中，只要這些分開的物體具有相同的軌跡，這一合并會變得很高效。這是由對象軌跡關(guān)聯(lián)確保的，當(dāng)然跟蹤爭奪的對象和虛假對象的加盟將不會持續(xù)太久.</p><p>　　?更新：通過卡爾曼濾波器方程，測量和預(yù)測被用于更新狀態(tài)向量X方程，Y坐標(biāo)和對象的大小由平均電流測量和過去測量值跟蹤，如果在當(dāng)前幀中沒有與跟蹤相關(guān)聯(lián)的測量量，這個(gè)預(yù)測會被用于跟蹤系統(tǒng)的輸出，跟蹤被看作經(jīng)過數(shù)軌道沒有測量丟失的量。&l

28、t;/p><p>　　我們必須要確定跟蹤的多個(gè)對象加一點(diǎn)更復(fù)雜的到上面所提出的方法中。確定哪個(gè)測量對象由哪個(gè)軌道跟蹤，或者一個(gè)被檢測的物體開始由一個(gè)新的軌道跟蹤。</p><p>　　檢測到的對象和軌道之間的關(guān)聯(lián)是由方程（2）得到的距離通過使用一種改進(jìn)的最近鄰法得到。每個(gè)對象都是針對每個(gè)軌道相比。對象標(biāo)記的應(yīng)用于最近軌道的數(shù)據(jù)識別，只要有至少一個(gè)軌道具有足夠抵到對象的距離。通過經(jīng)典的最近鄰法的

29、改造，我們引入了一個(gè)“時(shí)代的折扣”的距離比較，并以這種方式我們優(yōu)先考慮更早，更成熟的軌跡。這個(gè)更方便的機(jī)制是由它們先后的逆序排序?qū)崿F(xiàn)軌跡（更早的排列在首位）。如果我們將一個(gè)對象跟蹤和另一個(gè)被標(biāo)簽標(biāo)記的跟蹤物體進(jìn)行對比，我們改變的只有遠(yuǎn)程對象的電流跟蹤集成遠(yuǎn)低于舊軌道減去一個(gè)固定量的距離，這樣的估算大打折扣。</p><p>　　對于每一個(gè)對象不能被指定到一個(gè)現(xiàn)有的軌道實(shí)現(xiàn)一些特定的條件，那么一個(gè)新的跟蹤軌跡就會初

30、始化。一個(gè)新的軌道開始時(shí)是一個(gè)有著合理大小的單一對象。一個(gè)軌道的初始階段并沒有任何對象的加入。這樣就避免初始化跟蹤對噪聲象，從而放大噪聲。如果幀的預(yù)定數(shù)量的關(guān)聯(lián)過程失敗的話軌道就會中止。</p><p>　　對于對象的跟蹤驗(yàn)證過程是建立在目標(biāo)對象的圖像獲取上以確保從一個(gè)對象到另一個(gè)沒有軌道轉(zhuǎn)換。如果是一個(gè)被跟蹤幾幀的目標(biāo)對象，那么它的大小公認(rèn)的是使用一個(gè)對象的圖像在左圖像上的投影（圖8，a），歸一化到20像素的大

31、小和存儲（圖8，b）。在后續(xù)的幀圖像相匹配的一個(gè)40x40象素在跟蹤對象周圍有一個(gè)正常的搜索區(qū)域。如果更多的幀匹配失敗，那么這個(gè)軌跡就是失敗的。</p><p>　?。╝) (b)</p><p>　　圖8： (a)一個(gè)跟蹤對象 (b)歸一化圖像</p><p>　　圖9：用于驗(yàn)證的搜索區(qū)域</p>

32、;<p><b>　　7、結(jié)果</b></p><p>　　該檢測系統(tǒng)已被部署在一個(gè)標(biāo)準(zhǔn)的1GHz奔騰III®個(gè)人計(jì)算機(jī)，并且整個(gè)處理周期小于100毫秒的處理時(shí)間，因此可以做到10幀的檢測率。這使得該系統(tǒng)適用于實(shí)時(shí)應(yīng)用。該系統(tǒng)已在各種交通情況下測試，離線（使用存儲的序列）和在線（星上處理），并在兩種情況下起作用了。覆蓋盡可能多的交通條件測試：城市，如圖10，公路，如圖

33、11所示，或國家的道路（圖12）。在所有情況下的障礙，可靠地檢測和跟蹤以及它們的位置，尺寸和速度測量。檢測證明最大工作范圍約為90米，可靠性范圍在10米—60米。位置測量誤差，自然，高于一個(gè)可以從雷達(dá)系統(tǒng)獲得的，但它是非常低的一個(gè)視覺系統(tǒng)：在10 m內(nèi)小于10厘米的誤差，在45米和95米之間2米左右的誤差，誤差約30CM。</p><p>　　圖10：在城市交通檢測結(jié)果</p><p>　

34、　圖11：公路交通檢測結(jié)果</p><p>　　圖12：鄉(xiāng)村公路上的傳入流量跟蹤</p><p>　　在圖14中展示的是追蹤性能最好的邊緣檢測，在那里的傳入流通量并且其相對速度超過200公里/小時(shí)。然而，傳入的對象能夠正確地追蹤和速度估計(jì)。在這種情況下，我們的車輛以100公里/小時(shí)的速度行駛同時(shí)流通車輛以120公里/小時(shí)的速度行駛。最大速度估計(jì)誤差一般發(fā)生在分隔不是很明顯的道路以外的部分，

35、例如障礙，樹木，灌木等。因此從一幀到另一個(gè)測其運(yùn)動是非常困難的。</p><p><b>　　8、結(jié)論</b></p><p>　　我們提出了一種基于立體視覺的障礙物檢測系統(tǒng)，應(yīng)用于對象物體的邊緣點(diǎn)相對應(yīng)的三維坐標(biāo)的重建，但在交通情況變化較大的時(shí)候這種方法就會受到實(shí)時(shí)約束。該系統(tǒng)適用于車輛對于環(huán)境的感知能力并且在駕駛輔助設(shè)備應(yīng)用里被進(jìn)一步完整化。并且在未來，該系統(tǒng)的功

36、能還可以大大擴(kuò)展。一個(gè)智能的相關(guān)函數(shù)應(yīng)該進(jìn)一步延展，一方面可以消除歧義而不是直接排斥忽略，同時(shí)可以重復(fù)圖樣和重構(gòu)水平邊緣點(diǎn)。由于立體視覺模塊重構(gòu)需要所有視線的特征，這也意味著它重建的也是道路特征，并也因此形成了三維車道檢測算法的基礎(chǔ)。此外，因?yàn)闄z測算法可應(yīng)用于任何類型的目標(biāo)對象的檢測，所以可成為任何類型特定目標(biāo)檢測系統(tǒng)的基礎(chǔ)，如車輛檢測，行人檢測，甚至交通標(biāo)志的檢測。在我們的檢測目標(biāo)對象時(shí)可直接運(yùn)用分類程序，有利于減少搜索空間并可以檢測