基于達(dá)芬奇平臺(tái)的視頻實(shí)時(shí)融合技術(shù)的研究與實(shí)現(xiàn).pdf

1、視頻融合技術(shù)是指將多個(gè)視覺傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的視頻信息加以綜合，從而豐富視頻信息、增強(qiáng)感知效果的技術(shù)。在低光照、惡劣天氣等環(huán)境條件下，由于紅外傳感器感受和反映的是目標(biāo)和背景向外界輻射能量的差異，故紅外視頻具有觀察距離遠(yuǎn)、觀察“全天候”等優(yōu)點(diǎn)，同時(shí)又具有視頻細(xì)節(jié)不明顯等不足，將其與可見光視頻進(jìn)行融合，能夠?qū)⒖梢姽庖曨l細(xì)節(jié)分辨率高的優(yōu)點(diǎn)融入其中，使得觀察到的視頻細(xì)節(jié)豐富，視覺效果明顯，因此，紅外和可見光的視頻融

2、合技術(shù)在軍事、交通、醫(yī)學(xué)等領(lǐng)域具有廣泛的應(yīng)用，也是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一。視頻融合算法普遍具有數(shù)據(jù)量大，復(fù)雜度高的特點(diǎn)，因而進(jìn)行實(shí)時(shí)處理具有一定的難度，對(duì)處理器的處理能力要求較高。近年來(lái)，數(shù)字信號(hào)處理(DSP)芯片作為高速和實(shí)時(shí)處理的重要載體之一得到了快速的發(fā)展，使得基于DSP的圖像處理系統(tǒng)得到了廣泛應(yīng)用，而嵌入式系統(tǒng)具有功耗低、可靠性好、實(shí)時(shí)性強(qiáng)、性價(jià)比高、可移植性強(qiáng)的優(yōu)點(diǎn)，為紅外和可見光實(shí)時(shí)視頻融合處理的實(shí)現(xiàn)提供了可能。本論文

3、以德州儀器公司出品的內(nèi)部集成了ARM和DSP雙核處理器的TMS320DM6446為研發(fā)平臺(tái)，研究基于DaVinci平臺(tái)的紅外和可見光視頻實(shí)時(shí)融合，主要工作包括：
　　 1．研究了TMS320DM6446ARM端視頻算法包，提出單緩存奇偶幀的方案實(shí)現(xiàn)視頻分幀；
　　 2．研究了紅外和可見光圖像融合預(yù)處理算法，結(jié)合TI的TMS320C64x+DSP圖像視頻處理庫(kù)中直方圖均衡和中值濾波函數(shù)實(shí)現(xiàn)圖像的增強(qiáng)降噪處理，結(jié)合硬件安裝成

4、像特點(diǎn)搭建簡(jiǎn)化的配準(zhǔn)平臺(tái)實(shí)現(xiàn)自適應(yīng)的互相關(guān)法配準(zhǔn)算法；
　　 3．研究了TMS320DM6446DSP端視頻幀處理算法包和Codec Engine，依據(jù)TMS320C64x-DSP的特點(diǎn)，提出基于小波的紅外和可見光的視頻融合方案：首先利用TI IMGLIB庫(kù)中小波垂直和水平變換算法對(duì)視頻幀進(jìn)行實(shí)時(shí)分解，再分別針對(duì)高低頻分量的特點(diǎn)進(jìn)行融合處理，最后合成為輸出視頻幀。
　　 4．將DSP端經(jīng)過(guò)融合處理后的視頻幀傳送到ARM端