基于RGB-D信息的深度圖像增強關鍵技術研究.pdf

1、增強現(xiàn)實技術(Augmented Reality)旨在將計算機生成的虛擬景象或信息與現(xiàn)實世界融為一體，使得虛擬景象與現(xiàn)實世界的融合在幾何、光照和動態(tài)上具備合理性。然而，在增強現(xiàn)實技術領域中，對現(xiàn)實世界的感知需要具備很高的精度，從而成為一個極為復雜的問題，如場景重建、興趣物體的識別、動態(tài)前景遮擋處理等，往往需要采用計算機視覺技術來解決。但是，計算機視覺一般采用2D圖像進行計算，常常是病態(tài)求解問題，其長期受困于算法的魯棒性和穩(wěn)定性。隨著RG

2、B-D傳感器技術的發(fā)展，如RGB-ToF設備和Kinect等，使得實時獲得場景的深度信息成為可能。深度信息的獲取技術產(chǎn)生了新的維度，從而極大地緩解了計算機視覺問題的病態(tài)性。一般而言，彩色圖像分辨率很高，圖像完整，且受噪聲影響較小。然而，目前深度傳感器采集的深度圖像存在缺陷，其往往包含嚴重的噪聲，深度圖像分辨率往往較低，導致場景深度精度不高，并存在局部深度信息缺失的現(xiàn)象。受此影響，不僅難以有效利用深度信息，也難以與對應的彩色信息準確配準，

3、抵消了與深度圖同時捕獲的彩色圖像優(yōu)勢。這些缺陷嚴重限制了深度信息在增強現(xiàn)實領域的應用，使得深度信息增強成為急需解決的問題。
　　本文對基于RGB-D信息的深度圖像增強問題進行了深入研究。首先，研究了基于RGB-D傳感器采集的深度圖像逐像素置信度估計問題;其次，研究了RGB-D傳感器采集的場景或物體的彩色和深度圖像配準問題;第三，研究了深度圖像的超分辨率問題。
　　本文的主要貢獻如下:
　　1.提出了一種RGB-D傳感器

4、(如Kinect)所采集的深度圖像逐像素置信度估計算法，以輔助解決深度數(shù)據(jù)濾波及三維重建等問題，提高重建精度和完整性?，F(xiàn)有的深度圖像置信度估計算法均需輔助的高精度激光掃描設備的支持，其價格昂貴，且采集的深度信息需與RGB-D傳感器采集的深度信息進行配準，這極大地限制了此類方法的應用。本文提出了一種基于自身訓練的逐像素深度圖像置信度估計方法，消除了對高精度激光掃描設備的依賴。本文使用RGB-D傳感器在固定視角下采集場景或物體的多幀深度圖像

5、，并計算其平均深度圖像和方差深度圖像。方差深度圖像可反映深度信息采集過程中的穩(wěn)定性，于是可以使用sigmoid函數(shù)將深度方差轉(zhuǎn)換為置信度。與此同時，在RGB-D傳感器采集的彩色和深度圖像中提取可以反映置信度的特征，通過隨機森林方法訓練，進而逐像素預測深度圖像的置信度。實驗結果證明了方法的有效性。
　　2.提出了一種基于RGB-D傳感器的彩色和深度圖像配準算法。彩色和深度圖像配準是使用RGB-D信息的一個基本和必須的步驟。傳統(tǒng)的方法

6、使用黑白棋盤格，通過提取的角點進行相機標定。然而，由于深度相機的成像原理不同，現(xiàn)有方法無法在深度圖像中準確地提取角點。因此，本文使用規(guī)則鏤空的平面校正板代替?zhèn)鹘y(tǒng)黑白棋盤格，提出了針對RGB-D傳感器的深度圖像角點提取算法。規(guī)則鏤空的平面校正板提供的規(guī)則性約束可以有效消除噪聲的影響，保證提取的角點的準確性和穩(wěn)定性，獲得準確的深度相機標定參數(shù)。另外，對RGB-D傳感器中深度相機存在的系統(tǒng)性偏移進行建模，并將其應用于配準模型中，進一步提升了R

7、GB-D傳感器的彩色和深度圖像的配準精度。本文提出的算法需要較少的用戶交互，且算法復雜度較低，時耗較小。實驗結果證明了方法的精確性和有效性。
　　3.提出了兩種基于卷積神經(jīng)網(wǎng)絡的深度圖像超分辨率方法，包括漸進式卷積神經(jīng)網(wǎng)絡算法和基于視點合成的深度監(jiān)督卷積神經(jīng)網(wǎng)絡方法。漸進式卷積神經(jīng)網(wǎng)絡算法，通過卷積神經(jīng)網(wǎng)絡訓練單元逐漸恢復高分辨率深度圖像的高頻信息;同時，使用彩色圖像和深度圖像的局部一致性約束和深度圖像統(tǒng)計信息約束進一步優(yōu)化網(wǎng)絡訓