DIBR系統(tǒng)中空洞填充技術(shù)研究.pdf

1、近年來，3D電影因其逼真的立體效果吸引了無數(shù)的粉絲。但是傳統(tǒng)的3D視頻(3D video)制作方法成本高、耗時長，限制了3D電影的普及。而基于深度圖像繪制(depth-image-based rendering, DIBR)的方法可以低成本、快速地得到3D視頻，因而被視為可以用來取代傳統(tǒng)的3D視頻制作的首選方法。但是，通過該方法合成的虛擬視圖(virtual view)中有大量的空洞?？斩船F(xiàn)象嚴重影響了合成視圖(synthesized

2、view)的質(zhì)量，甚至會引發(fā)觀眾的視覺疲勞（visual fatigue）。高質(zhì)量地填充空洞是DIBR技術(shù)中亟待解決的關(guān)鍵問題。
　　本文的研究目的是高質(zhì)量地填充DIBR系統(tǒng)合成視圖中的空洞，促進DIBR技術(shù)在3D視頻制作中的應(yīng)用。
　　論文針對兩路“參考圖像+深度圖”(“reference image+depth map”)的情況，研究了空洞產(chǎn)生的機理，提出了一種修正的不產(chǎn)生空洞的攝像機設(shè)置方法。針對一路“參考圖像+深度圖

3、”的情況，分析了空洞邊緣前景和背景像素的特點，提出了一種基于超像素(superpixel)的空洞填充(hole-filling)算法；為了克服基于超像素的空洞填充（hole-filling）算法的缺陷，給出了改進的基于圖像修復(image inpainting)的空洞填充算法。
　　論文主要包含以下研究成果：
　?、僭陔p向DIBR技術(shù)(double-sided DIBR technique)的基礎(chǔ)上，提出了一種修正的不產(chǎn)生空

4、洞的攝像機設(shè)置方法。論文通過分析兩種場景中空洞產(chǎn)生的機理，得出如下結(jié)論：在“背景-前景-背景”的場景中，不管攝像機參數(shù)如何設(shè)置，最終得到的虛擬視圖均不含空洞；在“前景-背景-前景”的場景中，通過設(shè)置攝像機基線長度可以讓最終得到的虛擬視圖不含空洞。下一步的研究重點是推導出在非平行攝像機設(shè)置下不產(chǎn)生空洞的攝像機設(shè)置方法。
　?、谟捎诳斩葱枰帽尘跋袼厝ヌ畛洌菊撐奶岢隽艘环N基于超像素的空洞填充算法。該算法首先利用SLIC超像素（SLI

5、C-superpixel）算法分割虛擬視圖，然后提取虛擬視圖的單邊邊緣，并進行優(yōu)先級計算，最后用分割得到的超像素作為最高優(yōu)先級塊的匹配塊(matching patch)去填充空洞。實驗結(jié)果顯示該方法能夠準確的區(qū)分前景和背景，同時對于紋理結(jié)構(gòu)簡單的圖像能夠取得很好的填充結(jié)果，但是對于兩邊都是前景的空洞，該算法會產(chǎn)生偽像(artifacts)。
　?、坩槍诔袼氐目斩刺畛渌惴ǖ娜毕?，本論文提出了一種改進的基于圖像修復的空洞填充算法

6、。該算法首先采用基于視差圖（disparity map）的空洞填充算法來填充空洞兩邊都是前景的空洞，然后采用改進的基于圖像修復的空洞填充算法來填充剩余的空洞，其步驟為：首先設(shè)置標簽來標記圖像邊緣空洞的位置，并提取出空洞的單邊邊緣，然后采用改進的優(yōu)先級計算方法來計算空洞邊緣的優(yōu)先級，最后利用“夾逼(squeeze)”的方法來確定匹配塊的搜索范圍。實驗結(jié)果表明該算法能夠用來填充空洞兩邊都是前景的空洞以及不同零視差設(shè)置(zero-parall