實時三維內(nèi)容生成算法研究與實現(xiàn).pdf

1、三維顯示技術能夠給用戶帶來真實的視覺感受，是當今顯示領域的研究熱點。近幾年來，各大廠商推出了品種繁多的三維顯示設備，從顯示技術的層面上可以分為戴眼鏡式和裸眼式兩種。對于相同的顯示設備而言，三維內(nèi)容的質(zhì)量決定了用戶能否獲得強烈的立體視覺感受。由于三維顯示技術是一種全新的電視技術，傳統(tǒng)的2D片源都無法在三維顯示設備上進行觀看，并且不同類型的顯示設備對三維內(nèi)容的要求也不盡相同。比如戴眼鏡式的立體電視支持兩路拼接的雙目立體片源，而裸眼式的自由立

2、體顯示器則可以支持多視點的立體內(nèi)容。而隨著各類三維顯示設備的普及化，用戶希望能夠看到更加豐富的三維內(nèi)容。而受到錄制設備成本和三維制作技術的限制，三維內(nèi)容的匱乏是當前面臨的最大難題之一。
　　通過視點繪制算法從已有的媒體片源生成所需的三維內(nèi)容可以有效地緩解三維內(nèi)容匱乏的現(xiàn)狀。本文在實驗室現(xiàn)有的立體顯示系統(tǒng)平臺上，重點研究實時的三維內(nèi)容生成算法，從技術路線上可以分為基于稠密深度圖的三維內(nèi)容生成算法，以及基于圖像形交的雙目立體轉(zhuǎn)多視點算

3、法，取得的創(chuàng)新性成果包括:
　　1、為滿足2D轉(zhuǎn)3D內(nèi)容生成的實時需求，本文提出了一種基于稠密深度圖的實時2D轉(zhuǎn)3D算法。該算法利用深度模型、冷暖色信息和圖像關注度信息對參考視點的稠密深度圖進行恢復，并通過后向基于深度圖像的虛擬視點繪制(DIBR)技術繪制出無空洞的虛擬視點圖像，最后將虛擬視點圖像與參考視點圖像拼接得到可用于戴眼鏡式立體顯示器觀看的雙目立體圖像。該算法適用于大多數(shù)的自然場景，能夠得到時域穩(wěn)定且質(zhì)量較好的稠密深度圖，

4、呈現(xiàn)較好的立體效果。經(jīng)過實驗驗證，該算法在圖形處理器(GPU)實現(xiàn)下能夠以32.8fps的速率對全高清分辨率的視頻進行實時轉(zhuǎn)換。同時，本文基于現(xiàn)場可編程門陣列(FPGA)平臺對該算法進行了硬件實現(xiàn)，經(jīng)過實驗驗證能夠以30fps的速率對全高清分辨率的視頻進行實時轉(zhuǎn)換。
　　2、為滿足雙目立體轉(zhuǎn)多視點內(nèi)容生成的實時需求，本文提出了一種基于稠密深度圖的實時雙目立體轉(zhuǎn)多視點算法。該算法利用可變支持窗口的思想，在動態(tài)規(guī)劃算法的框架上對輸入的

5、雙目立體圖像進行立體匹配以獲取稠密深度圖。在虛擬視點繪制部分，該算法采用Shift-Sensor相機模型設計虛擬相機參數(shù)，通過DIBR技術繪制出帶空洞的虛擬視點圖像。對于介于輸入?yún)⒖家朁c之間的虛擬視點圖像，該算法利用左右參考視點中遮擋信息的互補性對虛擬視點圖像進行融合以修復大范圍的空洞，再通過簡單的插值算法填補剩余的細小空洞。在參考視點相機參數(shù)已知的情況下，該算法對于色彩鮮艷、紋理豐富的自然場景可以得到較高質(zhì)量的稠密深度圖，并能夠在輸入

6、的參考視點之間繪制出較高質(zhì)量的虛擬視點圖像。經(jīng)過實驗驗證，該算法在GPU實現(xiàn)下能夠以20.9fps的速率渲染8路分辨率為640×360的虛擬視點視頻。同時，本文基于FPGA平臺對該算法的虛擬視點繪制部分進行了硬件實現(xiàn)，經(jīng)過實驗驗證能夠以30fps的速率輸出全高清分辨率的裸眼3D視頻。
　　3、本文在基于圖像形變的虛擬視點繪制算法框架下，提出了一種基于圖像形變的實時雙目立體轉(zhuǎn)多視點算法。在算法流程上，本文通過兩方面的改進來提升算法的