基于非參數(shù)多線索融合的單目視頻深度圖估計(jì)研究.pdf

1、隨著三維視頻需求的快速增長，二維視頻的三維轉(zhuǎn)化問題成為計(jì)算機(jī)視覺和多媒體分析新的研究熱點(diǎn)之一。針對大部分已有的視頻轉(zhuǎn)換算法需要恢復(fù)相機(jī)參數(shù)的問題，本文設(shè)計(jì)了一種基于多線索非參數(shù)化融合的單目視頻深度圖提取方法。在非參數(shù)學(xué)習(xí)的基礎(chǔ)上，聯(lián)合圖像輪廓線索、幾何透視線索及幀間空時(shí)相關(guān)性，估計(jì)相對準(zhǔn)確的視頻深度圖序列。
　　本文的主要研究工作和創(chuàng)新如下：
　　1．針對目前的深度圖估計(jì)大多使用單一深度線索且容易出現(xiàn)深度估計(jì)偏差的問題，提出

2、一種基于前景背景融合的單目圖像深度圖估計(jì)方法。其中前景深度層主要反映場景顯著性區(qū)域內(nèi)的深度，其估計(jì)方法是建立在具有相似語義或光學(xué)度量的場景具有相似深度的假設(shè)上；背景深度層反映場景整體的深度分布趨勢，通過分析場景的幾何透視線索獲得。
　　2.針對基于非參數(shù)化學(xué)習(xí)估計(jì)的初始前景深度圖存在邊界模糊、場景結(jié)構(gòu)相對雜亂的問題，提出一種基于圖像分段誘導(dǎo)的初始深度優(yōu)化方法。首先，基于圖模型對原始圖像進(jìn)行過分割，利用其分割結(jié)果劃分圖像場景中的不同

3、物體；接著，在初始前景深度圖中相應(yīng)的各分割區(qū)域內(nèi)，采用均值賦值法優(yōu)化深度值。該方法能將場景中物體邊界及其位置信息有效地嵌入至相應(yīng)深度圖以改善其精度。
　　3.和傳統(tǒng)的基于幾何線索的深度圖估計(jì)不同，本文采用線性透視原理提取背景深度圖。借助語義自動(dòng)成組AGS（Automatic Grouping of Semantics）方法估計(jì)單目圖像中相應(yīng)的消失點(diǎn)，據(jù)此線性地分配背景深度層中的深度信息。背景深度層的幾何線性透視類型有如下五類：上-

4、下透視、左-右透視、右-左透視、左上-右下透視和左下-右上透視。該方法提取的背景深度層能整體反映給定的視覺場景中全局的深度分布趨勢。
　　4.不同于簡單深度圖視頻估計(jì)直接將各幀深度圖拼接成視頻深度圖序列，本文采取聯(lián)合幀間空時(shí)關(guān)系的單目視頻序列深度圖估計(jì)。在單幅圖像深度圖估計(jì)基礎(chǔ)上，引入時(shí)間相關(guān)性和運(yùn)動(dòng)約束項(xiàng)，共同構(gòu)成視頻深度學(xué)習(xí)的非參數(shù)模型。該方法能有效提升視頻深度圖估計(jì)中幀間深度連續(xù)性，抑制單目視頻序列中運(yùn)動(dòng)物體的深度偏差。