基于卷積神經(jīng)網(wǎng)絡(luò)的光場(chǎng)圖像深度估計(jì).pdf

1、傳統(tǒng)相機(jī)只能記錄一個(gè)二維的平面，無(wú)法獲取場(chǎng)景深度信息。隨著成像理論的不斷發(fā)展，光場(chǎng)成像技術(shù)應(yīng)運(yùn)而生，光場(chǎng)成像技術(shù)可以獲取立體空間中更豐富的光線信息。利用光場(chǎng)相機(jī)捕捉光線信息獲取場(chǎng)景深度逐漸成為一個(gè)研究熱點(diǎn)，對(duì)三維重建技術(shù)的發(fā)展具有非常重要的意義。
　　近年來(lái)，深度學(xué)習(xí)的發(fā)展非常迅速，在語(yǔ)音識(shí)別、圖像分割、物體檢測(cè)、圖像的超分辨率重建、文本理解等領(lǐng)域都取得了突破性的進(jìn)展。
　　本文將目前應(yīng)用廣泛的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到光場(chǎng)圖像的深

2、度提取中，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的光場(chǎng)圖像深度估計(jì)方法。本文的主要工作及創(chuàng)新如下:
　　(1)數(shù)據(jù)集的構(gòu)建。當(dāng)前已有的公開(kāi)數(shù)據(jù)集樣本數(shù)量較少，且四維光場(chǎng)圖像難以直接在卷積神經(jīng)網(wǎng)絡(luò)中應(yīng)用。我們?cè)谝延袛?shù)據(jù)集的基礎(chǔ)上提出了一種數(shù)據(jù)集構(gòu)建方法。首先將光場(chǎng)圖像轉(zhuǎn)換為極線圖(Epipolar Image，EPI)，將四維光場(chǎng)圖像映射道二維空間中。利用極線圖中直線斜率與場(chǎng)景深度成比例的關(guān)系，提取中心視角圖像中像素點(diǎn)對(duì)應(yīng)的水平方向和垂直方向的

3、EPI塊區(qū)域。去除數(shù)據(jù)集中的無(wú)效數(shù)據(jù)并對(duì)數(shù)據(jù)集進(jìn)行平衡處理，最終構(gòu)建所需的數(shù)據(jù)集。
　　(2)卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練。我們將深度計(jì)算問(wèn)題轉(zhuǎn)化為分類問(wèn)題，已知光場(chǎng)圖像場(chǎng)景深度范圍，通過(guò)定義計(jì)算精度確定分類數(shù)量。我們?cè)诮?jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上提出了一種具有雙子網(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)可以充分學(xué)習(xí)水平方向與垂直方向的EPI塊區(qū)域特征，可以充分利用數(shù)據(jù)集所提供的信息。最后我們使用已經(jīng)構(gòu)建好的數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。