基于機(jī)器學(xué)習(xí)的立體視頻視覺(jué)顯著模型研究.pdf

1、圖像視覺(jué)顯著度的研究一直以來(lái)都是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究課題。研究圖像視覺(jué)顯著度不僅可以幫助人們理解人類的視覺(jué)注意機(jī)制，而且在圖像裁剪、視頻壓縮以及圖像的伸縮變換等方向具有遠(yuǎn)大的應(yīng)用前景。經(jīng)過(guò)多年的努力，研究者在二維圖像的視覺(jué)顯著度研究中已經(jīng)獲得了許多重要的成果。然而隨著立體影像制作、播放技術(shù)的快速發(fā)展，視覺(jué)顯著度研究迎來(lái)了新的挑戰(zhàn)。因?yàn)榱Ⅲw影像引入的深度感知會(huì)影響人們的視覺(jué)注意，進(jìn)而影響圖像的視覺(jué)顯著度。
　　一直以來(lái)研究者

2、都在努力構(gòu)建一個(gè)能夠準(zhǔn)確預(yù)測(cè)圖像視覺(jué)顯著度的模型。特征綜合、引導(dǎo)搜索等認(rèn)知理論表明構(gòu)建一個(gè)優(yōu)秀的視覺(jué)顯著度模型關(guān)鍵在于特征選取和特征融合這兩個(gè)方面。本文也從這兩個(gè)方面出發(fā)，努力構(gòu)建一個(gè)能夠盡可能準(zhǔn)確預(yù)測(cè)立體視頻顯著度的模型。在提取特征時(shí)本文依據(jù)人類的視覺(jué)注意機(jī)制提取了立體視頻幀的DCT變換特征、Itti三通道特征、子帶特征、顏色空間特征、深度、運(yùn)動(dòng)、中心偏向等全局顯著特征以及使用卷積神經(jīng)網(wǎng)絡(luò)獲取了局部顯著特征。對(duì)以上特征經(jīng)過(guò)分析、對(duì)比和

3、實(shí)驗(yàn)，針對(duì)不同的特征融合方法選用了不同的顯著特征組合。然后分別采用支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多特征融合。其中在使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征融合時(shí)，針對(duì)本文選用的顯著特征組合，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的一般性架構(gòu)進(jìn)行了優(yōu)化，去除了下采樣層，使其學(xué)習(xí)效率和學(xué)習(xí)效果得到了提升。
　　最后將本文提出的模型與其它數(shù)個(gè)立體視覺(jué)顯著度模型采用顯著圖直觀評(píng)價(jià)、ROC和P-R曲線、AUC、F-measure、PLCC和KLD等多種評(píng)估方法進(jìn)行對(duì)比評(píng)估。同時(shí)分析