基于深層結(jié)構(gòu)的圖像內(nèi)容分析及其應(yīng)用.pdf

1、賦予計(jì)算機(jī)以人類視覺能力的長(zhǎng)期夢(mèng)想,加上近年來圖像數(shù)據(jù)爆炸式增長(zhǎng)帶來的圖像管理、檢索等相關(guān)應(yīng)用的迫切需求,使得圖像內(nèi)容分析成為了視覺研究的熱門課題。圖像特征是進(jìn)行圖像內(nèi)容分析的基礎(chǔ),本質(zhì)上圖像特征是對(duì)圖像中某些結(jié)構(gòu)表觀特性的總結(jié),如顏色直方圖是對(duì)像素顏色特征的總結(jié),詞袋模型是對(duì)圖像塊局部紋理特征的總結(jié)。然而圖像中結(jié)構(gòu)的總數(shù)極其龐大,如何從中選擇一個(gè)有效子集提取圖像特征是圖像內(nèi)容分析研究的重點(diǎn)。現(xiàn)階段的圖像特征主要基于圖像中的淺層結(jié)構(gòu)（像

2、素、角點(diǎn)、斑點(diǎn)等）進(jìn)行提取,淺層結(jié)構(gòu)變化范圍有限,一般可以利用人工制定規(guī)則的方法進(jìn)行檢測(cè),但與語義信息關(guān)聯(lián)較弱,這也造成了基于淺層結(jié)構(gòu)的圖像特征和高層語義概念之間的語義鴻溝問題。相對(duì)于淺層結(jié)構(gòu)的深層結(jié)構(gòu)一般是帶有較強(qiáng)語義的局部圖像區(qū)域（如人臉、車輪、馬腿等）,便于在語義層面進(jìn)行圖像內(nèi)容分析。但深層結(jié)構(gòu)存在著復(fù)雜的內(nèi)在變化,一般無法通過人工制定規(guī)則的方法進(jìn)行檢測(cè),往往需要借助于大量精細(xì)標(biāo)注的訓(xùn)練數(shù)據(jù)學(xué)習(xí)深層結(jié)構(gòu)模型進(jìn)行檢測(cè),而直接通過人工

3、標(biāo)注這類數(shù)據(jù)極其耗時(shí)耗力,限制了其在實(shí)際中的應(yīng)用。本文針對(duì)在少量監(jiān)督信息情況下學(xué)習(xí)深層結(jié)構(gòu)模型的問題提出了一些初步的解決方法,并基于提取的深層結(jié)構(gòu)進(jìn)行圖像內(nèi)容分析,在相關(guān)具體應(yīng)用中驗(yàn)證了其有效性。本文的主要工作歸納如下:
　　 1.利用某些類別之間存在著相似深層結(jié)構(gòu)的事實(shí),提出了一種增量式深層結(jié)構(gòu)模型學(xué)習(xí)算法。在學(xué)習(xí)新類別的深層結(jié)構(gòu)模型時(shí),借助于一些已有類別的深層結(jié)構(gòu)模型作為輔助信息,在少量訓(xùn)練樣本情況下學(xué)得該類別的深層結(jié)構(gòu)模型

4、。
　　 2.基于社交網(wǎng)站上用戶提供的帶標(biāo)簽的圖像集,提出了一種惰性多示例學(xué)習(xí)算法進(jìn)行深層結(jié)構(gòu)提取。該算法將圖像的標(biāo)簽傳遞到深層結(jié)構(gòu),并根據(jù)每個(gè)標(biāo)簽所對(duì)應(yīng)深層結(jié)構(gòu)的視覺屬性來詳細(xì)化該標(biāo)簽的描述,從而生成圖像更詳細(xì)的描述。
　　 3.提出了一種語義特征點(diǎn)檢測(cè)器直接檢測(cè)圖像中語義表征力強(qiáng)的圖像塊,語義特征點(diǎn)檢測(cè)器本質(zhì)上是對(duì)圖像塊按語義強(qiáng)弱進(jìn)行劃分的分類器。為了解決直接按語義強(qiáng)弱標(biāo)注大量圖像塊的困難,提出了一種基于弱監(jiān)督信息的

5、學(xué)習(xí)算法獲取大量類別的強(qiáng)語義圖像塊,并根據(jù)這些強(qiáng)語義圖像塊對(duì)圖像塊空間中語義區(qū)域進(jìn)行劃分產(chǎn)生語義特征點(diǎn)檢測(cè)器。
　　 4.提出了一種基于多層學(xué)習(xí)獲取部位模型的算法,第一層用基于圖像塊的圖像表示用僅有圖像層標(biāo)注訓(xùn)練數(shù)據(jù)的學(xué)習(xí)圖像分類器,用圖像分類器自動(dòng)對(duì)圖像進(jìn)行詳細(xì)標(biāo)注生成與類別相關(guān)區(qū)域,作為第二層學(xué)習(xí)的訓(xùn)練樣本。第二層通過密集匹配定義的相似性度量和聚類算法無監(jiān)督地定義部位及它們的正例樣本,并學(xué)習(xí)各部位的初始模型啟動(dòng)隱變量支持向量