基于語義上下文建模的圖像語義自動(dòng)標(biāo)注研究.pdf

1、由于圖像語義自動(dòng)標(biāo)注(Automatic Image Annotation,AIA)在基于關(guān)鍵詞的圖像和視頻的檢索與瀏覽上具有巨大的應(yīng)用前景,AIA在近年來受到了人們的廣泛關(guān)注。解決AIA問題的瓶頸在于圖像底層的視覺特征與高層的語義概念之間存在“語義鴻溝”(Semantic Gap),即圖像視覺特征相似并不能保證圖像語義一致。為了跨越這條“語義鴻溝”,研究者們基于生成模型和判別模型提出了多種圖像語義自動(dòng)標(biāo)注的方法。此外,語義概念之間的相

2、互關(guān)系已經(jīng)被應(yīng)用于圖像語義自動(dòng)標(biāo)注,并且取得了令人鼓舞的結(jié)果。通過對(duì)語義上下文建模,生成模型和判別模型的性能都得到了改進(jìn)。
　　本研究工作提出了一個(gè)馬爾科夫隨機(jī)場(chǎng)(Markov Random Field,MRF)標(biāo)注框架用于對(duì)圖像語義自動(dòng)標(biāo)注中的語義上下文建模。與先前視覺識(shí)別工作中對(duì)圖像像素或圖像區(qū)域空間位置關(guān)系建模的MRF不同,我們提出的MRF是在語義概念上構(gòu)造,用于對(duì)語義概念之間的相互關(guān)系建模。具體來講,MRF中的點(diǎn)表示語義概

3、念,而邊表示語義概念之間的相關(guān)性。每個(gè)點(diǎn)上有一個(gè)二值標(biāo)簽來表示相應(yīng)的語義概念在給定的圖像中出現(xiàn)或不出現(xiàn)。
　　在MRF標(biāo)注框架下,我們提出了一種新穎的多馬爾科夫隨機(jī)場(chǎng)(Multiple MarkovRandom Field,MMRF)上下文相關(guān)模型對(duì)語義上下文建模。MMRF通過構(gòu)造語義層的MRF模型來改進(jìn)AIA中傳統(tǒng)生成模型的標(biāo)注結(jié)果。具體來講,我們基于生成模型估計(jì)的圖像視覺特征與語義概念共同出現(xiàn)的聯(lián)合概率,設(shè)計(jì)了MRF新穎的勢(shì)函

4、數(shù)。為了準(zhǔn)確地捕獲不同語義概念的語義,我們?yōu)槊恳粋€(gè)語義概念構(gòu)造自身的MRF。此外,我們高效地解決了MMRF的參數(shù)估計(jì)和模型推理問題。
　　為了進(jìn)一步發(fā)掘語義上下文相關(guān)模型的能力,我們?cè)贛RF標(biāo)注框架下提出了一種新穎的判別條件隨機(jī)場(chǎng)模型對(duì)語義上下文建模,稱之為最大邊緣條件隨機(jī)場(chǎng)(MaximalMargin Conditional Random Field,MMCRF)上下文相關(guān)模型。MMCRF能夠同時(shí)從語義層次與視覺層次上對(duì)語義相關(guān)

5、性建模。具體來講,我們基于線性判別模型設(shè)計(jì)了MMCRF的勢(shì)函數(shù),并提出了拆分的Hinge損失在最大邊緣框架下估計(jì)MMCRF的參數(shù)。模型的訓(xùn)練轉(zhuǎn)化為采用我們推導(dǎo)出的上下文核函數(shù)求解一系列獨(dú)立的二次規(guī)劃問題。
　　我們?cè)诠玫臉?biāo)注數(shù)據(jù)集:Corel圖像數(shù)據(jù)集和TRECVID-2005視頻數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)來評(píng)估MMRF和MMCRF的標(biāo)注性能。實(shí)驗(yàn)結(jié)果表明,與當(dāng)前最先進(jìn)的標(biāo)注方法相比,我們的模型能夠顯著地改進(jìn)標(biāo)注性能。特別是MMRF在C