基于深度學(xué)習(xí)的圖像語(yǔ)義標(biāo)注與描述研究.pdf

1、隨著信息科學(xué)技術(shù)的高速發(fā)展，伴隨而來(lái)的是多樣的媒體數(shù)據(jù)飛速增長(zhǎng)，這得益于數(shù)字設(shè)備的普及和存儲(chǔ)技術(shù)的發(fā)展。面對(duì)大量無(wú)標(biāo)簽數(shù)據(jù)的產(chǎn)生，如文本、音頻、圖像及視頻等，如何管理和使用這些無(wú)標(biāo)注數(shù)據(jù)，儼然成為一個(gè)亟需解決的問(wèn)題。當(dāng)前的圖像語(yǔ)義標(biāo)注技術(shù)可以有效地對(duì)圖像進(jìn)行標(biāo)注，這不僅能夠幫助人們管理大量的無(wú)標(biāo)記圖像，還能夠讓機(jī)器更智能的理解圖像，所以圖像語(yǔ)義標(biāo)注是一項(xiàng)非常有意義的研究工作。
　　所謂圖像理解技術(shù)，其核心技術(shù)是在圖像處理分析基礎(chǔ)上

2、，結(jié)合計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等相關(guān)理論，進(jìn)而分析、理解圖像內(nèi)容，并以文本語(yǔ)義信息的形式反饋給人類。因此圖像理解技術(shù)的完成不僅需要圖像標(biāo)注，還需要圖像描述。圖像標(biāo)注的任務(wù)是以圖像為對(duì)象，語(yǔ)義信息為載體，研究圖像中有何物體以及物體之間的聯(lián)系。圖像描述的任務(wù)是以自然語(yǔ)言處理技術(shù)分析并產(chǎn)生標(biāo)注詞，進(jìn)而將生成的標(biāo)注詞組合為自然語(yǔ)言的描述語(yǔ)句。近年來(lái)，圖像描述得到了研究界的極大興趣，同圖像標(biāo)注工作一樣，它們都具有廣闊的應(yīng)用前景。
　　論文以

3、圖像語(yǔ)義標(biāo)注為研究主線，以多媒體數(shù)據(jù)中的圖像作為研究對(duì)象，以圖像描述為應(yīng)用擴(kuò)展，按照特征提取表示-語(yǔ)義映射模型構(gòu)建-分析理解語(yǔ)義的研究思路，重點(diǎn)研究圖像標(biāo)注中的目標(biāo)識(shí)別和語(yǔ)義分析問(wèn)題，其中包括特征學(xué)習(xí)、多標(biāo)簽分類、語(yǔ)義關(guān)聯(lián)性分析和單詞語(yǔ)句序列生成等技術(shù)?；谝陨涎芯浚疚牡闹饕ぷ饔?
　　為了縮減不同模態(tài)數(shù)據(jù)間的語(yǔ)義鴻溝，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(DeepConvolutional Neural Network，CNN)和

4、集成的分類器鏈(Ensembles of Classifier Chains，ECC)的圖像多標(biāo)注混合架構(gòu)CNN-ECC。該模型框架主要由生成式特征學(xué)習(xí)和判別式語(yǔ)義學(xué)習(xí)兩階段構(gòu)成。第一步利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像多示例融合的高級(jí)視覺(jué)特征。第二步基于獲取的視覺(jué)特征與圖像的語(yǔ)義標(biāo)簽集訓(xùn)練集成的分類器鏈，集成的分類器鏈不僅能夠?qū)W習(xí)到視覺(jué)特征包含的語(yǔ)義信息，還能夠充分挖掘語(yǔ)義標(biāo)簽間的關(guān)聯(lián)性，使得生成的標(biāo)簽間具有更強(qiáng)的關(guān)聯(lián)性，從而避免產(chǎn)生冗余

5、的標(biāo)簽。最終利用訓(xùn)練得到的模型對(duì)未知的圖像進(jìn)行自動(dòng)語(yǔ)義標(biāo)注。
　　圖像標(biāo)注為圖像描述工作奠定了基礎(chǔ)，為了將圖像生成的標(biāo)注詞組裝成自然語(yǔ)言的語(yǔ)句描述，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和雙向長(zhǎng)短期記憶單元(Double Long-short Term Memory，DLSTM)的圖像描述模型CNN-DLSTM。該模型框架由視覺(jué)模型和語(yǔ)言模型兩部分組成。首先視覺(jué)模型用于學(xué)習(xí)圖

6、像視覺(jué)內(nèi)容概念，生成圖像關(guān)鍵語(yǔ)義詞。其次語(yǔ)言模型基于人工的描述序列學(xué)習(xí)詞法與語(yǔ)法，結(jié)合視覺(jué)概念詞和相應(yīng)的語(yǔ)法生成對(duì)應(yīng)的語(yǔ)言描述，完成圖像描述任務(wù)。為了使模型生成的語(yǔ)句更加類人化，最后CNN-DLSTM還引入了一個(gè)生成描述質(zhì)量的置信評(píng)估模型，選擇性輸出得分更高的圖像描述語(yǔ)句。
　　圖像的內(nèi)容不僅復(fù)雜而抽象，而且在語(yǔ)義概念上也存在模糊和多義性等特點(diǎn)。因而本文在圖像標(biāo)注的特征學(xué)習(xí)、語(yǔ)義學(xué)習(xí)等關(guān)鍵工作上做出改進(jìn)，實(shí)現(xiàn)圖像自動(dòng)標(biāo)注，改善了圖