面向圖像描述的深度神經(jīng)網(wǎng)絡(luò)模型研究.pdf

1、近年來(lái)，人工智能和機(jī)器學(xué)習(xí)迅猛發(fā)展，在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別和自然語(yǔ)言處理方面均得到了廣泛應(yīng)用。圖像內(nèi)容的語(yǔ)句描述結(jié)合了計(jì)算機(jī)視覺與自然語(yǔ)言處理，完成從圖像到自然語(yǔ)言的轉(zhuǎn)換。它能夠廣泛應(yīng)用到圖像檢索中，也能輔助殘疾人在互聯(lián)網(wǎng)進(jìn)行交流。針對(duì)圖像描述任務(wù)，與傳統(tǒng)的方法相比較，深度卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型能識(shí)別新圖像中的新事物，并對(duì)其進(jìn)行更為自然的語(yǔ)句描述。
　　目前，該任務(wù)的經(jīng)典模型神經(jīng)圖像描述的不足之一是其對(duì)圖像細(xì)節(jié)信息

2、的描述并不總是準(zhǔn)確的。本文從研究方法和研究問(wèn)題兩個(gè)層面入手彌補(bǔ)上述不足，以使得描述更注重圖像區(qū)域細(xì)節(jié)的表達(dá)。針對(duì)方法的層面，在圖像描述常用的神經(jīng)圖像描述模型中加入注意機(jī)制，增強(qiáng)模型生成描述語(yǔ)句時(shí)對(duì)圖像細(xì)節(jié)的偏重；針對(duì)問(wèn)題的層面，在前人提出的圖像區(qū)域描述任務(wù)基礎(chǔ)上，對(duì)全卷積定位網(wǎng)絡(luò)模型的網(wǎng)絡(luò)層增加批歸一化轉(zhuǎn)換，加快模型的訓(xùn)練速度并提升區(qū)域檢測(cè)和語(yǔ)句描述的準(zhǔn)確度。本文完成的主要研究工作包括：
　?、俜治隽四壳耙延械膱D像描述任務(wù)研究，特

3、別是指出在谷歌的神經(jīng)圖像描述模型基礎(chǔ)上改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)編碼、循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型、編碼輸入方法或者詞嵌入方法等的現(xiàn)狀。針對(duì)圖像區(qū)域描述任務(wù)，闡述了以全卷積定位網(wǎng)絡(luò)模型為核心開展研究工作的現(xiàn)狀；
　　②針對(duì)神經(jīng)圖像描述模型缺乏對(duì)圖像細(xì)節(jié)信息的描述問(wèn)題，提出一種使用注意機(jī)制改進(jìn)描述語(yǔ)句的生成方式。先通過(guò)多示例學(xué)習(xí)提取圖像的關(guān)鍵區(qū)域的標(biāo)簽詞語(yǔ)，再將其詞向量作為神經(jīng)圖像描述模型中的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)語(yǔ)言模型的隱含層的輸入，使語(yǔ)言模型在生成描述

4、的詞語(yǔ)時(shí)能更偏向標(biāo)簽詞語(yǔ)；
　?、蹖?duì)圖像區(qū)域描述任務(wù)的經(jīng)典模型，提出批歸一化轉(zhuǎn)換其網(wǎng)絡(luò)層，以此改善模型訓(xùn)練的收斂速度，同時(shí)提高模型檢測(cè)區(qū)域和生成描述的準(zhǔn)確度。在批歸一化卷積層和長(zhǎng)短時(shí)記憶隱含層中分別調(diào)整轉(zhuǎn)換算法，使其適應(yīng)網(wǎng)絡(luò)層的結(jié)構(gòu)，且不影響整個(gè)模型端到端的訓(xùn)練；
　?、芊謩e對(duì)上述提出的模型使用圖像描述數(shù)據(jù)集和圖像區(qū)域描述數(shù)據(jù)集進(jìn)行訓(xùn)練，并分別使用相應(yīng)的指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。為了方便比較模型改進(jìn)效果，重新訓(xùn)練了兩個(gè)經(jīng)典模型