卷積神經(jīng)網(wǎng)絡(luò)在手繪草圖識別中的應(yīng)用研究.pdf

1、隨著數(shù)字技術(shù)、人工智能和互聯(lián)網(wǎng)的不斷發(fā)展，我們的生活被繁多的圖像信息所包圍，而且圖像的分辨率變得越來越高，存儲圖像所需的容量越來越大，所需的存儲方法也變得越來越多樣化，這些都使得現(xiàn)如今的圖像數(shù)據(jù)庫不管是在信息量，還是在數(shù)量上都大的驚人。目前，圖像處理、圖像識別和圖像檢索等領(lǐng)域的主要挑戰(zhàn)在于要求更低的時間消耗、更高的準(zhǔn)確率和提取更通用的特征。
　　手繪草圖是人類最直觀且最原始的溝通工具。近年來，隨著智能可觸屏設(shè)備的普及，手繪草圖可以

2、輕松地從手機(jī)、平板電腦、手寫畫板上獲取，手繪草圖的相關(guān)研究吸引了越來越多國內(nèi)外專家學(xué)者的注意。目前已有的手繪草圖識別方法嚴(yán)重依賴于手工提取特征，如提取區(qū)域、輪廓等圖像的低層特性，但是由于手繪草圖中線條的多變性、個人的主觀因素以及不同人繪畫基礎(chǔ)的不確定性等原因，使得人工提取特征變得十分困難，同時手工提取費(fèi)時費(fèi)力且依靠運(yùn)氣，導(dǎo)致了現(xiàn)有的手繪草圖的識別率較低，且通用性較差。
　　近年來，深度學(xué)習(xí)已成為人工智能領(lǐng)域中備受矚目的研究熱點(diǎn)。作

3、為經(jīng)典的深度學(xué)習(xí)模型，卷積神經(jīng)網(wǎng)絡(luò)在語音識別、姿勢識別、圖像識別等領(lǐng)域都取得了巨大的成功。但是，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型主要是為彩色多紋理自然圖像設(shè)計(jì)，手繪草圖與之相比，缺少了顏色、紋理等信息。手繪草圖一般為二值圖像或者灰度圖像，具有高度的抽象性和夸張性，并且存在由于用戶繪制過程中的停頓和不連貫導(dǎo)致草圖輪廓不完整等問題，使得現(xiàn)有模型，如在ImageNet上訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，在識別手繪草圖時效果并不理想。
　　

4、相較于基于低層的局部圖像描述子，卷積神經(jīng)網(wǎng)絡(luò)模型能在中間層表述上獲得更豐富的表達(dá)，但是缺乏幾何不變性。而Fisher向量從數(shù)學(xué)的角度提出了生成概率模型與判別內(nèi)核方法相結(jié)合，具有較好的局部不變性，廣泛應(yīng)用于圖像分類、目標(biāo)識別等領(lǐng)域，特別是結(jié)合著BOW（Bag-of-Word，詞袋）模型。最近Schneider把Fisher向量應(yīng)用到了手繪草圖上，并取得較好的識別率，但是卻沒有根據(jù)手繪草圖的特性進(jìn)行設(shè)計(jì)，即相對于彩色多紋理自然圖像，手繪草圖

5、沒有平滑的漸變且更稀疏，并且沒有考慮到使用草圖的筆畫順序。
　　本文對卷積神經(jīng)網(wǎng)絡(luò)在手繪草圖識別中的應(yīng)用進(jìn)行了深入的研究，主要完成的工作和創(chuàng)新點(diǎn)如下:
　　1.本章提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的手繪草圖識別方法，該方法根據(jù)手繪圖像多結(jié)構(gòu)少紋理信息的特點(diǎn)，使用大尺寸的首層卷積核取代自然圖像識別中常使用的小尺寸首層卷積核。由于自然圖像的紋理較豐富，使用小卷積核能夠提取到細(xì)節(jié)的變化，而手繪草圖缺少這些紋理信息，當(dāng)使用小卷積核時，會導(dǎo)

6、致大部分提取到的特征為空，使得傳遞給第二層卷積核的信息較少，信息丟失過快，不能很好地獲得草圖的結(jié)構(gòu)信息。訓(xùn)練淺層模型作為深層模型對應(yīng)層的初始值，并加入不改變特征大小的卷積層，不僅加深網(wǎng)絡(luò)深度、減小模型誤差，而且減少訓(xùn)練時長，加快收斂。加入不改變特征大小的卷積層來加深網(wǎng)絡(luò)深度等方法以降低錯誤率。
　　2.本章提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和Fisher向量的手繪草圖識別方法，該方法根據(jù)Fisher向量判別力強(qiáng)的特點(diǎn)，通過對圖片使用一個預(yù)

7、訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，取第8卷積層的輸出特征使用Fisher向量，這樣可以豐富圖像特征的表達(dá)，并降低分類器訓(xùn)練的復(fù)雜度。由于筆畫信息是用戶繪制時同步記錄的，能夠反應(yīng)用戶對事物的理解，一般按照先主要后細(xì)節(jié)的順序進(jìn)行繪制[2]，因此添加筆畫信息，在區(qū)分兩個相似類的圖像時，即使局部相似，但卻可能存在不一樣的筆畫順序，有助于圖像識別。使用圖像翻轉(zhuǎn)和切片用于數(shù)據(jù)擴(kuò)充，可以有效減少過擬合，增加幾何不變性。為了驗(yàn)證融合卷積神經(jīng)網(wǎng)絡(luò)和Fisher向量的識