基于主題分析的圖像自動(dòng)標(biāo)注研究.pdf

1、圖像數(shù)據(jù)作為生活和學(xué)習(xí)中一種至關(guān)重要的信息載體，是網(wǎng)絡(luò)環(huán)境中不可缺少的數(shù)據(jù)信息資源。海量的圖像數(shù)據(jù)不斷地被創(chuàng)造，并且在互聯(lián)網(wǎng)上發(fā)布、傳播、分享和交流，如何在浩瀚的圖像數(shù)據(jù)海洋中迅速而準(zhǔn)確的查找到自己需要的圖像數(shù)據(jù)，是目前圖像檢索領(lǐng)域研究的熱點(diǎn)問(wèn)題。由于之前的基于文本和基于內(nèi)容的圖像檢索發(fā)展均受到了種種因素的限制，就出現(xiàn)了基于圖像標(biāo)注關(guān)鍵字的語(yǔ)義圖像檢索，因此對(duì)圖像進(jìn)行高層語(yǔ)義標(biāo)注是關(guān)鍵。然而由于“語(yǔ)義鴻溝”的存在，也即人對(duì)圖像的相似性判

2、別“語(yǔ)義相似”與計(jì)算機(jī)對(duì)圖像相似性判別“視覺(jué)相似”之間的差距的存在，使得建立在圖像視覺(jué)特征信息上的圖像語(yǔ)義自動(dòng)標(biāo)注的性能遠(yuǎn)不能達(dá)到理想的效果。
　　 本文主要做了以下研究：
　　 1.手工標(biāo)注獲取訓(xùn)練集具有諸如：費(fèi)時(shí)、費(fèi)力、主觀性強(qiáng)等缺點(diǎn)，并且對(duì)于幾乎無(wú)限的Web圖像數(shù)據(jù)來(lái)說(shuō)，手工獲取的訓(xùn)練集顯得很渺小，因此如何自動(dòng)獲取高質(zhì)量的訓(xùn)練集就顯得尤為重要。Web圖像與傳統(tǒng)圖像相比有自身明顯的特點(diǎn)，因?yàn)閃eb圖像存在于網(wǎng)絡(luò)環(huán)境中

3、，除具有其他圖像所具有的視覺(jué)特征信息外，通常還關(guān)聯(lián)著豐富的文本信息，如圖像數(shù)據(jù)的文件名稱、周圍解釋說(shuō)明文本、圖像所屬網(wǎng)頁(yè)標(biāo)題、替代文本等。
　　 2.隨著社會(huì)網(wǎng)絡(luò)(Social Network)的發(fā)展，各種多媒體資源都在網(wǎng)絡(luò)上共享、傳播。Flickr就是提供圖像共享的網(wǎng)站，上面已經(jīng)上傳了幾十億張不同種類不同主題的圖像，而且，用戶在進(jìn)行上傳的時(shí)候都對(duì)圖像進(jìn)行了不同程度的標(biāo)注，并且也可以對(duì)其他用戶的自己比較感興趣的圖像進(jìn)行標(biāo)注。這樣

4、就產(chǎn)生了大量的標(biāo)簽資源，即社會(huì)標(biāo)簽。如果能利用這些社會(huì)標(biāo)簽來(lái)對(duì)訓(xùn)練集進(jìn)行標(biāo)簽擴(kuò)展或者修改，將會(huì)很大的提高訓(xùn)練集的標(biāo)注質(zhì)量。最終會(huì)提高有指導(dǎo)的圖像語(yǔ)義自動(dòng)標(biāo)注的性能。并且每一幅圖像都屬于特定的社群主題，這些社群主題的主題信息和圖像的高層語(yǔ)義信息具有很大的相關(guān)性。因此挖掘出主題的潛在信息能提高標(biāo)注的性能。
　　 本文主要?jiǎng)?chuàng)新點(diǎn)如下：
　　 1.融合圖像視覺(jué)特征和社會(huì)標(biāo)簽的訓(xùn)練集自動(dòng)獲取。首先采用基于TF-IDF思想利用Web

5、圖像的帶約束的關(guān)聯(lián)文本信息來(lái)獲取圖像的初始標(biāo)簽，即初始訓(xùn)練集。然后利用融合視覺(jué)特征和社會(huì)標(biāo)簽對(duì)初始訓(xùn)練集中的標(biāo)簽類別進(jìn)行擴(kuò)展，在利用社會(huì)標(biāo)簽進(jìn)行擴(kuò)展時(shí)，考慮到社會(huì)網(wǎng)絡(luò)上的圖像標(biāo)簽的復(fù)雜性和個(gè)異性，對(duì)這些標(biāo)簽的做了預(yù)處理工作，多標(biāo)簽的圖像進(jìn)行剔除噪音標(biāo)簽和去掉無(wú)關(guān)標(biāo)簽，無(wú)標(biāo)簽圖像則根據(jù)圖像所在的社群主題信息來(lái)挖掘出圖像的潛在語(yǔ)義信息。進(jìn)而得到和初始訓(xùn)練集中圖像的關(guān)鍵詞和視覺(jué)特征都相似的圖像。從而提高訓(xùn)練集的質(zhì)量。在融合圖像的視覺(jué)特征和社會(huì)

6、標(biāo)簽對(duì)初始訓(xùn)練集進(jìn)行標(biāo)簽擴(kuò)展時(shí)，基于圖像相似具有傳播性提出了一種新的圖像視覺(jué)特征和標(biāo)注詞語(yǔ)義都相似的圖像鄰域集自適應(yīng)獲取算法。通過(guò)比較相鄰兩幅圖像的視覺(jué)差異，來(lái)自適應(yīng)的確定給定圖像的語(yǔ)義關(guān)鍵詞和視覺(jué)特征都相似的鄰域集大小。
　　 2.基于主題分析的圖像語(yǔ)義自動(dòng)標(biāo)注，對(duì)自動(dòng)獲取的大規(guī)模高質(zhì)量的訓(xùn)練集，采用潛在語(yǔ)義分析的奇異值分析SVD方法對(duì)訓(xùn)練集圖像分析建模得到主題模型，進(jìn)而利用這些圖像所在的主題類的主題信息來(lái)對(duì)圖像進(jìn)行語(yǔ)義自動(dòng)標(biāo)