圖像的語(yǔ)義標(biāo)注及其改善問(wèn)題研究.pdf

1、隨著數(shù)碼照相機(jī)、具有照相功能的手機(jī)等設(shè)備的迅速普及，數(shù)字圖像呈現(xiàn)出爆炸式地增長(zhǎng)趨勢(shì)，而且隨著互聯(lián)網(wǎng)的飛速發(fā)展，越來(lái)越多的人能夠更加方便、快捷、經(jīng)濟(jì)地使用這些圖像數(shù)據(jù)。目前面臨的問(wèn)題不再是缺少圖像數(shù)據(jù)資源，而是如何在浩如煙海的圖像數(shù)據(jù)中找到自己所需要的信息。如何對(duì)規(guī)模龐大的數(shù)字圖像進(jìn)行快速高效的檢索，成為亟待解決的問(wèn)題?，F(xiàn)有的圖像檢索系統(tǒng)主要利用圖像的語(yǔ)義標(biāo)注詞進(jìn)行基于語(yǔ)義的圖像檢索，但是隨著圖像數(shù)量的激增，人()進(jìn)行圖像標(biāo)注顯然不現(xiàn)實(shí)。

2、因此，對(duì)圖像進(jìn)行自動(dòng)語(yǔ)義標(biāo)注成為圖像檢索領(lǐng)域的重要問(wèn)題，得到了學(xué)術(shù)界和企業(yè)界越來(lái)越多的關(guān)注。鑒于已有圖像標(biāo)注方法的標(biāo)注準(zhǔn)確性還未達(dá)到令人滿意的程度，因此如何對(duì)已標(biāo)注圖像進(jìn)行標(biāo)注結(jié)果的優(yōu)化與改善成為了圖像的語(yǔ)義標(biāo)注這一研究領(lǐng)域的重要問(wèn)題之一。本文針對(duì)不同類型的圖像，提出了一系列有針對(duì)性的語(yǔ)義標(biāo)注以及語(yǔ)義標(biāo)注改善的方法，主要研究成果和創(chuàng)新點(diǎn)表現(xiàn)在以下五個(gè)方面：
　　 ⑴提出了一種基于LDA主題模型的圖像標(biāo)注方法。首先，利用圖像訓(xùn)練集

3、建立一個(gè)視覺(jué)詞袋模型，并利用LDA模型計(jì)算待標(biāo)注圖像和標(biāo)注詞詞典中各標(biāo)注詞之間的相關(guān)度，從而獲得圖像的初始標(biāo)注。接下來(lái)，提出一種基于搜索的標(biāo)注詞擴(kuò)展方法，將初始標(biāo)注提交到圖像搜索引擎，從搜索引擎返回的結(jié)果中選取與待標(biāo)注圖像相似的圖像，進(jìn)而從這些相似圖像的周邊文本中獲取圖像的擴(kuò)展標(biāo)注詞。最后，將初始標(biāo)注詞集合和擴(kuò)展標(biāo)注詞集合進(jìn)行合并，獲得最終標(biāo)注。
　　 ⑵提出了一種面向社會(huì)網(wǎng)絡(luò)圖像共享社區(qū)的圖像標(biāo)注方法。該類網(wǎng)站允許用戶在上傳圖

4、像時(shí)為圖像提供標(biāo)簽，我們利用用戶提供的標(biāo)簽對(duì)圖像進(jìn)行語(yǔ)義標(biāo)注。首先，將待標(biāo)注圖像分割后的圖像區(qū)域作為樣例數(shù)據(jù)點(diǎn)，對(duì)用戶提供的標(biāo)簽進(jìn)行過(guò)濾后得到圖像的初始標(biāo)簽，并將其所對(duì)應(yīng)的圖像視覺(jué)特征作為待排序的數(shù)據(jù)點(diǎn)，利用流形排序算法對(duì)圖像的初始標(biāo)簽進(jìn)行排序。接下來(lái)，利用Flickr提供的API函數(shù)以及加權(quán)投票策略對(duì)排序位次高的初始標(biāo)簽進(jìn)行擴(kuò)展，從而得到擴(kuò)展標(biāo)簽。最后，將排序位次高的初始標(biāo)簽集合和擴(kuò)展標(biāo)簽集合合并，得到圖像的最終標(biāo)灃。
　　

5、⑶提出了一種面向圖像共享社區(qū)中個(gè)人相冊(cè)的圖像標(biāo)注方法。首先，利用位置敏感哈希函數(shù)將圖像的SIFT描述符映射到哈希桶中，并將每個(gè)哈希桶看作直方圖的一個(gè)柱，把待標(biāo)注圖像轉(zhuǎn)化為直方圖，通過(guò)計(jì)算直方圖的距離得到兩幅圖像之間的視覺(jué)相似度，從而對(duì)個(gè)人相冊(cè)進(jìn)行去除重復(fù)圖像的處理。然后，利用圖像的視覺(jué)特征和圖像GPS坐標(biāo)構(gòu)造三分圖，通過(guò)對(duì)三分圖的劃分進(jìn)行個(gè)人相冊(cè)中圖像的聚類。將Core15K數(shù)據(jù)集作為訓(xùn)練集，建立視覺(jué)詞袋模型，為該數(shù)據(jù)集標(biāo)注詞詞典中的每

6、個(gè)標(biāo)注詞求出與之對(duì)應(yīng)的視覺(jué)詞語(yǔ)向量。對(duì)個(gè)人相冊(cè)聚類后得到的圖像簇，通過(guò)視覺(jué)詞袋模型求出圖像簇所對(duì)應(yīng)的視覺(jué)詞語(yǔ)向量，從訓(xùn)練集的標(biāo)注詞詞典中選擇與其相關(guān)度高的詞作為圖像簇的標(biāo)注。
　　 ⑷提出了一種基于二分圖增強(qiáng)學(xué)習(xí)算法以及概念本體推理的層次化Web圖像標(biāo)注方法。首先，從Web頁(yè)面中抽取圖像的初始標(biāo)注，通過(guò)概念本體對(duì)初始標(biāo)注進(jìn)行推理，將初始標(biāo)注和經(jīng)過(guò)概念本體推理得到的層次化擴(kuò)展標(biāo)注作為圖的頂點(diǎn)，構(gòu)造二分圖。然后，通過(guò)二分圖增強(qiáng)學(xué)習(xí)算

7、法對(duì)初始標(biāo)注和擴(kuò)展標(biāo)注進(jìn)行排序，并提出了一個(gè)標(biāo)注詞選擇策略，從排序后的初始標(biāo)注詞集和擴(kuò)展標(biāo)注詞集中選取圖像的最終標(biāo)注詞。
　　 ⑸提出了一種基于圖劃分和圖像搜索引擎的圖像標(biāo)注改善算法。該算法通過(guò)對(duì)待標(biāo)注圖像的候選標(biāo)注詞進(jìn)行去噪處理，提高標(biāo)注的準(zhǔn)確性。算法的核心思想是將候選標(biāo)注詞作為圖的頂點(diǎn)，將標(biāo)注詞之間的相關(guān)度作為邊的權(quán)值，從而將圖像標(biāo)注改善問(wèn)題轉(zhuǎn)換為圖劃分問(wèn)題。我們用兩個(gè)參數(shù)對(duì)標(biāo)注詞間的相關(guān)度進(jìn)行加權(quán)處理后計(jì)算出邊的權(quán)值。第一