基于弱監(jiān)督的圖像區(qū)域自動(dòng)標(biāo)注算法研究.pdf

1、在本文中，我們關(guān)注一個(gè)挑戰(zhàn)性的問(wèn)題——基于弱監(jiān)督的圖像區(qū)域標(biāo)注，即在數(shù)據(jù)集中只有圖像層標(biāo)簽這種弱監(jiān)督信息可以使用。圖像區(qū)域標(biāo)注在計(jì)算機(jī)視覺(jué)以及圖像信息檢索領(lǐng)域中有廣闊的應(yīng)用場(chǎng)景，并且能夠在一定程度上打破高層語(yǔ)義和在計(jì)算機(jī)中圖像的低層像素表示之間的語(yǔ)義鴻溝。
　　傳統(tǒng)的圖像區(qū)域標(biāo)注問(wèn)題需要大量的帶有區(qū)域標(biāo)簽的數(shù)據(jù)，但是標(biāo)注這些數(shù)據(jù)是非常耗時(shí)耗力的。圖像層的標(biāo)簽，對(duì)于圖像區(qū)域標(biāo)注這較為細(xì)粒度任務(wù)具有非常的不確定性，但是圖像層標(biāo)簽非常容

2、易獲得。各種互聯(lián)網(wǎng)數(shù)據(jù)的爆炸式產(chǎn)生也為弱監(jiān)督問(wèn)題提供了大量的初始數(shù)據(jù)。弱監(jiān)督圖像區(qū)域標(biāo)注目前僅有較少的研究工作，本文主要有以下貢獻(xiàn):
　　一、對(duì)弱監(jiān)督學(xué)習(xí)的解決方法進(jìn)行了完整的綜合性介紹。在弱監(jiān)督學(xué)習(xí)過(guò)程中，由于數(shù)據(jù)具有不確定性，通常情況下，需要借助上下文的信息來(lái)降低樣本標(biāo)簽的不確定性，我們稱(chēng)為協(xié)同標(biāo)注。我們首先介紹了KNN和稀疏編碼兩種方式來(lái)尋找目標(biāo)的上下文信息，同時(shí)我們介紹了如何使用這種上下文信息構(gòu)建語(yǔ)義圖以及如何在圖上進(jìn)行標(biāo)

3、簽的傳播，本文中我們介紹了兩種標(biāo)簽傳播的方法，馬爾科夫隨機(jī)游走以及譜聚類(lèi)。
　　二、提出了基于判別語(yǔ)義的構(gòu)建上下文的方法。我們注意到，弱監(jiān)督的圖像區(qū)域的標(biāo)注傳播主要問(wèn)題在于如何找到有效的上下文信息進(jìn)行協(xié)同標(biāo)注，而傳統(tǒng)的完全基于相似性的上下文獲取方式容易導(dǎo)致過(guò)同質(zhì)化問(wèn)題，即上下文超像素中的視覺(jué)信息以及圖像層標(biāo)簽都非常相似，各種語(yǔ)義標(biāo)簽共現(xiàn)現(xiàn)象導(dǎo)致目標(biāo)超像素的標(biāo)簽具有不確定性。所以我們提出了基于判別語(yǔ)義的上下文查詢方式，我們對(duì)判別語(yǔ)義

4、進(jìn)行了定義，在上下文查詢中，不僅僅考慮視覺(jué)相似性和語(yǔ)義相關(guān)性，還考慮判別語(yǔ)義(Discriminative Semantics)的信息。我們提出了如何根據(jù)判別語(yǔ)義信息構(gòu)建判別語(yǔ)義圖(Discriminatively Semantic Graph， DSG)。
　　三、我們提出了如何在構(gòu)建的判別語(yǔ)義圖上面進(jìn)行標(biāo)簽的傳播。我們通過(guò)構(gòu)建兩種語(yǔ)義圖將標(biāo)簽傳播分為兩個(gè)部分，在inter-image圖(DSG)上我們考慮不同圖像間的上下文信息

5、來(lái)得到超像素的標(biāo)簽分布概率。在每個(gè)intr-image圖上我們考慮每張圖像的相鄰超像素節(jié)點(diǎn)的視覺(jué)信息和語(yǔ)義標(biāo)簽來(lái)建立能量函數(shù)，通過(guò)Graph Cuts方法求解能力函數(shù)得到最終超像素的標(biāo)簽分配。
　　我們的實(shí)驗(yàn)是在兩個(gè)數(shù)據(jù)集MS RC-21以及PASCAL VOC2007上進(jìn)行的，使用平均類(lèi)別準(zhǔn)確率以及單一類(lèi)別準(zhǔn)確率作為評(píng)測(cè)的指標(biāo)。我們的方法在兩個(gè)數(shù)據(jù)集的多個(gè)單一類(lèi)別以及平均類(lèi)別準(zhǔn)確率都取得了較高的準(zhǔn)確率，進(jìn)而證明了我們方法的有效性