基于多模態(tài)特征關(guān)聯(lián)分析的圖像識(shí)別.pdf

1、多模態(tài)特征，是指通過(guò)不同特征表達(dá)方式描述對(duì)象的屬性。采用多模態(tài)特征有助于提高對(duì)象固有屬性的表達(dá)能力，因此在現(xiàn)代圖像識(shí)別與檢索領(lǐng)域應(yīng)用廣泛。本文基于視覺(jué)特征中的多模態(tài)性與視覺(jué)-語(yǔ)義多模態(tài)性，針對(duì)圖像標(biāo)注與跨模態(tài)檢索哈希兩大應(yīng)用場(chǎng)景進(jìn)行算法設(shè)計(jì)，主要工作與創(chuàng)新點(diǎn)包括以下三點(diǎn)：
　　1.基于社團(tuán)發(fā)現(xiàn)與多核支持向量機(jī)的圖像標(biāo)注算法：該模型通過(guò)社團(tuán)發(fā)現(xiàn)算法挖掘圖像語(yǔ)義信息中潛在的語(yǔ)義社團(tuán)，通過(guò)多核支持向量機(jī)與多種基本圖像特征學(xué)習(xí)得到語(yǔ)義社團(tuán)

2、所對(duì)應(yīng)的視覺(jué)特征表達(dá)方式。同時(shí)為了提高圖像標(biāo)注的準(zhǔn)確性，采用基于社團(tuán)內(nèi)與跨社團(tuán)的雙重標(biāo)注策略。通過(guò)在NUS-WIDE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)證明了所提出方法的有效性。
　　2.基于語(yǔ)義與視覺(jué)顯著性關(guān)聯(lián)分析的圖像標(biāo)注算法：該模型重點(diǎn)研究了圖像的視覺(jué)顯著性區(qū)域與文本中語(yǔ)義顯著性在圖像標(biāo)注任務(wù)中的應(yīng)用。首先通過(guò)提取圖像中的視覺(jué)顯著性較強(qiáng)的區(qū)域并結(jié)合的視覺(jué)詞袋算法生成兩層顯著性視覺(jué)詞袋特征。同時(shí)針對(duì)語(yǔ)義顯著性提取文本中與視覺(jué)顯著性區(qū)域相對(duì)應(yīng)的文本內(nèi)

3、容。通過(guò)在NUS-WIDE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)證明了算法的有效性。
　　3.基于部分樣本對(duì)應(yīng)關(guān)系的跨模態(tài)檢索哈希算法：該模型能夠充分利用各個(gè)模態(tài)之間的海量數(shù)據(jù)信息并無(wú)需提供所有的跨模態(tài)對(duì)應(yīng)關(guān)系。首先在每個(gè)模態(tài)中建立駐點(diǎn)圖，能夠高效且準(zhǔn)確地保證局部數(shù)據(jù)平滑性，從而實(shí)現(xiàn)模態(tài)內(nèi)數(shù)據(jù)一致性傳播；對(duì)于已知跨模態(tài)對(duì)應(yīng)關(guān)系的數(shù)據(jù)，則將其映射到同一個(gè)漢明數(shù)據(jù)空間，并最大化生成哈希編碼的保距特性。最終實(shí)現(xiàn)在語(yǔ)義層次相近的跨模態(tài)數(shù)據(jù)在同一個(gè)漢明空間內(nèi)距離保