多模態(tài)媒體信息檢索技術(shù)研究.pdf

1、隨著多媒體技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，不同模態(tài)的多媒體數(shù)據(jù)隨之急劇增長(zhǎng)，同時(shí)用戶(hù)對(duì)于多媒體數(shù)據(jù)的檢索需求也變得更加多樣化。對(duì)比傳統(tǒng)的單一模態(tài)媒體數(shù)據(jù)的檢索方式，通過(guò)對(duì)不同模態(tài)的媒體數(shù)據(jù)進(jìn)行分析和處理，不僅能夠更好地表達(dá)用戶(hù)的檢索意圖，而且對(duì)于多模態(tài)媒體數(shù)據(jù)的語(yǔ)義理解也起到了重要作用。然而，由于在低層內(nèi)容特征上的異構(gòu)性和不可度量性，使得傳統(tǒng)的多媒體檢索方法不能適用于多模態(tài)媒體數(shù)據(jù)。因此，如何有效地管理和檢索多模態(tài)媒體數(shù)據(jù)成為目前多媒體檢索領(lǐng)域

2、的研究熱點(diǎn)。
　　根據(jù)多模態(tài)媒體數(shù)據(jù)間存在著緊密的語(yǔ)義關(guān)聯(lián)這一特性，本文以多媒體數(shù)據(jù)的高層語(yǔ)義概念特征為出發(fā)點(diǎn)，結(jié)合機(jī)器學(xué)習(xí)、多模態(tài)信息融合與分析等技術(shù)，對(duì)多模態(tài)媒體信息檢索進(jìn)行了深入的研究。主要研究工作包括:
　　(1)針對(duì)視頻信息的語(yǔ)義概念檢測(cè)，提出了一種基于極限學(xué)習(xí)機(jī)的多模態(tài)分類(lèi)器合并方法。首先，分別使用三種不同的可視化特征來(lái)訓(xùn)練相對(duì)應(yīng)的三個(gè)基于極限學(xué)習(xí)機(jī)的語(yǔ)義概念分類(lèi)器，然后使用一種有效的基于概率的融合方法將語(yǔ)義概念

3、分類(lèi)器的預(yù)測(cè)結(jié)果進(jìn)行合并。最后，通過(guò)分析語(yǔ)義概念之間的上下文來(lái)得到語(yǔ)義關(guān)聯(lián)信息，并利用這些關(guān)聯(lián)信息來(lái)修正合并后的預(yù)測(cè)結(jié)果。通過(guò)大量的實(shí)驗(yàn)表明提出的方法能夠有效地提高語(yǔ)義概念檢測(cè)的準(zhǔn)確性。同時(shí)，基于極限學(xué)習(xí)機(jī)的分類(lèi)器能以極快的速度進(jìn)行學(xué)習(xí)和預(yù)測(cè)，大大提高了語(yǔ)義概念檢測(cè)的性能。
　　(2)針對(duì)不確定的視頻語(yǔ)義表達(dá)，提出了一種基于多信息融合的方法，其中包括推理和融合兩個(gè)階段。在推理階段，充分利用語(yǔ)義概念之間的上下文關(guān)聯(lián)信息和視頻鏡頭之間

4、的時(shí)間關(guān)聯(lián)信息，選出對(duì)應(yīng)于用戶(hù)查詢(xún)最相關(guān)的候選概念集。在融合階段，通過(guò)計(jì)算候選概念的推斷概率，使其與概念檢測(cè)器的結(jié)果進(jìn)行融合，以達(dá)到對(duì)視頻鏡頭中的語(yǔ)義概念進(jìn)行修正的目的。通過(guò)大量的實(shí)驗(yàn)表明，提出的方法能夠有效解決視頻鏡頭中不確定的語(yǔ)義表達(dá)問(wèn)題，同時(shí)改善了語(yǔ)義視頻檢索的準(zhǔn)確性。
　　(3)針對(duì)大規(guī)模的跨媒體檢索，首先利用多模態(tài)媒體對(duì)象之間的語(yǔ)義關(guān)聯(lián)來(lái)建模一個(gè)多模態(tài)語(yǔ)義關(guān)系圖。其次將多模態(tài)語(yǔ)義關(guān)系圖中的所有媒體對(duì)象映射到一個(gè)同構(gòu)的語(yǔ)義

5、空間中。最后，通過(guò)分析多模態(tài)媒體對(duì)象的分布特性，提出了一種有效的索引MK-tree，以此來(lái)管理語(yǔ)義空間中的媒體對(duì)象，同時(shí)改善跨媒體檢索的性能。通過(guò)在大規(guī)模的真實(shí)跨媒體數(shù)據(jù)集上的實(shí)驗(yàn)表明，提出的方法能極大地改善跨媒體檢索的有效性和準(zhǔn)確性。
　　(4)針對(duì)社交圖像檢索，首先，通過(guò)利用社交網(wǎng)絡(luò)中不同模態(tài)的信息來(lái)構(gòu)建一個(gè)社交關(guān)系圖。其次，當(dāng)用戶(hù)給定查詢(xún)關(guān)鍵字，在構(gòu)建的社交關(guān)系圖上執(zhí)行一種有效的查詢(xún)關(guān)鍵字算法，同時(shí)基于相關(guān)分?jǐn)?shù)得到候選結(jié)果。