基于信息融合的多媒體內(nèi)容搜索.pdf

1、基于內(nèi)容的多媒體檢索的目標是從海量的多媒體數(shù)據(jù)中快速、準確地返回符合用戶需求的多媒體內(nèi)容。當前，主流的多媒體搜索方法都是以特征為導向的，這些方法通過度量特定多媒體特征之間的相似度來評估多媒體內(nèi)容和用戶需求的相關程度。然而，由于多媒體內(nèi)容的豐富性以及多媒體低層特征與用戶高層語義之間存在的“語義鴻溝”，使用單一的媒體特征很難取得理想的搜索效果。為此，有必要尋找一些方法來有效地融合多媒體各方面信息以彌補這個“語義鴻溝”，進而增強對多媒體信息的

2、搜索能力。本文對當前多媒體搜索系統(tǒng)中存在的一些問題進行了深入的研究，并試圖從多媒體內(nèi)容分析及融合的角度加以解決。本文取得如下創(chuàng)新成果：
　　 1.提出了基于多視角協(xié)同學習的交互式多媒體搜索方法。該方法將多視角學習(Multi-view Learning)的思想引入到交互式搜索中，通過多個視角的交叉學習來自動地挖掘正例樣本以增加反饋信息。此方法是一種半監(jiān)督的交互式搜索方法，只需要用戶標注有限幾個正例樣本就可以啟動這一自推斷機制來自

3、動增加反饋信息。實驗結(jié)果表明，相比于其它交互式方法，本方法在大大減輕用戶標注負擔的情況下，取得了更高的平均搜索精度，特別是提高了排在前半部分搜索結(jié)果的精度。
　　 2.提出基于多模態(tài)信息融合的視頻重排序方法。該方法充分考慮到用戶在實際搜索過程中只檢查前幾個返回結(jié)果這一行為特性，通過交叉利用多個模態(tài)空間的信息來重新排列傳統(tǒng)多媒體搜索引擎返回的結(jié)果，以期將最相關的結(jié)果排在最前面。實驗結(jié)果表明，該方法能夠有效地提高排在最前列返回結(jié)果的

4、精度，特別是前30個返回結(jié)果的精度。
　　 3.提出了基于語義關聯(lián)信息融合的高層概念檢測方法。該方法從本體論的觀點來建立概念與概念之間的語義關聯(lián)，并將這些關聯(lián)信息融合到單獨概念的概念檢測之中，以期提高單獨概念檢測器的檢測精度。實驗結(jié)果表明，對于那些可以找到關聯(lián)概念的特定概念，其檢測器在融合了關聯(lián)語義信息后，檢測準確度比傳統(tǒng)的檢測器有了明顯的提高。
　　 4.提出了基于幀融合的拷貝檢測方法。該方法將視頻拷貝檢測問題轉(zhuǎn)化為隱

5、馬爾可夫解碼問題(HMM Decoding Problem)，通過精心地設計HMM中的狀態(tài)間轉(zhuǎn)移約束及狀態(tài)和觀察間轉(zhuǎn)移約束來松弛傳統(tǒng)檢測方法中使用的嚴格時間一致性條件，以期抵抗各種復雜的視頻變化。此外，一個間隙約束也被引人到拷貝檢測中，以便于靈活地判斷拷貝起始和終止位置。此方法將這三個約束條件融合到一個Viterbi-Like的算法中，使得可以靈活高效地處理長視頻流中的拷貝檢測問題。實驗結(jié)果表明，此方法不但可以克服傳統(tǒng)拷貝檢測中不能檢測