Web圖像的多模融合檢索研究.pdf

1、基于文本的圖像檢索(Text-Based Image Retrieval，TBIR)是當(dāng)前商業(yè)圖像搜索引擎采用的主要方法，它面臨的問題是只利用了Web圖像的間接文本來間接地檢索圖像，沒有利用圖像本身的內(nèi)容信息；基于內(nèi)容的圖像檢索(Content-Based Image Retrieval，CBIR)則是當(dāng)前圖像檢索學(xué)術(shù)研究領(lǐng)域的主流方法，它面臨的主要困難是“語義鴻溝”問題，即圖像的底層視覺特征(如顏色、紋理、形狀等)不能有效描述其高層語

2、義概念。
　　 Web圖像所處的Web環(huán)境使得它具有明顯的多模特性，針對Web圖像的多模特性，設(shè)計了一個層次化、細(xì)粒度的Web圖像模型及其檢索模型，以便于綜合利用TBIR和CBIR中的技術(shù)來實現(xiàn)Web圖像的多模融合檢索。該模型的核心思想是在檢索過程中同時利用Web圖像的文本關(guān)鍵字特征、視覺內(nèi)容特征、鏈接信息等多種信息實現(xiàn)相互作用或關(guān)聯(lián)以縮減圖像的“語義鴻溝”問題，建立文本關(guān)鍵字和視覺特征的聯(lián)系，從而達(dá)到提高Web圖像檢索性能的目

3、的。在此模型的基礎(chǔ)上，從不同角度和不同應(yīng)用場景出發(fā)，提出了三種新的多模融合檢索方法。
　　 首先提出了一種基于多種聯(lián)系的交互式相關(guān)反饋模式，以充分利用Web圖像的多模特性。該方法遵循以用戶為中心，主要用于多樣例反饋的檢索模式下。它在傳統(tǒng)的交互式相關(guān)反饋的基礎(chǔ)上，擴(kuò)展并無縫地結(jié)合了流形評級算法(Manifold Ranking Algorithm，MRA)和相似性傳播算法(Similarity Propagation Algori

4、thm，SPA)，對Web圖像在文本特征空間和視覺特征空間中的全局結(jié)構(gòu)進(jìn)行流形學(xué)習(xí)，以及兩個特征空間之間的鏈接關(guān)系進(jìn)行相互強(qiáng)化學(xué)習(xí)，實現(xiàn)文本特征和視覺特征的非線性融合檢索。該方法在交互式相關(guān)反饋的迭代過程中，充分利用了Web圖像的多模特性及其內(nèi)在的模內(nèi)聯(lián)系和模間聯(lián)系。
　　 為避免Web環(huán)境下的“懶惰用戶”問題，提出了一個基于跨模關(guān)聯(lián)規(guī)則的自動融合方法。該方法以適應(yīng)多數(shù)普通Web用戶的要求為目的，主要應(yīng)用在自動反饋檢索模式下。該

5、方法基于倒排序索引文件，利用頻集挖掘(Frequent Itemset Mining，F(xiàn)IM)和關(guān)聯(lián)規(guī)則(Association Rule，AR)來尋找文本關(guān)鍵字和多種類型的視覺特征聚類之間的跨模關(guān)聯(lián)，實現(xiàn)自動的多模順序性融合檢索。該方法不需要用戶的額外反饋，有效避免了Web環(huán)境下的“懶惰用戶”問題，并繼承了數(shù)據(jù)挖掘技術(shù)良好的擴(kuò)展性。
　　 為平衡用戶相關(guān)反饋和“懶惰用戶”問題，提出了一種結(jié)合語義網(wǎng)絡(luò)和長期反饋學(xué)習(xí)的方法。該方法

6、把自動反饋和長期學(xué)習(xí)結(jié)合起來，其思想在于既要避免“懶惰用戶”問題對系統(tǒng)的困擾，又要充分利用以往用戶的反饋信息，使得該方法充分利用但不完全依賴用戶的相關(guān)反饋。該方法通過倒排序索引文件建立關(guān)鍵字和多種視覺特征聚類之間的初始語義網(wǎng)絡(luò)，并利用用戶的長期反饋學(xué)習(xí)進(jìn)一步更新該語義網(wǎng)絡(luò)，實現(xiàn)自動的多模融合檢索。該方法具有良好的動態(tài)更新特性，并同時考慮到了多數(shù)的普通Web用戶(他/她們通常具有“懶惰用戶”問題)和少量的高級Web用戶(他/她們可能愿意使