基于多模態(tài)監(jiān)督學習的圖像重排序算法研究.pdf

1、伴隨著網(wǎng)絡技術的迅猛發(fā)展，伴隨著“互聯(lián)網(wǎng)+”的概念的提出，網(wǎng)絡上涌現(xiàn)出了大量的圖像，人們也期待能夠從這些海量的圖像中快速找尋到自己需要的圖像。由于目前的圖像檢索系統(tǒng)返回的檢索結(jié)果不能夠滿足大部分人的要求，因此提出了圖像檢索的重排序算法，以此來提高圖像檢索系統(tǒng)的性能。
　　圖像檢索的重排序是指對由傳統(tǒng)的基于文本檢索的檢索系統(tǒng)中返回的檢索結(jié)果中的圖像進行重新的排序，來達到提高圖像檢索的精確度，多樣性等的目的?，F(xiàn)在的圖像重排序的方法大部

2、分是基于一種模態(tài)的，由于很難能夠找到一種適合所有查詢的模態(tài)，因此提出了多模態(tài)的概念?；诙嗄B(tài)的圖像重排序是指融合從初始化列表中圖像的多種視覺特征中學習得到的重排序特征進行圖像檢索的重排序。
　　本文圍繞著如何更加高效的利用多模態(tài)來提高圖像檢索的重排序性能，主要討論了圖像視覺特征的選擇、圖像相似度計算、圖像生成特征的計算和圖像生成特征權重的計算這四個方面的問題。論文的主要工作歸納如下:
　　(1)對于由基于文本檢索的搜索引擎

3、返回的初始化列表中的每一幅圖像提取以下六種視覺特征: HSV顏色直方圖特征、RGB顏色直方圖特征、基于分塊的顏色矩特征、顏色相關圖特征、邊緣方向直方圖特征、基于小波變換的紋理特征。
　　(2)根據(jù)不同的模態(tài)建立不同的相似圖，其中圖中頂點是指初始列表中的圖像，頂點之間的權重是指圖像之間相似度。不同的相似圖是根據(jù)不同的模態(tài)建立的，為了更加準確的計算圖像之間的相似度，對于不同的模態(tài)，我們采用不同的相似度計算方法。
　　(3)在相似

4、圖和圖像的初始化排名的基礎上，我們將多模態(tài)的圖像視覺特征轉(zhuǎn)化為獨立于查詢的幾種圖像重排序特征，分別叫做基于PageRank的偽相關反饋特征、密度特征以及根據(jù)初始化排名計算得到的初始化得分特征，并將它們?nèi)诤系揭粋€19維的特征向量，因此我們就可以將初始化列表中的每一幅圖像利用一個19維的特征向量來進行表示。
　　(4)我們利用監(jiān)督學習的方法來學習(3)中得到的每一維圖像重排序特征的權重。
　　(5)在實驗中，我們在由微軟亞洲研究