圖像視覺特征及其描述詞匯的對齊研究.pdf

1、目前，越來越多的應用需要將視覺數(shù)據(jù)翻譯為自然語言。研究視覺信息與描述語言之間的關聯(lián)成為一個重要的課題。
　　 VIMAC系統(tǒng)是北京郵電大學智能科學與技術中心研制的一個基于視覺信息的漢語詞匯習得系統(tǒng)，該系統(tǒng)基于圖像一語言描述對集合，為語言詞匯建立基于視覺信息的表征，并能應用于圖像描述的自動生成。本論文的研究基于VIMAC系統(tǒng)的工作，一方面在VIMAC系統(tǒng)研究成果的基礎上展開，得到更細顆粒度的語言—視覺信息對，其中著重解決了在訓練語

2、料中未出現(xiàn)的未登錄詞的圖像特征表示；另一方面又為VIMAC系統(tǒng)的改進提供了新的支持，可用于在圖像的外部說明文本中發(fā)現(xiàn)和定位對應的視覺對象描述詞匯，從而達到輔助進行圖像檢索的目的。
　　 基于VIMAC習得系統(tǒng)，我們可以獲得詞匯類別與視覺特征的對應關系，所以圖像視覺特征及其描述詞匯的對齊關鍵就在于為句子中的詞匯確定其所屬的范疇，也就是詞分類問題。我們通過對圖像描述句進行包括切分，詞性標注在內的預處理后，基于知網提取圖像描述語料中的

3、關于顏色、大小、位置、形狀的詞匯，進行分類，最終將詞匯與其相對應的圖像的視覺屬性對齊。本文同時對實現(xiàn)這一過程中的幾個關鍵因素對最終性能的影響進行了分析。實驗表明，對語料進行詞性標注處理后，詞語分類正確率大大提高；當訓練語料逐步增加時，分類性能也逐步增加，但當語料達到一定規(guī)模后，性能基本也趨于飽和。之后，我們建立了一個數(shù)據(jù)庫，將圖像信息及其標注存儲起來，便于之后的添加，提取，修改和管理。最后為了直觀的顯示，利用ASP技術，編制出動態(tài)網頁，