基于視覺信息的漢語詞匯語義習得.pdf

1、認知科學的研究表明，人類在語言習得過程中，視覺信息具有重要的輔助作用。探索利用視覺信息輔助進行語言計算，有助于更深刻地理解人類語言處理的機制，為自然語言處理研究提供新的材料和思路，同時在圖文轉(zhuǎn)換、視頻檢索等方面有廣闊的應用前景。
　　 本文構(gòu)建了一個基于視覺信息的漢語詞匯語義習得模型ViMac（Visual Information based Meaning Acquisition of Chinese Words）。該模型由三

2、個模塊組成，分別是詞的聚類、特征選擇和詞的語義建模。詞的聚類完成詞匯按照所屬語義范疇的劃分，特征選擇完成詞匯與圖像底層特征的對應，詞的語義建模完成詞匯語義的圖像特征的表示。通過這三個部分得到漢語詞匯的語義模型。實驗表明，該模型具備較為初級的學習能力，能夠?qū)W習與視覺相關(guān)的五個范疇的詞，分別是顏色、形狀、大小、方位和修飾顏色副詞。
　　 進一步，本文將習得的漢語詞匯的語義模型應用到圖像描述系統(tǒng)ViMacs（ViMac Applica

3、tion System）中，用于對簡單圖像自動生成文本描述。實驗表明，本系統(tǒng)具備一定的圖像描述能力，這是基于符號的詞匯表示方法所不具備的。
　　 另外，本文借鑒機器翻譯的評測方案，提出了對圖像描述系統(tǒng)的評測方案。該方案能夠有效的反映機器自動標注與人工的標注的一致性。
　　 最后，本文利用上述評測方案，對ViMacs系統(tǒng)的性能及ViMac模型關(guān)鍵模塊對ViMacs系統(tǒng)性能的影響進行了詳盡的評測。根據(jù)評測結(jié)果，提出了對系統(tǒng)性