多模態(tài)信息處理研究進(jìn)展、現(xiàn)狀及趨勢

1、多模態(tài)信息處理研究進(jìn)展、現(xiàn)狀及趨勢任務(wù)定義、目標(biāo)和研究意義多模態(tài)（multimodality)的概念起源于計算機(jī)人機(jī)交互領(lǐng)域信息表示方式的 研究，其中術(shù)語“模態(tài)” 一詞被定義為在特定物理媒介上信息的表示方式。在研 究中人們發(fā)現(xiàn)，用語言、視頻、音頻等媒體指稱來描述信息表示方式過于寬泛、 粒度太大，不足以區(qū)分實際采用的表示方式，為此引入了比媒體（或媒介）更細(xì) 粒度的“模態(tài)”概念。而多媒體媒介可以分解為多個單模態(tài)，如視頻作為一種多 媒體媒介

2、，可以分解為動態(tài)圖像、動態(tài)語音、動態(tài)文本等多個單模態(tài)。為了模態(tài) 概念定義的科學(xué)性和實用性，單模態(tài)的分類必須滿足完整性、正交性、關(guān)聯(lián)性和 直觀性的要求。在同一事物上多類單模態(tài)信息共生或共現(xiàn)的現(xiàn)象是十分普遍的。 人與人交談時有聲語音與文字文本是共生的；互聯(lián)網(wǎng)網(wǎng)頁中圖片與其對應(yīng)的解說 文字是共現(xiàn)的，凡此等等。共生或共現(xiàn)的多種單模態(tài)信息的統(tǒng)稱即所謂的多模態(tài) 信息。融合多種單模態(tài)的信息處理即所謂的多模態(tài)信息處理，其中涉及對多模態(tài) 信息的獲取、組織

3、、分析、檢索、理解、創(chuàng)建等。多模態(tài)信息處理技術(shù)主要應(yīng)用于對象識別、信息檢索、人機(jī)對話等與智能系 統(tǒng)及人工智能相關(guān)的領(lǐng)域。大量研究成果顯示，基于多模態(tài)理念的信息處理算法 和方法，往往會得到比傳統(tǒng)方法更好的性能和效果。例如，語義計算相關(guān)領(lǐng)域基 于指稱語義的研究發(fā)現(xiàn)，采用語言表達(dá)式的視覺指稱（即一組圖片）來定義指稱 相似性度量，在某些語義推導(dǎo)任務(wù)中，效果好于基于純文本的分布式語義表示； 情感計算領(lǐng)域相關(guān)研究發(fā)現(xiàn)，不同模態(tài)的數(shù)據(jù)在情感表達(dá)中具有

4、互補(bǔ)性，在愉悅 度表達(dá)方面文本模態(tài)優(yōu)于音頻模態(tài)，而在激活度表達(dá)方面音頻模態(tài)則優(yōu)于文本模 態(tài)。在基于內(nèi)容的多媒體信息檢索領(lǐng)域，針對基于內(nèi)容的視音頻檢索中的語義鴻 溝問題，利用視音頻數(shù)據(jù)共生或共現(xiàn)的文本信息，進(jìn)行多模態(tài)的語義分析和相似 性度量，是克服語義鴻溝問題的一種十分有效的方法。以媒體為單位的跨信息處 理任務(wù)，普遍存在語義鴻溝問題，所處理信息對象的語義，無論是基于外延語義 (指稱語義）還是內(nèi)涵語義（關(guān)聯(lián)語義）概念，在單一媒體信息范圍內(nèi)得

5、不到完 整或最終表達(dá)，而多模態(tài)信息處理方法為該問題的解決提供了新的思路和方法。6 b. 口 語 關(guān) 鍵 字6 c. 口 語 符 號7 靜 — 動 態(tài) 非 擬 真 觸 覺 7 a. 觸 覺 文 本7 b. 觸 覺 關(guān) 鍵 字7 c. 觸 覺 符 號8 動 態(tài) 非 擬 真 圖 形 8 a. 動 態(tài) 書 面 文 本8 b. 動 態(tài) 書 面 關(guān) 鍵 字8 c. 動 態(tài) 書 面 符 號8 d. 靜 動 口 語 話 語8 e. 靜 動 口 語

6、關(guān) 鍵 字8 f. 靜 動 口 語 符 號9 . 靜 態(tài) 圖 形 9 a. 圖 像9 b. 地 圖9 c. 組 合 圖 表9 d. 圖 形9 e. 概 念 圖 表1 0 . 靜 二 動 態(tài) 聲 音 1 0 a. 圖 像1 0 b. 地 圖1 0 c. 組 合 圖 表1 0 d. 圖 形1 0 e. 概 念 圖 表1 1 . 靜 = 動 態(tài) 觸 覺 1 1 a. 圖 像1 1 b. 地 圖1 1 c. 組 合 圖 表1 1 d. 圖 形1