視覺(jué)媒體語(yǔ)義自動(dòng)提取關(guān)鍵技術(shù)研究.pdf

1、近幾年來(lái)，隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字化視頻與圖像信息越來(lái)越多的涌現(xiàn)，基于多媒體信息服務(wù)的信息時(shí)代正在向我們走來(lái)。人們對(duì)視頻和圖像等視覺(jué)媒體內(nèi)容的需求也越來(lái)越多，越來(lái)越廣泛。這就需要行之有效的技術(shù)手段來(lái)滿足用戶的各種需求。而“語(yǔ)義鴻溝”是橫在人與計(jì)算機(jī)和諧交互中的一個(gè)重要障礙，這是由于人的大腦對(duì)視覺(jué)媒體的評(píng)判標(biāo)準(zhǔn)和計(jì)算機(jī)系統(tǒng)對(duì)視覺(jué)媒體的評(píng)判標(biāo)準(zhǔn)存在著很大差異。雖然目前針對(duì)視覺(jué)媒體的語(yǔ)義分析和理解有了很多研究，但這一倍受關(guān)注的技術(shù)還遠(yuǎn)

2、遠(yuǎn)不能滿足用戶的普遍需求。他們需要利用更多自動(dòng)提取的語(yǔ)義信息。 本文對(duì)視覺(jué)媒體語(yǔ)義自動(dòng)提取中的幾項(xiàng)關(guān)鍵技術(shù)進(jìn)行了研究，提出了語(yǔ)義提取的四層技術(shù)框架，即對(duì)象語(yǔ)義層、場(chǎng)景語(yǔ)義層、知識(shí)及情感語(yǔ)義層和語(yǔ)義應(yīng)用層，并分別研究了對(duì)象檢測(cè)、場(chǎng)景分類、高級(jí)語(yǔ)義概念提取和基于本體的語(yǔ)義應(yīng)用等多項(xiàng)關(guān)鍵技術(shù)。由于想找到一條普遍通用的語(yǔ)義提取技術(shù)是非常困難的，因此往往針對(duì)給定應(yīng)用和利用專業(yè)領(lǐng)域知識(shí)對(duì)特定的視覺(jué)媒體內(nèi)容采取各個(gè)擊破的策略來(lái)分析和自動(dòng)理解。

3、體育視頻的分析和理解由于具有廣泛的用戶群和巨大的市場(chǎng)潛力而成為近幾年來(lái)的一個(gè)熱門研究方向，而隨著北京奧運(yùn)會(huì)的臨近，體育視頻的語(yǔ)義分析和理解對(duì)中國(guó)具有更強(qiáng)的現(xiàn)實(shí)意義。另一方面，通過(guò)計(jì)算機(jī)技術(shù)對(duì)數(shù)字化藝術(shù)圖像進(jìn)行分析，并提取它們類別、風(fēng)格、以及包含的內(nèi)容等語(yǔ)義信息是一個(gè)非常重要而且迫切的問(wèn)題，正逐漸獲得越來(lái)越多的關(guān)注，國(guó)畫是中華藝術(shù)的瑰寶，對(duì)國(guó)畫等數(shù)字化藝術(shù)圖像的研究也是一個(gè)重要的問(wèn)題。因此本文針對(duì)視頻和圖像這兩種視覺(jué)媒體，分別研究了體育視

4、頻和藝術(shù)圖像中的語(yǔ)義提取技術(shù)。最后還給出了夜景圖像的場(chǎng)景分類方法，該技術(shù)也具有重要的應(yīng)用價(jià)值。具體來(lái)說(shuō)，論文主要的研究成果包括： 1)首先對(duì)視覺(jué)媒體的語(yǔ)義自動(dòng)提取的系統(tǒng)框架進(jìn)行了宏觀分析，這是必要的，一方面可以對(duì)整個(gè)問(wèn)題有個(gè)全局的認(rèn)識(shí)，另一方面可以指導(dǎo)我們實(shí)現(xiàn)具體的語(yǔ)義提取技術(shù)。給出其中所包含的各個(gè)層次的語(yǔ)義信息；并對(duì)視覺(jué)媒體語(yǔ)義提取的 應(yīng)用框架和解決方案分別進(jìn)行了系統(tǒng)分析。 2)針對(duì)體育視頻提出了一個(gè)魯棒的球場(chǎng)對(duì)象分

5、割檢測(cè)方法。在很多種體育視頻的自動(dòng)分析中，球場(chǎng)區(qū)域起著至關(guān)重要的基礎(chǔ)性作用，許多語(yǔ)義線索可以在球場(chǎng)分割結(jié)果的基礎(chǔ)上獲取。采用高斯混合模型(GMMs)為球場(chǎng)區(qū)域建立顏色模型 這是由于GMMs可以對(duì)復(fù)雜的，非線性的顏色分布進(jìn)行建模，從而在進(jìn)行球場(chǎng)區(qū)域的像素檢測(cè)時(shí)具有足夠的通用性。經(jīng)過(guò)高斯混合模型的像素檢測(cè)過(guò)程之后，采用區(qū)域分析方法把檢測(cè)的像素連成區(qū)域，區(qū)域分析主要包括形態(tài)學(xué)的方法和區(qū)域增長(zhǎng)的方法，這樣得到最終的分割結(jié)果。實(shí)驗(yàn)證明，本文提出的

6、方法對(duì)于不同的體育視頻均能有效地實(shí)現(xiàn)球場(chǎng)區(qū)域的檢測(cè)。論文還研究了體育視頻場(chǎng)景語(yǔ)義分類的技術(shù)。針對(duì)足球體育視頻提出了三層分類框架，共九種場(chǎng)景畫面。并利用球場(chǎng)分割的結(jié)果所得到的顏色特征，以及形狀和邊緣等特征，從圖像底層語(yǔ)義的角度分析各個(gè)場(chǎng)景畫面之間的不同之處。由于可利用的訓(xùn)練數(shù)據(jù)相對(duì)較少，利用支持向量機(jī)(SVM)作為分類器，它具有較好的推廣能力。本文提出 的分類方法可以直接用在語(yǔ)義標(biāo)注，也可被用來(lái)進(jìn)行更高級(jí)的語(yǔ)義分析。比賽形勢(shì)的分析對(duì)于體育

7、專業(yè)人士和長(zhǎng)期的體育愛(ài)好者來(lái)說(shuō)是十分有幫助的，這是一個(gè)較新的方向，少有人涉及。對(duì)于給定的視頻序列，將利用球場(chǎng)分割的結(jié)果 進(jìn)行球員分析以及利用攝像機(jī)運(yùn)動(dòng)估計(jì)進(jìn)行球場(chǎng)變化分析。并利用這兩方面的信息為比賽形式建模。從而判定哪個(gè)球隊(duì)在這段時(shí)間內(nèi)更占優(yōu)勢(shì)一些。這樣就可以對(duì)鏡頭進(jìn)行自動(dòng)語(yǔ)義標(biāo)注，從而利于自動(dòng)的語(yǔ)義視頻檢索，也可以用來(lái)分析整個(gè)比賽。 3)國(guó)畫圖像是中華藝術(shù)的瑰寶。本文研究了國(guó)畫圖像的檢測(cè)算法。使用了三個(gè)低級(jí)特征來(lái)實(shí)現(xiàn)這個(gè)高級(jí)

8、的語(yǔ)義提取問(wèn)題，分別為：顏色直方圖、顏色一致性向量和自相關(guān)紋理特征。檢測(cè)采用決策樹(shù)與支持向量機(jī)相結(jié)合的方法來(lái)實(shí)現(xiàn)，并采用支持向量機(jī)作為主分類器。在一個(gè)中等規(guī)模的數(shù)據(jù)集上的正確檢測(cè)率為94.85％。國(guó)畫基本上可以分為工筆、寫意兩大類。為了區(qū)分這兩種國(guó)畫，提出一種新的圖像特征：邊緣大小直方圖。這個(gè)特征反映了圖像邊緣的稀疏程度。使用支持向量機(jī)作為國(guó)畫圖像檢測(cè)和分類的主要分類器，并采用顏色、紋理和新提出的邊緣特征，最終得到了較好的分類結(jié)果。

9、 4)利用本體來(lái)進(jìn)行多媒體的語(yǔ)義理解受到了越來(lái)越多的關(guān)注。文本針對(duì)藝術(shù)圖像建立了視覺(jué)本體；還針對(duì)藝術(shù)圖像提出了圖像的非寫實(shí)語(yǔ)義的概念。建立的本體包括藝術(shù)圖像各個(gè)方面的語(yǔ)義概念，從而可使用戶從各個(gè)角度查找需要的視覺(jué)信息。本體中的語(yǔ)義概念可以自動(dòng)提取。最終目標(biāo)是使得用戶方便的根據(jù)語(yǔ)義查找圖像，從而縮小“語(yǔ)義鴻溝”。 5)夜景圖像在數(shù)字圖像尤其是家庭照片或旅游圖像中占有相當(dāng)?shù)谋壤?。夜景圖像一般由比較黑暗的背景區(qū)域和非常明亮的前景區(qū)

10、域組成。另一方面，由于夜景圖像在不同的地點(diǎn)不同的光照環(huán)境下拍攝，也往往呈現(xiàn)不同的外觀。本文針對(duì)夜景圖像的這些特點(diǎn)提出了一個(gè)基于高斯混合模型(GMMs)的圖像分類檢測(cè)算法；在實(shí)驗(yàn)數(shù)據(jù)集上的分類結(jié)果為89.79％。 總之，本文的研究工作基于用戶迫切的應(yīng)用需求和廣泛的應(yīng)用前景而展開(kāi)的，研究了圖像和視頻等視覺(jué)媒體中的不同層次的語(yǔ)義提取技術(shù)，重點(diǎn)為體育、藝術(shù)等多種視覺(jué)媒體形式的語(yǔ)義理解提供技術(shù)方法，從而為幫助用戶更好地獲取并使用他們感興趣