視頻摘要及一種空時域結(jié)合的方法.pdf

1、 在計算機和通信技術(shù)高速發(fā)展的今天，大容量的多媒體數(shù)據(jù)及大規(guī)模的多媒體數(shù)據(jù)庫對數(shù)字視頻技術(shù)的要求越來越強烈。作為快速瀏覽大容量視頻數(shù)據(jù)的有效手段，數(shù)字視頻摘要起著至關(guān)重要的作用。好的視頻摘要一方面能夠很好的介紹它所代表的視頻內(nèi)容，另一方面信息量高度集中的視頻摘要能夠幫助用戶避免瀏覽整個視頻，這在信息高速增長的今天是有著重要意義的?；趯@一問題的理解，本文在交互式視頻摘要、基于機器學(xué)習(xí)的視頻代表幀提取、空域-時域相結(jié)合的視頻摘要等

2、方面進(jìn)行了較全面而深入的研究工作。本文的主要研究工作和創(chuàng)新點如下： 首先，本文設(shè)計并實現(xiàn)了基于人機交互的靜態(tài)視頻摘要系統(tǒng)。本文首先介紹了靜態(tài)視頻摘要系統(tǒng)的主要技術(shù)，對目前用得較多的關(guān)鍵幀抽取算法，關(guān)鍵幀聚類算法進(jìn)行了分析。由于當(dāng)前的圖像理解技術(shù)水平難以對視頻幀和整個視頻的內(nèi)容有較深的理解，為此本文提出了一個基于人機交互的靜態(tài)視頻摘要系統(tǒng)。該系統(tǒng)具有兩種工作模式：1)具有自動的視頻鏡頭分割，關(guān)鍵幀提取，關(guān)鍵幀聚類和靜態(tài)視頻概要生成

3、，2)該系統(tǒng)還具有較強的用戶交互功能，用戶可以在系統(tǒng)自動的鏡頭分割和關(guān)鍵幀抽取后對關(guān)鍵幀聚類和靜態(tài)視頻摘要生成進(jìn)行修改和約束。同時從系統(tǒng)設(shè)計的角度，本文分析了引入人機交互后對系統(tǒng)設(shè)計的要求，如系統(tǒng)響應(yīng)時間等。在新的要求下對系統(tǒng)關(guān)鍵幀聚類模塊的算法進(jìn)行了針對性的優(yōu)化。這樣使得該系統(tǒng)在保持較好自動功能的同時具有優(yōu)越的用戶交互能力。這為用戶方便而快捷的生成滿意的靜態(tài)視頻摘要提供了強有力的工具。 第二，本文分析了現(xiàn)有視頻摘要算法中對代表

4、幀(關(guān)鍵幀)代表性研究不足的問題，提出了基于機器學(xué)習(xí)的視頻幀代表性度量。在已有的視頻摘要系統(tǒng)中，常用的一些基于規(guī)則的代表幀提取算法很難滿足用戶的要求。通過觀察發(fā)現(xiàn)用戶在子鏡頭(Sub-shot)層次上對關(guān)鍵幀的選擇具有較強的一致性。因此，本文對用戶在子鏡頭中的代表幀選擇用機器學(xué)習(xí)的方法進(jìn)行建模。通過產(chǎn)生型模型(GenerativeModel)將視頻幀的特征與其對子鏡頭視頻片段的代表性用高斯混合函數(shù)模型(GaussianMixtureMo

5、del，GMM)進(jìn)行表達(dá)。客觀和主觀評測證明了該算法在對視頻幀代表性的度量上明顯優(yōu)于已有的基于規(guī)則的代表幀提取算法。 第三，本文提出了一個全新的空域-時域結(jié)合的視頻摘要框架，稱為空域-時域視頻蒙太奇(Space-TimeVideoMontage)。視頻本身是一個由兩維的空間和一維的時間組成的三維的流。在這個三維空間中，視頻信息的分布是不均勻的。但是目前的視頻摘要研究都只是針對視頻信息在時間域上的不均勻性，卻忽略了視頻在空間域上的

6、非均勻性。研究人員關(guān)注最多的是如何在時間軸上選擇視頻幀，并將它們排列起來展現(xiàn)給用戶。他們理所當(dāng)然地將視頻幀作為一個不可分割的最小視頻單元。本文針對這一弊端提出了將空域和時域結(jié)合起來，首先分析視頻信息在三維空間中的分布，然后用顯著層(SaliencyLayer)代表三維空間中相互獨立的高顯著體，通過順序的First-fit排列優(yōu)化和Graphcut融合算法將這些高顯著體重新排列成更加緊致的結(jié)構(gòu)而去除初始分布在它們之間的低顯著度區(qū)域。這樣的