基于超圖模型的視頻多語義標(biāo)注方法研究.pdf

1、近年來,隨著多媒體視頻數(shù)據(jù)的急劇增長,為了便于對海量的視頻數(shù)據(jù)進(jìn)行語義級別的檢索與瀏覽,基于語義概念的視頻檢索技術(shù)已成為研究的新熱點。而在基于語義概念的視頻檢索研究中所涉及到的重點和難點是如何跨越視頻低層特征和人類高層理解之間的語義鴻溝。目前,廣泛地認(rèn)為視頻語義自動標(biāo)注技術(shù)是解決這一難點的有效方法。因此,研究出一種高效準(zhǔn)確的視頻語義自動標(biāo)注方法顯得至關(guān)重要。
　　 本文首先簡要地綜述了本課題研究的背景和意義,然后詳細(xì)地分析了視頻

2、自動語義標(biāo)注過程中有關(guān)主要工作的國內(nèi)外研究現(xiàn)狀。在此基礎(chǔ)上,結(jié)合超圖理論知識,提出了基于譜超圖聚類的關(guān)鍵幀提取方法、視頻語義概念時間相關(guān)性的時序概率超圖表示法和基于時序概率超圖模型的視頻多語義自動標(biāo)注方法,主要工作描述如下:
　　 (1)提出了一種基于譜超圖聚類的關(guān)鍵幀提取方法。通過引入超圖理論,提出了一種新的基于譜超圖聚類的關(guān)鍵幀提取算法。該算法視鏡頭中每幀圖像為超圖的一個頂點,根據(jù)幀圖像間的相似度構(gòu)造超邊,然后完成幀超圖的構(gòu)

3、建,最后利用基于譜超圖的聚類方法實現(xiàn)鏡頭關(guān)鍵幀的提取。實驗表明,該方法可提高視頻關(guān)鍵幀提取的有效性和準(zhǔn)確性。
　　 (2)提出了一種視頻語義概念時間相關(guān)性的時序概率超圖表示法。利用視頻語義概念時間相關(guān)性可以進(jìn)一步提高視頻標(biāo)注的準(zhǔn)確性,本文提出了時序概率超圖模型用來表達(dá)視頻的這一特性。該模型是對超圖模型的一種泛化:不僅能夠表示多個頂點之間的局部聚合信息、各頂點屬于它所對應(yīng)的時序概率超邊的概率,還能夠為頂點間的時間序列關(guān)系建模。

4、r>　　 (3)提出了一種基于時序概率超圖模型的視頻多語義自動標(biāo)注方法。首先利用本文所提出的時序概率超圖模型,將每個鏡頭視為一個頂點,根據(jù)鏡頭間的相似度和時序關(guān)系構(gòu)建時序概率超邊;然后完成鏡頭時序概率超圖的構(gòu)建;最后利用基于時序概率超圖的鏡頭多標(biāo)簽半監(jiān)督分類學(xué)習(xí)算法完成對未標(biāo)注視頻鏡頭的多語義概念自動標(biāo)注。標(biāo)注中同時有效地解決了已標(biāo)注視頻數(shù)據(jù)不足和視頻的多語義標(biāo)注問題。實驗結(jié)果表明了該方法可提高視頻鏡頭語義標(biāo)注的性能。