基于多模態(tài)特征融合的新聞視頻摘要技術研究.pdf

1、多媒體和網(wǎng)絡技術的發(fā)展使得視頻資源變得越來越豐富，伴隨而來的問題則是視頻數(shù)據(jù)量的快速增長。因此如何對這些海量視頻數(shù)據(jù)進行有效的處理，從而提高瀏覽和檢索效率就成為了當前亟需解決的現(xiàn)實問題。視頻摘要技術可以縮減視頻的數(shù)據(jù)量，節(jié)省瀏覽時間，是解決這些問題的關鍵。
　　 新聞視頻是人們獲取信息的主要來源之一，與一般的視頻數(shù)據(jù)相比，它有其特殊的結(jié)構(gòu)和組織特征，這都使得針對新聞視頻的摘要技術成為近年來廣泛研究的熱點。本論文針對這一課題進行了

2、探索和研究，并做出了一些有特色的成果。
　　 (1)研究了新聞視頻中的鏡頭分割，提出了一種基于自適應閾值的鏡頭邊界檢測算法。針對新聞視頻中多為切變鏡頭及經(jīng)常存在閃光燈的特點，首先通過兩次檢測及自適應閾值調(diào)整初步確定鏡頭邊界，然后加入閃光燈判定條件并將檢測出的閃關燈事件濾除，最終確定鏡頭邊界。實驗證明，本算法對閃光燈的適應性大大增加，顯著提高了鏡頭檢測的準確率。
　　 (2)研究了主持人鏡頭檢測，提出了一種基于音視頻特征融

3、合的主持人鏡頭提取方法。主持人模板是通過綜合考慮靜音片段的特征之后自動提取的。然后利用主持人鏡頭背景不變的特性，通過色矩計算和顏色模板匹配來進行主持人鏡頭的檢測。該方法實現(xiàn)了主持人鏡頭的自動化聚焦，具有準確度高和適應性強等優(yōu)點。
　　 (3)研究了關鍵幀提取技術，提出了一種基于鏡頭與標題字幕方法融合的關鍵幀提取方法。針對新聞節(jié)目的特點，選取兩種幀作為關鍵幀：一是包含新聞主題字幕的幀，二是取每個鏡頭最接近時間中點的幀作為關鍵幀。實

4、驗結(jié)果表明，該方法提取的關鍵幀具有較好的代表性，能夠較好的描述新聞內(nèi)容。
　　 (4)研究了視頻摘要的生成及表現(xiàn)形式。綜合考慮新聞視頻中的多種模態(tài)信息，提出了基于多模態(tài)特征融合的新聞視頻摘要生成方法，視頻摘要表現(xiàn)形式包括新聞故事板形式的靜態(tài)摘要、基于比例壓縮的視頻縮略、基于主持人鏡頭的視頻縮略和基于新聞標題條的視頻縮略。
　　 最后，設計實現(xiàn)了一個多特征融合的新聞視頻摘要原型系統(tǒng)，系統(tǒng)集成了本文研究的主要成果，實驗結(jié)果表