基于多模態(tài)信息的新聞視頻內容分析技術研究.pdf

1、對視頻數(shù)據(jù)的有效處理、瀏覽、檢索和管理正伴隨著視頻數(shù)據(jù)的快速增長而成為亟待解決的現(xiàn)實問題。視頻內容分析技術旨在將非結構化的視頻數(shù)據(jù)結構化，并提取其中的語義內容，構建低層特征到高層語義之間的橋梁，最終建立視頻的摘要、索引和檢索等應用系統(tǒng)，提供給用戶方便的視頻內容獲取方式。 本論文以新聞視頻為研究對象，以音頻、字幕、視覺等多模態(tài)信息及其有效融合為研究手段，以模式識別理論中的相關模型為工具，對視頻內容分析技術展開了較為深入的研究。主要

2、貢獻包括以下三個方面： （1）提出了一種新穎的基于MPEG壓縮域的主持人鏡頭快速檢測算法。其中，在預處理部分，引入了一種改進的利用壓縮域信息檢測人臉的方法；在鏡頭聚類部分，構造了一個新穎的度量特征量對主持人鏡頭采用系統(tǒng)聚類法進行聚類，并用模糊C均值聚類法解決了聚類過程中自適應閾值確定的問題。該算法在保持較高檢測性能的前提下提高了主持人鏡頭的檢測速度。 （2）提出了一種基于決策樹的鏡頭分類算法，將新聞視頻鏡頭依次分為廣告、

3、“其他”、靜態(tài)圖像、主持人、記者和獨白六類。其中廣告、“其他”和靜態(tài)圖像三類分別利用黑幀、運動、時間以及人臉等特征進行檢測；主持人鏡頭采用聚類方法進行檢測；對于比較難區(qū)分的記者和獨白鏡頭，創(chuàng)新性地將它們的檢測轉換為文本序列標注的問題，并采用條件隨機場進行建模。該算法有效地融合了音頻、人臉以及上下文等多模態(tài)信息，對新聞視頻中重要的鏡頭進行了區(qū)分，并取得了較好的分類結果。 （3）提出了一種融合音頻、字幕以及視覺等多模態(tài)信息的新聞故事

4、單元分割算法。創(chuàng)新性地將字幕變化、音頻類型以及鏡頭類型等高層次內容特征聯(lián)系起來共同處理，巧妙地將新聞鏡頭序列轉換成為多個關鍵詞序列，使新聞故事單元分割問題轉換成為文本序列分割的問題。該算法采用條件隨機場進行建模，充分利用了每個序列內以及序列之間的上下文信息，得到了較好的分割性能。 此外，論文還綜述了視頻內容分析技術，構造了一個基于規(guī)則和隱馬爾可夫模型的分層音頻分類方法，實現(xiàn)了一個較完整的新聞視頻中字幕提取框架，最終設計并實現(xiàn)了一