基于多模態(tài)特征的視頻語義鏡頭標注.pdf

1、視頻的鏡頭類型是視頻底層特征和高級語義之間的橋梁，能有效彌補兩者之間的鴻溝，有助于視頻精彩事件檢測，促進創(chuàng)建視頻摘要，進而滿足用戶快速查詢和瀏覽視頻的要求。現(xiàn)有視頻語義鏡頭標注方法大多基于視頻的視覺特征，未充分利用多模態(tài)特征，浪費了數(shù)據(jù)資源，標注效果也有待提升。本文提出了基于多模態(tài)特征的視頻語義鏡頭標注方法，并應用于足球視頻，主要工作有：
　?。?）分析并提取了足球視頻的多模態(tài)特征。包括鏡頭關鍵幀的視覺特征—草色塊個數(shù)、人臉區(qū)域參

2、數(shù)、邊緣、紋理和鏡頭的攝像機運動特征；鏡頭對應音頻信號的平均短時能量、短時過零率、音頻幀能量序列的自相關函數(shù)特征。同時，本文提出了累積方差法，并結合連通域分析技術提取了足球視頻記分牌中的時鐘數(shù)字，采用支持向量機(Suppo rt Vecto r Mac hine, SVM)對提取出的時鐘數(shù)字進行了識別，用關鍵詞匹配方法提取了足球視頻網(wǎng)絡直播文本的文本事件及對應的時間標簽，并將文本/視頻的時間進行了對準。實驗結果證明了特征提取方法的正確性