基于ST-SIMFUSION算法和本體的視頻語(yǔ)義提取研究.pdf

1、視頻數(shù)據(jù)包含極為豐富的信息，諸如圖像、音頻、文本等多媒體信息，而這些信息與人們的日常生活、工作以及休閑、娛樂(lè)息息相關(guān)，越來(lái)越受到人們的關(guān)注和重視。然而，由于視頻數(shù)據(jù)的劇增以及其內(nèi)容和結(jié)構(gòu)的復(fù)雜性，人們對(duì)視頻數(shù)據(jù)的利用和管理也變得更加困難。為了使人們能夠?qū)σ曨l數(shù)據(jù)進(jìn)行有效的查詢、組織和利用，近年來(lái)，視頻檢索技術(shù)，特別是基于語(yǔ)義的視頻檢索技術(shù)受到了研究者的高度重視，成為多媒體數(shù)據(jù)檢索領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　 本文在綜合分析目前視頻

2、語(yǔ)義概念提取方法的基礎(chǔ)上，提出基于ST-Simfusion算法和本體相結(jié)合的視頻語(yǔ)義提取算法，并實(shí)現(xiàn)相應(yīng)的原型系統(tǒng)。本文主要研究工作如下：
　　 (1)針對(duì)目前視頻語(yǔ)義檢索中大多數(shù)算法在樣本標(biāo)注方面存在的不足（如主觀性強(qiáng)、不規(guī)范、通用性差等），提出一種基于本體概念的樣本標(biāo)注方法，即采用本體概念進(jìn)行樣本標(biāo)注，使訓(xùn)練得到的語(yǔ)義提取模型的普適性更好；針對(duì)視頻文本特征的比較，提出一種基于本體概念的文本測(cè)度，即用本體中概念之間的距離（即相

3、似度）作為文本特征之間比較的測(cè)度，以降低鏡頭相似度計(jì)算的復(fù)雜性。
　　 (2)提出一種基于自適應(yīng)閾值ST的聚類算法和Simfusion相結(jié)合的鏡頭相似度計(jì)算方法，即ST-Simfusion算法。該方法利用聚類算法提取鏡頭的關(guān)鍵幀，借鑒Simfusion算法的思想，計(jì)算鏡頭的相似度，使得本算法既能夠保證鏡頭所表達(dá)信息的完整性，又能充分利用鏡頭多模態(tài)之間的關(guān)聯(lián)共生特性，從而有利于提高語(yǔ)義概念提取的準(zhǔn)確率。
　　 (3)提出一

4、種基于ST-Simfusion和本體的算法，用于語(yǔ)義提取模型SVM的訓(xùn)練。該方法首先利用ST-Simfusion算法對(duì)鏡頭進(jìn)行聚類，得到鏡頭之間相似度矩陣；然后把該相似度矩陣用于LPP降維，得到高維空間中與鏡頭數(shù)據(jù)對(duì)應(yīng)的坐標(biāo)；最后把坐標(biāo)和用本體概念標(biāo)注的樣本的信息作為SVM的輸入，訓(xùn)練語(yǔ)義提取模型。
　　 (4)語(yǔ)義概念提取原型系統(tǒng)的實(shí)現(xiàn)。采用面向?qū)ο笏枷?，設(shè)計(jì)并實(shí)現(xiàn)了視頻語(yǔ)義檢索的原型系統(tǒng)。該系統(tǒng)主要有視頻數(shù)據(jù)預(yù)處理、特征提取