基于多特征學(xué)習(xí)的視頻語(yǔ)義標(biāo)注.pdf

1、基于多特征學(xué)習(xí)的視頻語(yǔ)義標(biāo)注Videoannotationwithmultiplefeaturedistancelearning李真超指導(dǎo)小組成員名單導(dǎo)師周向東教授指導(dǎo)小組成員張亮教授談子敬副教授張守志副教授基于多特征學(xué)習(xí)的視頻語(yǔ)義標(biāo)注摘要摘要自從計(jì)算機(jī)誕生以來(lái)我們就不斷試圖讓計(jì)算機(jī)理解人類所觀察到的事物。從數(shù)值計(jì)算，符號(hào)計(jì)算開始，人們不斷推進(jìn)計(jì)算機(jī)的”理解能力”。文字，圖像，視頻等多媒體內(nèi)容的理解牽涉到高層的語(yǔ)義，計(jì)算機(jī)能否對(duì)這些內(nèi)容

2、給出對(duì)應(yīng)的語(yǔ)義標(biāo)簽是讓計(jì)算機(jī)對(duì)這些對(duì)象有認(rèn)知的第一步。通常我們對(duì)視頻進(jìn)行語(yǔ)義標(biāo)注都需要將標(biāo)簽限定在一個(gè)范圍中，這是因?yàn)橥ㄓ玫膶?duì)所有視頻的標(biāo)注系統(tǒng)難以避免語(yǔ)義鴻溝。在給定的標(biāo)簽范圍內(nèi)，我們對(duì)視頻數(shù)據(jù)進(jìn)行分類。這使得我們的目標(biāo)變得可行。視頻的特點(diǎn)是它具有多種特征，包括音頻，靜態(tài)圖像，文字以及動(dòng)作特征。通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)，動(dòng)作特征對(duì)于區(qū)分以動(dòng)作為語(yǔ)義的視頻是有效的。以往的視頻標(biāo)注系統(tǒng)對(duì)于如何使用如此多的特征種類對(duì)視頻進(jìn)行分類性能的提高并沒(méi)有很好

3、的考慮。我們認(rèn)為多種特征的融合有利于發(fā)揮各種特征的區(qū)分能力，對(duì)不同的視頻類別，不同的特征的描述能力也是有強(qiáng)弱之分的。我們使用核化的logistic回歸作為框架，對(duì)從視頻數(shù)據(jù)提取的多種特征用多距離學(xué)習(xí)的方法，學(xué)習(xí)出每一個(gè)視頻類別的特征權(quán)重系數(shù)。為了達(dá)到特征選取的目的，我們引入權(quán)重系數(shù)的一階范數(shù)懲罰。這使得無(wú)關(guān)的視頻特征的權(quán)重降低為0。為了防止模型過(guò)擬合，我們還對(duì)logistic回歸的參數(shù)進(jìn)行了二階范數(shù)的懲罰。由于目標(biāo)函數(shù)相對(duì)于這兩組參數(shù)不