基于主題模型的動態(tài)場景分類.pdf

1、場景分類是指根據(jù)特定意義對圖像數(shù)據(jù)集進(jìn)行自動標(biāo)注,是當(dāng)前計算機(jī)視覺領(lǐng)域的一個研究熱點。本文以動態(tài)場景為研究對象,以視覺詞包-語義主題建模-動態(tài)場景語義分類為主線,研究基于主題模型的動態(tài)場景分類方法。研究內(nèi)容主要包括動態(tài)場景視覺詞典的構(gòu)建,基于先驗知識的消息傳遞主題模型建模以及動態(tài)場景語義分類的實現(xiàn)。論文的主要工作如下:
　　1、針對現(xiàn)有主題語義場景分類方法大多局限于靜態(tài)圖像集,視覺單詞生成方法不能直接適用于動態(tài)場景的問題,在充分考

2、慮動態(tài)場景中的空間和時間隨機(jī)動態(tài)的情況下,提出采用SIFT(Scale Invariant Feature Transform)流特征描述的動態(tài)場景視覺單詞生成方法。該方法在特征提取階段采用SIFT特征點,對尺度、旋轉(zhuǎn)、仿射變換具有穩(wěn)健性,對靜態(tài)圖像幀中的局部信息也更具有較強(qiáng)的魯棒性;在計算流場時,避免了傳統(tǒng)光流中對像素灰度值不變的假設(shè),在相鄰的圖像幀之間以稠密的SIFT描述子作為流場的基礎(chǔ),能夠克服噪聲點對流場計算的干擾。在量化階段,

3、針對視覺特征量化為視覺單詞丟失特征的空間位置信息問題,采用均勻分塊的思想,按照SIFT流的位置量化為視覺單詞,解決了缺少空間位置信息的問題。實驗證明,提出的動態(tài)視覺詞典生成方法能夠得到較好的分類性能,該方法比采用灰度差分特征的描述方法分類準(zhǔn)確率平均提高了10％左右。
　　2、針對傳統(tǒng)主題模型(PLSA、LDA)在動態(tài)場景分類中訓(xùn)練時間長、分類精度不高的問題,本文在研究TMBP(Topic Model of Belief Propa

4、gation)模型的基礎(chǔ)上,提出一種引入先驗知識的改進(jìn) Knowledge-TMBP主題模型。該模型通過動態(tài)視覺單詞和圖像文檔間的逆向文檔序數(shù)作為先驗知識的表達(dá),改寫原始 TMBP模型中的消息傳遞,從而保證重要的視覺單詞在主題推導(dǎo)中具有更大的決定性。
　　3、基于動態(tài)場景語義分類的應(yīng)用。論文實現(xiàn)了基于提出的動態(tài)視覺單詞、在TMBP模型以及Knowledge-TMBP模型下的動態(tài)場景分類。在包含14類動態(tài)場景的數(shù)據(jù)庫上做了相關(guān)的實驗