流形降維方法在視頻內(nèi)容分析中的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)、網(wǎng)絡(luò)和數(shù)字化技術(shù)的發(fā)展和普及，網(wǎng)上多媒體數(shù)據(jù)量急劇增加，計(jì)算機(jī)自動處理、分析、挖掘、檢索網(wǎng)上海量多媒體數(shù)據(jù)(特別是視頻數(shù)據(jù))已經(jīng)成為信息社會的迫切需求，視頻信息處理和內(nèi)容分析的研究迎來了巨大的發(fā)展機(jī)遇，也面臨著許多挑戰(zhàn)。 過去10多年來，人們在鏡頭邊界檢測、場景分析、視頻摘要等許多方面取得很大研究進(jìn)展，主要成績有：研究了各種低級視覺特征(例如顏色、邊緣、紋理等)的提取方法和表示能力；采用了多種數(shù)學(xué)模型(例如隱馬爾科夫

2、模型HMM、高斯混合模型GMM等)進(jìn)行視頻內(nèi)容分析，以發(fā)現(xiàn)各種模型對視頻信息的建模和表達(dá)能力；探索了各種基于機(jī)器視覺、模式識別的方法，以發(fā)現(xiàn)更加有效的時(shí)空特征，以及更適合視頻特征提取與識別的方法。 在這些研究中，已經(jīng)有很多方法能夠進(jìn)入實(shí)際應(yīng)用，如鏡頭邊界檢測技術(shù)等。但是，在所取得的大量研究進(jìn)展之背后，我們還應(yīng)清楚地看到一些難以解決的問題，例如涉及高層語義的場景分析問題仍然沒有切實(shí)可行的解決方案，因?yàn)檎Z義鴻溝的存在，基于語義的視頻

3、內(nèi)容分析的研究尚無重大進(jìn)展。 近年來提出的一些非線性降維方法，例如流形降維方法，在視頻內(nèi)容分析中可能會發(fā)揮重要作用，因?yàn)樗芨玫亟沂倦[藏在觀察數(shù)據(jù)中的某些內(nèi)在規(guī)律，這是傳統(tǒng)線性方法(例如主分量分析PCA)無法做到的。 本文采用流形降維方法處理視頻內(nèi)容分析中兩個(gè)實(shí)際問題：鏡頭邊界分類和場景分析。我們用一種流形降維方法即拉普拉斯特征映射來發(fā)現(xiàn)鏡頭邊界附近圖像序列的時(shí)域變化模式，用圖像序列在其低維流形空間的映射來表示鏡頭邊界

4、的特征，以期反映鏡頭邊界的本質(zhì)特性；同時(shí)，我們針對鏡頭邊界分類問題的樣本不平衡特性，設(shè)計(jì)了一種樣本大小相關(guān)的KNN分類器，以學(xué)習(xí)每一種類型的鏡頭邊界的模式。實(shí)驗(yàn)表明，流形空間表示的圖像幀序列模式能很好地反映鏡頭內(nèi)容變化的本質(zhì)特性。 對于視頻場景分析，至今也沒有取得良好進(jìn)展，其主要原因是語義鴻溝問題。本文提出了一種介于鏡頭和場景之間的結(jié)構(gòu)特征，它能在一定程度上刻畫類似場景的結(jié)構(gòu)信息，但又不涉及高層語義信息提取的難題。我們用拉普拉斯