視頻概念檢測中的領(lǐng)域自適應(yīng)和語義關(guān)聯(lián)研究.pdf

1、當今社會，智能設(shè)備正以前所未有的速度進行普及，日漸完善的互聯(lián)網(wǎng)和移動網(wǎng)絡(luò)將來自全世界的信息匯總和連接，人們從信息的接受者逐漸變成了信息的創(chuàng)造者和傳播者。視頻作為一種信息的常見載體，融合了圖像、時序、音頻等多種特征，具有直觀生動的特點，被廣泛地應(yīng)用。然而視頻中所包含的復雜的語義層級信息對高效的管理和準確的檢索提出了更為嚴苛的挑戰(zhàn)。在視頻人工標注過于昂貴的情況下，為了從視頻內(nèi)容中直接讀取出其中包含的物體、人物、場景等語義層概念，發(fā)展出了基于

2、內(nèi)容的視頻概念檢測技術(shù)。
　　然而，當前的視頻概念檢測技術(shù)尚且面臨著種種困難，還無法很好地在實際中得到應(yīng)用。比如訓練庫與測試庫不同領(lǐng)域之間廣泛存在的樣本分布差異導致檢測器的性能下降、找尋視頻中多種特征之間靈活高效的融合方式、低層特征與高層特征之間存在的“語義鴻溝”等問題。本文以上述三方面中的研究難點為出發(fā)點，對視頻概念檢測中的特征層領(lǐng)域自適應(yīng)問題、多特征融合中的領(lǐng)域自適應(yīng)問題以及視頻概念間的語義關(guān)聯(lián)進行了探討和創(chuàng)新，主要取得的成果

3、如下:
　　(1)針對目前特征層的不同領(lǐng)域間樣本分布差異的問題，本文基于Adaboost提出了領(lǐng)域自適應(yīng)boosting算法(DAB)。它主要解決的是當前TrAdaBoost算法中存在的目標領(lǐng)域（測試庫）與源領(lǐng)域（訓練庫）數(shù)據(jù)分配不合理的問題，分為兩個主要步驟:首先對源領(lǐng)域的數(shù)據(jù)在特征空間內(nèi)進行無監(jiān)督分類;然后在迭代訓練中，將目標領(lǐng)域驗證集中選擇出的樣本映射到已分類的源領(lǐng)域特征空間中，匹配出一定數(shù)量的源領(lǐng)域樣本。最后，兩個領(lǐng)域選擇

4、出的數(shù)據(jù)共同進行弱分類器的訓練。作為TrAdaBoost算法的一種改進型算法，DAB算法能夠很好地解決大規(guī)模領(lǐng)域定義和小尺寸驗證集的情況。DAB算法有兩個主要優(yōu)點:在訓練中能夠突出目標領(lǐng)域數(shù)據(jù)的重要性，在實驗中獲得了更好性能表現(xiàn);由于不需要對源領(lǐng)域的數(shù)據(jù)進行判別和權(quán)值計算，因而減小了計算量。
　　(2)針對當前多特征融合研究中的領(lǐng)域自適應(yīng)能力缺失的問題，本文提出了領(lǐng)域自適應(yīng)的線性融合方法(DALC)。它是一種后期融合方法，基于多特

5、征分類器的輸出分值進行融合。該算法以線性融合模型(LC)為基礎(chǔ)，通過分析源領(lǐng)域和目標領(lǐng)域之間的差異，來自適應(yīng)更新LC模型的融合參數(shù)。它的原理是找尋領(lǐng)域樣本與LC融合參數(shù)之間的關(guān)聯(lián)關(guān)系，利用源領(lǐng)域中已經(jīng)建立的關(guān)聯(lián)關(guān)系去指導目標領(lǐng)域的關(guān)聯(lián)關(guān)系，通過優(yōu)化搜索來找尋更新后的融合參數(shù)，使得兩個領(lǐng)域中存在的關(guān)聯(lián)關(guān)系距離最小。DALC模型是一種通用的非監(jiān)督式方法，不需要訓練，有著很快的自適應(yīng)速度。與當前一些沒有考慮領(lǐng)域自適應(yīng)的多特征融合方法相比，有著

6、更好的融合性能。
　　(3)針對視頻概念間的語義關(guān)聯(lián)問題，本文提出了基于節(jié)點平衡(NE)的概念關(guān)聯(lián)模型，它與DALC模型共同構(gòu)成了一個兩級語義模型。該方法以物理模型為基礎(chǔ)，將概念之間的關(guān)聯(lián)性用物理性的引力和斥力進行建模，而將一個個鏡頭-概念對看作是物理節(jié)點，它們的分值則是它們所處的位置。對不同類別的概念關(guān)聯(lián)方式，可以定義不同種類的力，它們可以共同作用在一個節(jié)點之上，從而達到使用多種概念關(guān)聯(lián)共同作用的結(jié)果。與現(xiàn)有的方法相比，它可以使