智能環(huán)境下基于音視頻特征融合的多說話人跟蹤研究.pdf

1、近年來，隨著遠(yuǎn)程視頻會(huì)議系統(tǒng)以及自動(dòng)會(huì)議分析系統(tǒng)的發(fā)展，智能環(huán)境下說話人跟蹤問題已成為人機(jī)交互領(lǐng)域的研究熱點(diǎn)，它在以人為基礎(chǔ)的普適計(jì)算、視頻會(huì)議系統(tǒng)以及機(jī)器人導(dǎo)航等領(lǐng)域都有著廣泛的應(yīng)用。隨著當(dāng)前自動(dòng)會(huì)議分析系統(tǒng)的發(fā)展，以往基于麥克風(fēng)陣列與基于計(jì)算機(jī)視覺的單模態(tài)跟蹤技術(shù)已無法滿足復(fù)雜條件下對(duì)說話人跟蹤系統(tǒng)整體精確性與魯棒性的需求?；诖耍疚木椭悄墉h(huán)境下音視頻多特征融合的多說話人跟蹤方法方法展開了深入的研究，主要取得的研究成果如下：

2、>　　 (1)針對(duì)粒子濾波算法在說話人跟蹤系統(tǒng)中的廣泛應(yīng)用，本文對(duì)粒子濾波算法展開了深入的研究?？紤]到一般系統(tǒng)狀態(tài)的轉(zhuǎn)移概率密度函數(shù)無法實(shí)現(xiàn)最新量測(cè)信息的實(shí)時(shí)更新，容易導(dǎo)致權(quán)值退化問題的出現(xiàn)，本文采用有限中心差分的方法對(duì)系統(tǒng)的重要性概率密度函數(shù)進(jìn)行迭代更新，并通過引入噪聲信息差值的方法，對(duì)系統(tǒng)的采樣粒子數(shù)進(jìn)行在線調(diào)整，實(shí)現(xiàn)了粒子采樣的實(shí)時(shí)更新，一定程度上克服了粒子采樣的權(quán)值退化問題。
　　 (2)針對(duì)基于麥克風(fēng)陣列的說話人跟蹤

3、問題，本文提出了一種基于自適應(yīng)有限差分粒子濾波的說話人定位跟蹤方法，該方法將自適應(yīng)差分粒子濾波引入到聲源定位跟蹤系統(tǒng)，實(shí)現(xiàn)了低信噪比與強(qiáng)混響環(huán)境下說話人的魯棒跟蹤問題。
　　 (3)針對(duì)基于計(jì)算機(jī)視覺的人體頭部跟蹤問題，本文考慮采用人體頭部的顏色和橢圓輪廓的最大梯度距離測(cè)度(DMG)信息作為特征觀測(cè)量，在D-S證據(jù)理論的框架內(nèi)實(shí)現(xiàn)了同類信息的融合處理，有效避免了基于單一顏色特征在光照突變、姿態(tài)變化以及背景相似等情況下的跟蹤穩(wěn)定性