會議室環(huán)境下基于音頻視頻信息融合的多說話人識別.pdf

1、隨著傳感器技術(shù)的不斷發(fā)展和音視頻處理技術(shù)的不斷提高,利用音視頻融合方法進行說話人識別已經(jīng)成為當前身份識別領(lǐng)域重要的技術(shù)手段。一個典型的應用就是會議室環(huán)境下的說話人識別。
　　 本文以AMI語料庫中的視聽會議為仿真材料,利用音視頻融合的方法對會議過程中的多說話人進行了識別研究,具體工作如下:
　　 文章首先利用說話長度、說話能量、說話次數(shù)等單一特征以及上述特征的有效組合,對會議過程中的最主要說話人進行了識別。并對各項特征及

2、特征組合的有效性進行了分析和排序。之后,實驗利用嚴格和寬松兩種評判標準,對會議中存在多位最主要說話人的情況進行了討論。
　　 接下來,本文以ICSI RT07s說話人識別系統(tǒng)為參考,設(shè)計了基于音頻信息的說話人識別系統(tǒng)。在語音活動檢測階段,實驗運用高斯混合模型為語音/非語音檢測器建模。與ICSI RT07s系統(tǒng)中基于隱馬爾可夫模型的語音/非語音檢測器相比,基于高斯混合模型的語音檢測器原理清晰、可擴展性好,是本次研究的創(chuàng)新之處。之后

3、,實驗對建模過程中涉及到的若干可調(diào)參數(shù)進行了優(yōu)化,并運用各項可調(diào)參數(shù)的最優(yōu)值完成了說話人建模過程。
　　 在視頻識別階段,實驗首先從數(shù)學原理出發(fā),比較了兩種幀問差分算法的優(yōu)劣,并運用效果較好的一種幀差法對視頻片段中面部活動水平最大的參會人進行了檢測,將該參會人識別為會議中的晚話人。與國外基于MPEG視頻壓縮格式的檢測方法相比,本文的幀羞法可以在任何視頻格式下使用,是本次研究的另一個創(chuàng)新之處。
　　 在分別得到音頻和視頻識

4、別結(jié)果之后,本文通過貪心的匹配融合算法,對音頻和視頻識別結(jié)果進行匹配關(guān)聯(lián),完成了不同模態(tài)下識別結(jié)果的融合。實驗運用58段同步的音視頻語料對融合算法的有效性進行了測試。結(jié)果表明,隨著測試語料長度的增加,識別準確率也隨之增加。系統(tǒng)對于58段測試語料整體的識別率可達74.14％。
　　 與傳統(tǒng)的基于單模態(tài)信息的說話人識別相比,利用信息融合手段進行說話人識別可以有效提高識別過程的持續(xù)性和魯棒性。當一類信息受到干擾或發(fā)生遮擋時,仍然可以利