基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法研究.pdf

1、語(yǔ)音增強(qiáng)是語(yǔ)音信號(hào)處理研究領(lǐng)域的一個(gè)重要分支。在過(guò)去的幾十年中，有很多無(wú)監(jiān)督的語(yǔ)音增強(qiáng)方法被提出，它們主要是通過(guò)先估計(jì)噪聲的譜信息，然后從帶噪語(yǔ)譜中將估計(jì)的噪聲譜減掉以得到對(duì)干凈語(yǔ)音譜的預(yù)測(cè)。但是由于噪聲的隨機(jī)性和突變性，使得對(duì)噪聲的跟蹤和估計(jì)變得困難。同時(shí)在傳統(tǒng)的語(yǔ)音增強(qiáng)方法中，考慮到噪聲和語(yǔ)音間的相互作用關(guān)系很復(fù)雜，就需要一些對(duì)信號(hào)間的獨(dú)立性假設(shè)以及對(duì)特征分布的高斯性假設(shè)，而這些假設(shè)通常是不合理的。首先，傳統(tǒng)的語(yǔ)音增強(qiáng)方法會(huì)殘留很多

2、噪聲，甚至是音樂(lè)噪聲。其次，語(yǔ)音的細(xì)節(jié)也在較大程度上受到破壞，這主要體現(xiàn)在對(duì)低信噪比語(yǔ)音的增強(qiáng)中。再者，極端非平穩(wěn)噪聲一直是傳統(tǒng)語(yǔ)音增強(qiáng)方法中比較棘手的地方，因?yàn)榉瞧椒€(wěn)噪聲的突發(fā)性，使得它始終處于被欠估計(jì)狀態(tài)，難以從帶噪語(yǔ)音中去掉，可實(shí)際聲學(xué)環(huán)境中，各種非平穩(wěn)噪聲又是大概率發(fā)生事件。最后，傳統(tǒng)的語(yǔ)音增強(qiáng)方法易引入一些非線性失真，使得其對(duì)后端的語(yǔ)音識(shí)別或語(yǔ)音編碼產(chǎn)生不良影響。
　　近年來(lái)，隨著深層神經(jīng)網(wǎng)絡(luò)(Deep Neural N

3、etwork，DNN)在語(yǔ)音識(shí)別領(lǐng)域的成功應(yīng)用，給了語(yǔ)音增強(qiáng)任務(wù)的研究人員很多啟發(fā)。DNN的深層非線性結(jié)構(gòu)可以被設(shè)計(jì)成一個(gè)精細(xì)的降噪濾波器。同時(shí)基于大數(shù)據(jù)訓(xùn)練，DNN可以充分學(xué)習(xí)帶噪語(yǔ)音和干凈語(yǔ)音之間的復(fù)雜的非線性關(guān)系。另外DNN的訓(xùn)練是離線學(xué)習(xí)的，如同人一樣，它能記住一些噪聲的模式，因而可以很好地抑制一些非平穩(wěn)噪聲。而在本論文中，我們提出一種幾乎無(wú)任何假設(shè)的基于DNN的語(yǔ)音增強(qiáng)方法，并針對(duì)實(shí)際環(huán)境中語(yǔ)音增強(qiáng)問(wèn)題展開(kāi)了一系列系統(tǒng)性的研究

4、。
　　首先我們提出了基于DNN的語(yǔ)音增強(qiáng)方法框架，對(duì)數(shù)功率譜被用作訓(xùn)練DNN模型的特征。DNN則作為映射函數(shù)，可以從帶噪語(yǔ)音中預(yù)測(cè)出干凈語(yǔ)音。而DNN的訓(xùn)練是分兩步進(jìn)行的，即預(yù)訓(xùn)練和有監(jiān)督訓(xùn)練。預(yù)訓(xùn)練是基于受限玻爾茲曼機(jī)(Restricted Boltzmann Machine，RBM)的逐層貪婪式初始化，它可以防止DNN陷入局部最優(yōu)。而有監(jiān)督調(diào)優(yōu)可以精準(zhǔn)地學(xué)習(xí)帶噪語(yǔ)音和干凈語(yǔ)音之間的非線性關(guān)系。
　　其次，DNN是一種有

5、監(jiān)督的學(xué)習(xí)模型，凡是有監(jiān)督的模型都存在如何應(yīng)對(duì)測(cè)試集不匹配問(wèn)題，也即如何提升系統(tǒng)的泛化能力。上百種類型的噪聲數(shù)據(jù)被用來(lái)構(gòu)建大規(guī)模訓(xùn)練數(shù)據(jù)，以此提高DNN模型對(duì)未見(jiàn)的測(cè)試噪聲環(huán)境的適應(yīng)性。同時(shí)我們發(fā)現(xiàn)，通過(guò)此種方法，系統(tǒng)對(duì)非平穩(wěn)噪聲有非常強(qiáng)的抑制能力。噪聲告知訓(xùn)練也可以進(jìn)一步地增強(qiáng)模型對(duì)測(cè)試噪聲環(huán)境的預(yù)見(jiàn)能力。而丟棄(Dropout)法可以防止訓(xùn)練出現(xiàn)過(guò)擬合現(xiàn)象。另外，我們還針對(duì)DNN作為回歸模型出現(xiàn)的過(guò)平滑問(wèn)題，提出了全局方差均衡方法以

6、提升增強(qiáng)的語(yǔ)音的聽(tīng)感。
　　再者，對(duì)測(cè)試中的不匹配帶噪語(yǔ)音需要做自適應(yīng)，這個(gè)不匹配主要有:能量不匹配，噪聲環(huán)境不匹配和語(yǔ)言不匹配等方面。因此我們分別在特征層面，提出了均值移位方法，來(lái)解決測(cè)試語(yǔ)音的特征分布不一致的問(wèn)題。而對(duì)于噪聲類型不匹配問(wèn)題，我們提出了一種動(dòng)態(tài)的噪聲告知訓(xùn)練方法，即先用IBM動(dòng)態(tài)地估計(jì)每一幀的噪聲，然后用來(lái)輔助DNN的學(xué)習(xí)。語(yǔ)言不匹配問(wèn)題，主要存在于跨語(yǔ)種測(cè)試的時(shí)候，由于不同語(yǔ)系發(fā)音上的差異性導(dǎo)致的丟音問(wèn)題。我們

7、提出了通過(guò)轉(zhuǎn)移學(xué)習(xí)的方法，來(lái)自適應(yīng)地解決這個(gè)問(wèn)題。
　　最后，對(duì)數(shù)功率譜上的最小均方誤差是訓(xùn)練DNN的目標(biāo)函數(shù)，但是直接去優(yōu)化這個(gè)目標(biāo)函數(shù)有一定困難的。我們提出了一種間接的目標(biāo)函數(shù)優(yōu)化方式?？紤]到對(duì)數(shù)功率譜域上的各個(gè)維度間是相互獨(dú)立的，因此我們把梅爾倒頻譜參數(shù)(Mel Frequency Cepstrum Coefficient，MFCC)融合到系統(tǒng)中來(lái)，讓DNN去聯(lián)合優(yōu)化對(duì)數(shù)功率譜特征和MFCC特征。利用MFCC的每個(gè)參數(shù)都包含