基于深度學(xué)習(xí)的語(yǔ)音分離研究.pdf

1、語(yǔ)音分離將目標(biāo)語(yǔ)音從背景噪聲中分離出來(lái)，去除了語(yǔ)音中的噪聲，提高了聽(tīng)感知質(zhì)量和可懂度，可廣泛應(yīng)用于助聽(tīng)器、移動(dòng)通訊、語(yǔ)音識(shí)別、說(shuō)話人識(shí)別等領(lǐng)域?；谏疃葘W(xué)習(xí)的方法將語(yǔ)音分離形式化為一個(gè)機(jī)器學(xué)習(xí)問(wèn)題，通過(guò)訓(xùn)練學(xué)習(xí)器，將輸入的帶噪語(yǔ)音轉(zhuǎn)換為純凈的目標(biāo)語(yǔ)音。與傳統(tǒng)處理手段相比，這一方法大幅度地提升了語(yǔ)音分離的性能，具有廣闊的研究前景。本文關(guān)注于語(yǔ)音分離問(wèn)題，針對(duì)其中的主要問(wèn)題提出了新思路和新方法。本文的創(chuàng)新點(diǎn)和主要貢獻(xiàn)體現(xiàn)在以下幾個(gè)方面:

2、r>　　1.提出了將時(shí)頻掩蔽目標(biāo)和頻譜映射目標(biāo)相互融合的集成學(xué)習(xí)方法。通過(guò)比較訓(xùn)練目標(biāo)不相同的分離模型的輸出，發(fā)現(xiàn)了兩類目標(biāo)的互補(bǔ)性質(zhì)，將多目標(biāo)深度神經(jīng)網(wǎng)絡(luò)作為分離模型，同時(shí)預(yù)測(cè)時(shí)頻掩蔽目標(biāo)和頻譜映射目標(biāo)，在此基礎(chǔ)上，比較研究了多種融合手段，最終采用多層感知器進(jìn)行結(jié)果融合，并將分離模型與融合模型聯(lián)合訓(xùn)練、整體優(yōu)化。本方法充分利用了兩類目標(biāo)提供的互補(bǔ)信息，提高了系統(tǒng)的分離性能。
　　2.提出了基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音基音估計(jì)方法。通過(guò)

3、對(duì)和語(yǔ)音基音直接對(duì)應(yīng)的諧波結(jié)構(gòu)的分析，發(fā)現(xiàn)了諧波結(jié)構(gòu)在線性頻譜中具有平移不變性的現(xiàn)象，因而提出使用能夠建模平移不變性的卷積神經(jīng)網(wǎng)絡(luò)來(lái)刻畫諧波結(jié)構(gòu)，提升了語(yǔ)音基音估計(jì)的準(zhǔn)確率。
　　3.提出了語(yǔ)音分離和基音估計(jì)聯(lián)合算法。通過(guò)對(duì)語(yǔ)音分離和基音估計(jì)兩個(gè)任務(wù)的分析，我們發(fā)現(xiàn)對(duì)于語(yǔ)音分離任務(wù)，基音是有高度區(qū)分性的魯棒特征。同時(shí)，對(duì)于基音估計(jì)任務(wù)，語(yǔ)音分離可以去除噪聲，提升基音估計(jì)的準(zhǔn)確率。因此，語(yǔ)音分離和基音估計(jì)可以相互促進(jìn)共同提高。所以，

4、提出了將兩者相結(jié)合的聯(lián)合算法，交替處理語(yǔ)音分離和基音估計(jì)兩個(gè)任務(wù)，并將這一過(guò)程作為一個(gè)處理模塊，嵌入到深度層疊網(wǎng)絡(luò)中，自然地完成多次迭代，隨著網(wǎng)絡(luò)深度的加深，兩個(gè)任務(wù)的性能都得到了提升。
　　4.提出了單聲道和多聲道語(yǔ)音增強(qiáng)聯(lián)合算法。通過(guò)對(duì)單聲道和多聲道的語(yǔ)音增強(qiáng)方法的分析，發(fā)現(xiàn)單聲道語(yǔ)音分離可以減少噪聲，提高麥克風(fēng)陣列的導(dǎo)向向量估計(jì)的準(zhǔn)確率，進(jìn)而提升多聲道語(yǔ)音增強(qiáng)的性能。同時(shí)，多聲道語(yǔ)音增強(qiáng)可以提供單聲道分離所需要的跨聲道信息。