結(jié)合發(fā)音特征與深度學(xué)習(xí)的語(yǔ)音生成方法研究.pdf

1、發(fā)音特征指的是人類語(yǔ)音產(chǎn)生過(guò)程中舌頭、牙齒、嘴唇等發(fā)音器官的位置和運(yùn)動(dòng)特征。發(fā)音特征描述層次化語(yǔ)音產(chǎn)生過(guò)程中的生理層信息，與聲學(xué)特征緊密相關(guān)，同時(shí)又具有物理意義明確、受環(huán)境噪聲影響小等優(yōu)點(diǎn)。因此，近年來(lái)結(jié)合發(fā)音特征的語(yǔ)音信號(hào)處理方法受到了廣泛的研究關(guān)注。本文圍繞結(jié)合發(fā)音特征的語(yǔ)音生成方法開展研究，重點(diǎn)關(guān)注發(fā)音特征到聲學(xué)特征轉(zhuǎn)換與結(jié)合發(fā)音特征的統(tǒng)計(jì)參數(shù)語(yǔ)音合成兩個(gè)任務(wù)。
　　發(fā)音特征到聲學(xué)特征轉(zhuǎn)換旨在建立發(fā)音特征到聲學(xué)特征的映射關(guān)系

2、，實(shí)現(xiàn)在只使用發(fā)音特征的情況下生成自然可懂的語(yǔ)音信號(hào)。該技術(shù)在靜默語(yǔ)音接口、可控語(yǔ)音合成、話者與口音轉(zhuǎn)換等方面有著應(yīng)用價(jià)值。現(xiàn)階段該技術(shù)研究主要集中于發(fā)音特征到反映聲道濾波器特性的頻譜特征的轉(zhuǎn)換，對(duì)于發(fā)音特征到聲源激勵(lì)相關(guān)的能量、清濁判決、基頻等聲學(xué)特征轉(zhuǎn)化方法的研究較為缺乏。此外，已有研究工作主要使用混合高斯模型(Gaussian mixture model，GMM)建立發(fā)音特征到聲學(xué)特征的映射關(guān)系，也存在建模精度不足以及生成語(yǔ)音質(zhì)量

3、不高的問(wèn)題。結(jié)合發(fā)音特征的統(tǒng)計(jì)參數(shù)語(yǔ)音合成旨在將發(fā)音特征融入統(tǒng)計(jì)參數(shù)語(yǔ)音合成的聲學(xué)建模，改善從文本預(yù)測(cè)聲學(xué)特征的精度與合成語(yǔ)音的自然度。統(tǒng)計(jì)參數(shù)語(yǔ)音合成是現(xiàn)階段實(shí)現(xiàn)文本到語(yǔ)音轉(zhuǎn)換的主流方法，具有系統(tǒng)構(gòu)建自動(dòng)化程度高、合成語(yǔ)音平穩(wěn)流暢、靈活性與拓展能力強(qiáng)等優(yōu)點(diǎn)。已有的結(jié)合發(fā)音特征的統(tǒng)計(jì)參數(shù)語(yǔ)音合成聲學(xué)建模研究，主要在隱馬爾可夫模型(hidden Markov model，HMM)和隱藏式軌跡模型（hidden trajectory mod

4、el，HTM）框架下開展。近年來(lái)，深度前饋網(wǎng)絡(luò)（deep forward networks，DFN）和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)等深度學(xué)習(xí)模型在統(tǒng)計(jì)參數(shù)語(yǔ)音合成的聲學(xué)建模中得到了成功應(yīng)用，而在在深度學(xué)習(xí)框架下結(jié)合發(fā)音特征的聲學(xué)建模研究仍不多見(jiàn)。
　　因此，本文研究結(jié)合發(fā)音特征與深度學(xué)習(xí)的語(yǔ)音生成方法，在發(fā)音特征到聲學(xué)特征轉(zhuǎn)換與結(jié)合發(fā)音特征的統(tǒng)計(jì)參數(shù)語(yǔ)音合成兩個(gè)主要方面開展工作，具體包括

5、:
　　首先，研究了基于深度學(xué)習(xí)的發(fā)音特征到聲學(xué)特征轉(zhuǎn)換方法。針對(duì)傳統(tǒng)GMM模型對(duì)特征間非線性關(guān)系建模能力的不足，本文提出使用DFN和RNN等深度學(xué)習(xí)模型進(jìn)行發(fā)音特征到聲學(xué)特征的轉(zhuǎn)換，取得了優(yōu)于GMM模型的頻譜特征預(yù)測(cè)精度與生成語(yǔ)音質(zhì)量。此外，本文在發(fā)音特征到頻譜特征轉(zhuǎn)換基礎(chǔ)上，利用深度學(xué)習(xí)模型探索了從發(fā)音特征預(yù)測(cè)能量、清濁判決、基頻等激勵(lì)特征的可行性，實(shí)現(xiàn)了只依賴發(fā)音特征的語(yǔ)音波形生成。
　　其次，研究了結(jié)合語(yǔ)言知識(shí)和級(jí)聯(lián)

6、預(yù)測(cè)的發(fā)音特征到聲學(xué)特征轉(zhuǎn)換方法。為了彌補(bǔ)發(fā)音特征自身描述能力的不足，進(jìn)一步提升發(fā)音特征到聲學(xué)特征的轉(zhuǎn)換精度，本文提出了兩種對(duì)發(fā)音特征到聲學(xué)特征轉(zhuǎn)換中的輸入特征進(jìn)行增強(qiáng)的策略。一方面，利用發(fā)音特征到音素標(biāo)簽的分類器提取語(yǔ)言知識(shí)加入模型輸入端;另一方面，設(shè)計(jì)級(jí)聯(lián)形式的多特征預(yù)測(cè)模型結(jié)構(gòu)，利用生成的頻譜特征來(lái)輔助預(yù)測(cè)激勵(lì)相關(guān)聲學(xué)特征。實(shí)驗(yàn)結(jié)果表明了以上方法在改善聲學(xué)特征預(yù)測(cè)精度與提高生成語(yǔ)音質(zhì)量上的有效性。
　　再次，研究了結(jié)合發(fā)音特

7、征與深度學(xué)習(xí)的語(yǔ)音合成聲學(xué)建模方法。針對(duì)現(xiàn)有統(tǒng)計(jì)參數(shù)語(yǔ)音合成聲學(xué)模型建模精度仍需提高、合成語(yǔ)音自然度仍需改善的問(wèn)題，本文提出將發(fā)音特征引入基于深度學(xué)習(xí)方法的語(yǔ)音合成聲學(xué)建模中，并且基于多任務(wù)學(xué)習(xí)框架設(shè)計(jì)實(shí)現(xiàn)了三種聲學(xué)模型結(jié)構(gòu)，包括基于簡(jiǎn)單多任務(wù)學(xué)習(xí)的聲學(xué)建模、基于層次化語(yǔ)音產(chǎn)生的多任務(wù)學(xué)習(xí)聲學(xué)建模和基于結(jié)構(gòu)化輸出層的多任務(wù)學(xué)習(xí)聲學(xué)建模。實(shí)驗(yàn)結(jié)果表明上述三種模型相對(duì)傳統(tǒng)深度學(xué)習(xí)聲學(xué)建模均能取得不同程度的合成語(yǔ)音自然度提升，其中以基于結(jié)構(gòu)化

8、輸出層的多任務(wù)學(xué)習(xí)聲學(xué)建模方法效果最優(yōu)。
　　最后，研究了基于蒸餾學(xué)習(xí)的語(yǔ)音合成聲學(xué)建模方法。蒸餾學(xué)習(xí)是一種新近提出的知識(shí)遷移方法。本文研究了在神經(jīng)網(wǎng)絡(luò)框架下蒸餾學(xué)習(xí)用于回歸任務(wù)的實(shí)現(xiàn)算法，提出了基于神經(jīng)網(wǎng)絡(luò)蒸餾學(xué)習(xí)的語(yǔ)音合成聲學(xué)建模方法，以提升統(tǒng)計(jì)參數(shù)語(yǔ)音合成聲學(xué)建模對(duì)于發(fā)音特征的利用效果。實(shí)驗(yàn)結(jié)果表明，該方法相對(duì)多任務(wù)學(xué)習(xí)方法，可以進(jìn)一步提升結(jié)合發(fā)音特征后統(tǒng)計(jì)參數(shù)語(yǔ)音合成系統(tǒng)的聲學(xué)特征預(yù)測(cè)精度與合成語(yǔ)音自然度。此外，在無(wú)法獲取