高自然度漢語語音合成韻律預(yù)測(cè)技術(shù)研究.pdf

1、隨著多媒體通信技術(shù)的不斷發(fā)展，作為人機(jī)通信重要方式之一的語音合成技術(shù)以其方便、快捷的優(yōu)點(diǎn)受到了研究者的廣泛關(guān)注。語音合成的目標(biāo)是使合成的語音可懂、清晰、自然而富有表現(xiàn)力。目前漢語語音合成已經(jīng)很好地解決了清晰度和可懂度的問題，但是合成語音的自然度和表現(xiàn)力仍不盡如人意。合成語音和自然語音除了在音質(zhì)上存在一定的差距以外，在韻律表達(dá)上也存在著很大差距，而韻律表現(xiàn)得好壞是影響合成語音自然度和表現(xiàn)力的關(guān)鍵，其具體表現(xiàn)在對(duì)節(jié)奏、輕重音、語調(diào)等的處理上

2、；另外，合成語音缺少變化，如說話人對(duì)不同情感的表達(dá)不夠恰當(dāng)，也是合成語音聽起來缺乏人情味的主要原因。
　　韻律預(yù)測(cè)是合成系統(tǒng)的一個(gè)重要組成部分，韻律預(yù)測(cè)的結(jié)果將對(duì)最終合成語音韻律的表達(dá)有著直接影響。通常韻律預(yù)測(cè)包括對(duì)文本層韻律表示的預(yù)測(cè)和對(duì)聲學(xué)層韻律參數(shù)的預(yù)測(cè)。文本層的韻律表示包括如停頓、輕重音、語調(diào)等；而聲學(xué)層韻律參數(shù)則包括音高、音強(qiáng)、時(shí)長等，通常用韻律模型進(jìn)行估計(jì)。本文從停頓預(yù)測(cè)、重音預(yù)測(cè)、韻律模型構(gòu)建等角度來研究合成系統(tǒng)中韻

3、律的自動(dòng)預(yù)測(cè)問題，從而進(jìn)一步提高合成語音的自然度。具體地講，本文的研究內(nèi)容主要從如下四個(gè)方面展開：
　　1、采用可進(jìn)行基元修改的波形拼接技術(shù)，建立一個(gè)基于大規(guī)模中性語音庫和小規(guī)模情感語音庫相結(jié)合的漢語語音合成系統(tǒng)。對(duì)比韻律類參數(shù)和音質(zhì)類參數(shù)對(duì)合成語音的影響，得出二者對(duì)情感語音合成都有著重要影響，但韻律類參數(shù)起主導(dǎo)作用的結(jié)論。同時(shí)提出通過修改頻譜包絡(luò)綜合地調(diào)整音質(zhì)類參數(shù)來合成情感語音的方法，并通過實(shí)驗(yàn)驗(yàn)證這一方法的有效性，從而改善了

4、以往為各個(gè)音質(zhì)類參數(shù)單獨(dú)建模、不夠靈活的不足。
　　2、從特征和模型兩個(gè)角度研究語音合成系統(tǒng)中停頓指數(shù)的預(yù)測(cè)問題。在特征方面，采用詞性、詞長、標(biāo)點(diǎn)、位置信息等淺層特征解決韻律詞及語調(diào)短語的預(yù)測(cè)問題；針對(duì)淺層特征對(duì)韻律短語等中間韻律結(jié)構(gòu)劃分不夠準(zhǔn)確的不足，提出了基于依存分析得到的深層特征，如弧數(shù)、內(nèi)弧跨度、內(nèi)弧類型等的停頓預(yù)測(cè)方法。在模型方面，嘗試了N-gram模型、馬爾科夫模型和決策樹等方法，用于解決語法詞之間標(biāo)注點(diǎn)的停頓指數(shù)的預(yù)

5、測(cè)。除此之外，針對(duì)長語法詞的內(nèi)部劃分問題，提出了一種長詞內(nèi)部切分模型。對(duì)于情感停頓指數(shù)的預(yù)測(cè)，提出了將基于錯(cuò)誤學(xué)習(xí)的情感驅(qū)動(dòng)和基于大規(guī)模中性語料訓(xùn)練出的模型相結(jié)合的方法，并通過實(shí)驗(yàn)證明采用大規(guī)模的中性訓(xùn)練模型進(jìn)行情感語料停頓標(biāo)注是可行的。
　　3、根據(jù)聽感建立自然風(fēng)格的漢語重音標(biāo)注語料庫，分析輕聲、重讀音節(jié)同正常重音在基頻、音節(jié)時(shí)長、強(qiáng)度、停頓長度等聲學(xué)參數(shù)上的差異，研究時(shí)長與基頻參數(shù)之間的關(guān)系、上聲音調(diào)同基頻的關(guān)系。提出了基于人

6、工神經(jīng)網(wǎng)絡(luò)的三種句重音等級(jí)自動(dòng)預(yù)測(cè)模型：利用聲學(xué)參數(shù)建立聲學(xué)重音預(yù)測(cè)模型；利用聲調(diào)、詞性、詞位置、停頓指數(shù)等文本特征建立重音的語言學(xué)預(yù)測(cè)模型；綜合利用聲學(xué)參數(shù)和語言學(xué)參數(shù)，建立混合模型。另外，針對(duì)重音標(biāo)注存在多樣性的現(xiàn)象，提出支持率的評(píng)價(jià)方法。
　　4、研究中性和情感漢語語音合成系統(tǒng)的韻律模型的構(gòu)建，包括時(shí)長預(yù)測(cè)模型和基頻預(yù)測(cè)模型。采用基于人工神經(jīng)網(wǎng)絡(luò)的方法建立時(shí)長模型。采用基于語料庫的韻律生成以及基于基頻模式的兩種方法來建立基頻