PAD情緒模型在情感語(yǔ)音識(shí)別中的應(yīng)用研究.pdf

1、人類日常生活中的語(yǔ)音除了蘊(yùn)含著基本的文字信息，還飽含著復(fù)雜的情感狀態(tài)。本文以情感計(jì)算為背景，在構(gòu)建一個(gè)自然、真實(shí)、有效的情感語(yǔ)音數(shù)據(jù)庫(kù)的基礎(chǔ)上，引入連續(xù)維度情感理論的PAD三維情緒模型，利用猶豫模糊信息對(duì)語(yǔ)音的三維PAD值進(jìn)行了預(yù)測(cè)，實(shí)現(xiàn)了語(yǔ)音情感的定量化研究。所做的主要工作有以下幾點(diǎn)：
　　1．選擇高興、憤怒、悲傷、驚奇四種情感類別，采用截取廣播劇的方式獲取所需四種情感的摘引型語(yǔ)音數(shù)據(jù)庫(kù)。相較于表演型情感語(yǔ)音數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)由于

2、是從廣播劇中截取獲得，因此情感類型豐富，人物多樣，生活場(chǎng)景繁多，情感語(yǔ)音更加貼近現(xiàn)實(shí)生活，符合日常表達(dá)習(xí)慣，具有較好的實(shí)用性。
　　2．為了確保情感語(yǔ)音數(shù)據(jù)庫(kù)的質(zhì)量，建立了合理有效的評(píng)價(jià)模型，對(duì)截取獲得的初選階段語(yǔ)音庫(kù)進(jìn)行了評(píng)價(jià)篩選：首先以模糊判決為主，借助層次分析法和熵權(quán)法確定綜合評(píng)價(jià)指標(biāo)的權(quán)重，建立基于層次分析法和熵權(quán)法的模糊綜合評(píng)價(jià)體系，然后分別從情感準(zhǔn)確度、背景噪聲影響、清晰度、自然度、畫(huà)面感五個(gè)方面建立情感語(yǔ)音數(shù)據(jù)庫(kù)評(píng)價(jià)

3、指標(biāo)體系，最后運(yùn)用該模型對(duì)截取的情感語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行模糊綜合評(píng)價(jià)，篩選并建立了最終的情感語(yǔ)音數(shù)據(jù)庫(kù)TYUT2.0。
　　3．給出了情感語(yǔ)音特征與PAD三維情緒模型相關(guān)性研究的新思路。不僅從傳統(tǒng)離散角度描述情感類型，即研究高興、憤怒、悲傷、驚奇四種基本情感，還從連續(xù)維度情感理論角度來(lái)分析語(yǔ)音庫(kù)中的情感內(nèi)容，使用了心理學(xué)標(biāo)注的 PAD（愉悅度、激活度、優(yōu)勢(shì)度）三維情緒模型對(duì)情感語(yǔ)音進(jìn)行描述，提出了一種情感語(yǔ)音特征與PAD情緒模型相關(guān)性分

4、析方法。在TYUT2.0情感語(yǔ)音數(shù)據(jù)庫(kù)的基礎(chǔ)上，提取梅爾頻率倒譜系數(shù)、線性預(yù)測(cè)系數(shù)、韻律特征、共振峰頻率和過(guò)零峰值幅度特征五種語(yǔ)音特征并應(yīng)用于情感語(yǔ)音識(shí)別，首次將識(shí)別結(jié)果映射到PAD三維情緒空間中，利用Pearson相關(guān)方法將機(jī)器識(shí)別出的情感所對(duì)應(yīng)的PAD三個(gè)維度值與真實(shí)情感所對(duì)應(yīng)的PAD值進(jìn)行相關(guān)性計(jì)算，分析PAD模型中三個(gè)維度和不同聲學(xué)特征之間的相關(guān)性。利用情感語(yǔ)音識(shí)別結(jié)果的相關(guān)性分析可以對(duì)語(yǔ)音特征進(jìn)行優(yōu)化調(diào)整，為接下來(lái)的基于連續(xù)維

5、度的情感語(yǔ)音識(shí)別提供基礎(chǔ)。
　　4．提出了一種新的基于猶豫模糊信息的決策級(jí)融合方法。根據(jù)不同特征的識(shí)別結(jié)果，通過(guò)聲學(xué)特征與PAD三個(gè)維度間的相關(guān)系數(shù)確定不同特征的決策級(jí)融合權(quán)重，最后利用猶豫模糊集的相似度融合預(yù)測(cè)了語(yǔ)音在PAD情緒空間模型中的三個(gè)維度值，得出情感語(yǔ)音在連續(xù)維度角度的數(shù)值表示，實(shí)現(xiàn)基于連續(xù)維度的情感語(yǔ)音識(shí)別。通過(guò)情感語(yǔ)音在愉悅度、激活度、優(yōu)勢(shì)度上的空間分布，進(jìn)一步分析語(yǔ)音的情感狀態(tài)由哪些基本情感構(gòu)成，也可根據(jù)其空間分