基于韻律和詞匯信息的中英文句邊界檢測(cè)研究.pdf

1、句邊界檢測(cè)（Sentence Boundary Detection）是從語(yǔ)音或文本數(shù)據(jù)中自動(dòng)地找到完整語(yǔ)義單元（句子）的邊界，是眾多下游任務(wù)的前提和基礎(chǔ)。本文基于韻律和詞匯等多模態(tài)信息，研究了句邊界檢測(cè)任務(wù)的有效特征和方法。
　　本文首先對(duì)句邊界檢測(cè)任務(wù)中涉及的韻律和詞匯特征進(jìn)行了研究，韻律特征包括停頓時(shí)長(zhǎng)、基頻、能量、詞和音素時(shí)長(zhǎng)以及說(shuō)話人轉(zhuǎn)換特征，詞匯特征包括N-grams、POS、Chunk以及詞向量特征。
　　我們研

2、究了基于條件隨機(jī)場(chǎng)（Conditional Random Field）的句邊界檢測(cè)建模方法，條件隨機(jī)場(chǎng)對(duì)上下文信息和邊界類別的序列信息有較強(qiáng)的建模能力。文中我們把句邊界檢測(cè)任務(wù)轉(zhuǎn)化為序列標(biāo)注的問(wèn)題，通過(guò)調(diào)節(jié)類別序列的階數(shù)和上下文特征的窗口，我們得到了最優(yōu)的條件隨機(jī)場(chǎng)模型。我們對(duì)比了其他常用分類器在句邊界檢測(cè)任務(wù)中的效果，包括決策樹(shù)、樸素貝葉斯、多層感知機(jī)、最大熵模型和支持向量機(jī)，結(jié)果表明條件隨機(jī)場(chǎng)模型的檢測(cè)效果超越了其他分類器。由于韻律

3、特征存在冗余信息，我們利用基于相關(guān)性的特征選擇方法對(duì)韻律特征進(jìn)行了特征選擇。
　　深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network）具有很強(qiáng)的特征學(xué)習(xí)能力，通過(guò)多層非線性函數(shù)把輸入特征轉(zhuǎn)化為較好的特征表示。文中我們提出了一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)（DNN-CRF）混合模型的句邊界檢測(cè)系統(tǒng)，該系統(tǒng)以深度神經(jīng)網(wǎng)絡(luò)在韻律特征上的后驗(yàn)概率和詞匯特征為輸入，并用條件隨機(jī)場(chǎng)對(duì)該后驗(yàn)概率與詞匯特征進(jìn)行建模，標(biāo)注出句子的邊界信息。結(jié)果表

4、明，我們提出的DNN-CRF混合模型的檢測(cè)效果超越了先前最好的基于決策樹(shù)的DT-CRF方法，其NIST錯(cuò)誤率在手工抄本和識(shí)別抄本條件下分別比DT-CRF降低了16.7％和4.1%。
　　深度遞歸神經(jīng)網(wǎng)絡(luò)（Deep Recurrent Neural Network）具有深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力以及條件隨機(jī)場(chǎng)模型的序列和上下文建模能力，因此我們提出了基于深度遞歸神經(jīng)網(wǎng)絡(luò)的句邊界檢測(cè)方法，把韻律和詞匯特征統(tǒng)一到同一個(gè)框架中。傳統(tǒng)的深度

5、遞歸神經(jīng)網(wǎng)絡(luò)對(duì)上下文和序列信息建模能力有限，也存在著梯度消失的問(wèn)題，基于長(zhǎng)短時(shí)記憶（Long Short Term Memory）結(jié)構(gòu)的深度遞歸神經(jīng)網(wǎng)絡(luò)能夠解決上述問(wèn)題。本文中我們主要研究了深度雙向長(zhǎng)短時(shí)記憶的遞歸神經(jīng)網(wǎng)絡(luò)（DBLSTM-RNN）和特征融合的策略，并使用了詞向量特征來(lái)表示詞語(yǔ)信息。實(shí)驗(yàn)結(jié)果表明，在手工抄本和識(shí)別抄本條件下，結(jié)合韻律和詞匯特征的DBLSTM-RNN模型都超越了前文提出的DNN-CRF方法，其NIST錯(cuò)誤率分