統(tǒng)計(jì)語言模型的研究與應(yīng)用.pdf

1、統(tǒng)計(jì)語言模型在自然語言處理技術(shù)中占有重要地位，在語音識(shí)別、光學(xué)字符識(shí)別、機(jī)器翻譯、漢語拼音輸入、信息檢索等許多系統(tǒng)中都得到了成功的應(yīng)用。
　　 然而，現(xiàn)有的統(tǒng)計(jì)語言模型還存著一些缺陷，其中，對語言中常見的長距相依現(xiàn)象的描述能力弱、在語料變化時(shí)難以保持一致的描述能力是兩個(gè)制約其產(chǎn)生更大應(yīng)用價(jià)值的重要問題。
　　 本文針對統(tǒng)計(jì)語言模型存在的上述不足之處，對漢語語言模型從多個(gè)角度出發(fā)，開展了多項(xiàng)研究工作，旨在有效克服或緩解這些

2、問題。論文的主要工作和研究成果如下：
　　 1、統(tǒng)計(jì)語言模型是基于語料而建立的，語料中各種信息的使用程度直接關(guān)系到語言模型的性能。作為開展統(tǒng)計(jì)語言模型研究的第一步，本文首先完成了一個(gè)語料檢索工具。該工具能夠使用復(fù)雜邏輯表達(dá)式進(jìn)行檢索，也能夠通過用戶自定義的表達(dá)式來檢索語料中的各種語言模式。
　　 2、為了提高統(tǒng)計(jì)語言模型描述語言長距相依現(xiàn)象的能力，本文從擴(kuò)大模型單元和跳躍模型單元兩個(gè)方面開展了研究。
　　 本文認(rèn)

3、為擴(kuò)大模型單元是解決長距相依問題的一個(gè)有效手段，為此提出了一種基于中文高頻詞串（Chinese Frequent String：CFS）的語言模型。本文首先給出了一種基于字串切分度的CFS抽取算法，基于該算法抽取的CFS比詞具有更大的顆粒度。實(shí)驗(yàn)表明，在模型階數(shù)相同的情況下，基于CFS的語言模型比基于字或詞的語言模型具有更好的建模長距相依現(xiàn)象的能力。
　　 在跳躍模型單元方面，本文提出了一種基于漢語句子語義框架的語言模型（Sem

4、antic Frame Based Language Model：SFLM），模型基于語義框架中論元與主動(dòng)詞的關(guān)聯(lián)直接建模句子中的長距相依關(guān)系。由于主動(dòng)詞框架與動(dòng)詞義項(xiàng)直接關(guān)聯(lián)，本文將AdaBoosting的方法用于主動(dòng)詞的詞義消歧中，來輔助語義框架的確定。實(shí)驗(yàn)表明，這種基于語義結(jié)構(gòu)的N元語言模型能夠有效建模長距相依關(guān)系，降低模型的復(fù)雜度。
　　 3、針對語言模型在跨語料種類時(shí)表現(xiàn)的性能差異問題，本文從生成模型和判別模型兩種不同

5、的訓(xùn)練方法上進(jìn)行了研究。
　　 在生成模型方面，針對于語料改變時(shí)產(chǎn)生的嚴(yán)重?cái)?shù)據(jù)稀疏現(xiàn)象，本文提出了一種對傳統(tǒng)Kneser-Ney平滑（以后簡稱K-N平滑）進(jìn)行優(yōu)化的參數(shù)估計(jì)方法。實(shí)驗(yàn)表明，基于本文提出的優(yōu)化K-N平滑算法的線性插值N元語言模型具有較好的跨語料適應(yīng)能力。
　　 在判別模型方面，在最小樣本風(fēng)險(xiǎn)（Minimum Sample Risk：MSR）訓(xùn)練方法中結(jié)合N-best算法，降低了算法的復(fù)雜性，進(jìn)而研究了這種判

6、別模型在不同語料下的模型性能和自適應(yīng)能力。
　　 4、漢語拼音輸入（拼音-漢字轉(zhuǎn)換：后簡稱音字轉(zhuǎn)換）是統(tǒng)計(jì)語言模型的一個(gè)重要應(yīng)用領(lǐng)域。本文最后研究了語言模型在漢語音字轉(zhuǎn)換中的應(yīng)用。
　　 拼音流切分是在進(jìn)行音字轉(zhuǎn)換之前所必需的預(yù)處理。本文借鑒漢語字串流切分中的術(shù)語，首次歸納定義了音字轉(zhuǎn)換任務(wù)中進(jìn)行拼音流切分時(shí)所能遇到的兩種歧義，即交集歧義和組合歧義。并分別針對兩種歧義提出了相應(yīng)的基于語言模型的消歧算法。實(shí)驗(yàn)表明，算法均具