自然語言處理KN模型在機(jī)器翻譯優(yōu)化中的應(yīng)用.pdf

1、21世紀(jì)是互聯(lián)網(wǎng)十分發(fā)達(dá)的新時代，電腦和網(wǎng)絡(luò)在人們?nèi)粘Ｉ?、學(xué)習(xí)和工作中發(fā)揮的作用越來越強(qiáng)大。人與人之間的語言交流有時也會通過電腦和互聯(lián)網(wǎng)的形式表現(xiàn)出來。因此，人們對于電腦模擬人腦進(jìn)行語言學(xué)習(xí)的渴望也與未來越強(qiáng)烈。人們希望電腦能夠同人一樣對語言和文字進(jìn)行處理、判斷和預(yù)測，因此關(guān)于自然語言模型的研究就逐步發(fā)展了起來。
　　在諸多語言模型中KN平滑模型不僅考慮到了歷史對于語言概率估計(jì)的影響，也應(yīng)用了插值技術(shù)，同時通過全面定義的折扣函數(shù)

2、，解決了統(tǒng)計(jì)語言模型中常見的數(shù)據(jù)稀疏問題，更精確的估計(jì)了句子或是文章的概率，在實(shí)際生活中有很廣泛的應(yīng)用。本文就應(yīng)用了經(jīng)典的修正后的KN模型進(jìn)行了兩個實(shí)驗(yàn)。一個針對英語，進(jìn)行了機(jī)器翻譯的優(yōu)化和篩選；另一個針對德語，探尋了語言模型更廣泛的應(yīng)用。
　　本文首先介紹了機(jī)器翻譯的相關(guān)概念，簡單闡述了機(jī)器翻譯的幾種方法。然后又提出了自然語言模型，為解決基于統(tǒng)計(jì)的語言模型中出現(xiàn)的數(shù)據(jù)稀疏問題，本文列舉了幾種平滑模型，其中以Kneser-Ney模

3、型為主。在本文的實(shí)驗(yàn)部分，英語的訓(xùn)練和測試語料庫來源于聯(lián)合國的會議記錄并由作者根據(jù)實(shí)驗(yàn)需要進(jìn)行了修改和完善，其中包含例如對一句話的四到五種翻譯。作為翻譯標(biāo)準(zhǔn)的句子來源于聯(lián)合國會議記錄英文版，其他各翻譯版本來源于互聯(lián)網(wǎng)上廣泛存在的翻譯網(wǎng)站，即機(jī)器翻譯。除此之外，還包含了一些人工翻譯。通過設(shè)計(jì)程序，使用KN模型，對各翻譯結(jié)果智能排序，選擇最佳版本，即最符合訓(xùn)練語料庫語境的版本，通過比較驗(yàn)證了KN模型的可行性。德語部分的實(shí)驗(yàn)流程與英語大致相同