基于非參數(shù)貝葉斯學(xué)習(xí)的多語言人名音譯研究.pdf

1、隨著信息時代的到來,互聯(lián)網(wǎng)上包含來自世界各地的大量文化、科技、生活、娛樂信息。為了讓人們能夠輕松的檢索、閱讀各種語言撰寫的信息,機器翻譯、跨語言信息檢索和抽取等自然語言處理技術(shù)成為了迫切的需求。音譯是這些跨語言自然語言處理技術(shù)的重要基礎(chǔ);是大多數(shù)命名實體和未登錄詞的翻譯方式;人名作為命名實體和未登錄詞的主要成分是音譯的主體。本文將主要研究基于統(tǒng)計的人名音譯方法,并結(jié)合基于規(guī)則的方法實現(xiàn)多語言間人名音譯。
　　音譯主要分為基于規(guī)則的

2、方法和基于統(tǒng)計的方法兩類:基于規(guī)則的方法通過人工建立雙語音節(jié)切分和對齊的規(guī)則實現(xiàn)音譯;基于統(tǒng)計的方法通過對大量雙語人名對語料上進行統(tǒng)計分析來構(gòu)建對齊模型和解碼模型,也是目前音譯的主流研究方法。本課題主要研究基于統(tǒng)計的音譯方法,同時結(jié)合基于規(guī)則的方法實現(xiàn)英、西班牙、俄、日四種語言到中文的人名音譯,最后搭建在線音譯系統(tǒng)整合這四個音譯模型。本文的主要的工作與貢獻點如下:
　　(1)針對基于統(tǒng)計音譯方法中的對齊模型常遇到的過擬合問題和人名

3、多起源問題,提出非參數(shù)貝葉斯方法“緊密耦合的狄利克雷混合模型(coupledDirichletprocessmixturemodel,cDPMM)”進行音譯的聚類和對齊。cDPMM采用狄利克雷過程進行人名對的雙語切分,實現(xiàn)音節(jié)的對齊;再根據(jù)人名起源(雙語人名對的音譯對齊相似度)利用狄利克雷混合模型實現(xiàn)雙語人名對的無監(jiān)督聚類。cDPMM將雙語切分對齊和人名聚類緊密的耦合到一個模型中,讓對齊和聚類的結(jié)果在每輪采樣中相互作用。
　　(2

4、)采用基于短語的Moses系統(tǒng)的解碼器進行音譯解碼,對抽取的短語表融合:短語起源區(qū)分度、短語字符數(shù)比、短語音節(jié)數(shù)比三個新特征;我們對音譯解碼的N-best結(jié)果,根據(jù)N-grams特征、源和目標人名音節(jié)數(shù)比、音譯系統(tǒng)排序三類特征在log-linear原理下進行重排序。實驗結(jié)果證明我們的解碼特征和重排序方法提高了音譯準確率。
　　(3)把提出的基于統(tǒng)計的方法應(yīng)用到英-中、西班牙-中的人名音譯;采用基于統(tǒng)計和規(guī)則相結(jié)合的方法克服俄-中和