基于語料特性的未知漢字識(shí)別.pdf

1、替換解碼的方法已被前人廣泛地應(yīng)用于自然語言處理的工作中。其在機(jī)器自動(dòng)翻譯、未知語言識(shí)別等方面已有不俗的表現(xiàn)。這些有所成就的工作所基于的語料大多是字母語言，而對于如漢語這類非字母語言的應(yīng)用卻罕有涉及。本文旨在探討替換解碼方式應(yīng)用于識(shí)別非字母語言未知字符（如：語素語言）的可能，并據(jù)未知語言大多平行語料非常稀缺的實(shí)際情況出發(fā)，嘗試基于非平行語料對未識(shí)別語言進(jìn)行識(shí)別。
　　基于此目的，本文所描述的實(shí)驗(yàn)設(shè)計(jì)前提是訓(xùn)練集為已識(shí)別文字組成的可識(shí)

2、別文本，測試集為一部分字符未識(shí)別的文本（其中部分字符可識(shí)別，部分字符為未知字符），兩者屬于同一文字，使用的漢語語料逾二十萬字。在實(shí)驗(yàn)中，我們首先引入基于語言模型的解碼方法，然后為解決可能替換的組合爆炸而加入了集束搜索算法，來增強(qiáng)可計(jì)算性。之后為提升識(shí)別率我們又加入了字分布表示。此外，為了改善識(shí)別效果，實(shí)驗(yàn)中加入部分字形信息匹配值作為修正參數(shù)。
　　本文所討論的方法主要可應(yīng)用于古代漢語（如：甲骨文）文本中部分未知字符的語義識(shí)別的工作

3、。人工解讀文本中的未知字符是非常困難的，需要大量擁有語言學(xué)相關(guān)知識(shí)與經(jīng)驗(yàn)的專家學(xué)者，而且也非常耗時(shí)耗力。若沒有相關(guān)的平行語料出現(xiàn)，常常需要數(shù)十年的工作積累。通過本文提供的方法，可將未知字符的候選集大小從原來的未知語言字符集全集縮小為數(shù)十個(gè)乃至幾個(gè)候選字符。這將極大的減少人工處理的代價(jià)。進(jìn)一步來說，由于該方法充分考慮了上下文之間的關(guān)系，使得找到在該上下文中意義相近的字符的可能增大，這時(shí)即使未能找到完全匹配的字符亦可提升理解全文的可能。數(shù)據(jù)