基于特征融合的單語詞對齊方法研究.pdf

1、復述是自然語言中比較普遍的一個現(xiàn)象，它集中反映了語言的多樣性。復述研究的對象主要是短語或者句子的同義現(xiàn)象。復述技術已經(jīng)被成功的應用到信息檢索、自動問答、信息抽取、自動文摘以及機器翻譯等多個領域，有效地提高了這些系統(tǒng)的性能。詞對齊技術在復述的兩個基本任務：復述識別和復述生成中都起著非常重要的作用。
　　面向復述的詞對齊相比于傳統(tǒng)面向機器翻譯的詞對齊有以下幾方面的特點：
　　首先是語料規(guī)模受限。相對于雙語平行語料，我們所能獲得的

2、單語平行語料非常之少，而傳統(tǒng)基于統(tǒng)計學的詞對齊方法在語料規(guī)模方面又有著較高的要求。其次，由于本文所討論的對齊是面向復述的單語詞對齊，具有雙語問題不具備的一些特征，這些特征同時也是無法比擬的優(yōu)勢。比如，單語平行句對通常具有相似的句法結構，而目前，句法分析工具也獲得了可接受的應用性能。再如，單語問題有著較為豐富的語言學資源，HowNet、WordNet都能在語言學知識上為我們的對齊提供幫助。
　　綜上，如何克服小規(guī)模語料的限制，充分利

3、用單語問題的特點，提高自動對齊的表現(xiàn)成為本文研究的重點。本文提出使用特征融合的方法來解決這些問題。
　　我們采用了線性模型來融合特征，這是一種簡單而又行之有效的特征融合方法，易于進行各種特征的合并和拓展。我們選取的四大類特征分別是：詞典特征、統(tǒng)計特征、位置特征和上下文特征。這些特征從語言學、統(tǒng)計學等多個方面刻畫描述對齊特點；我們采用感知器學習算法進行參數(shù)訓練。此外，為了提高解碼效率，本文選擇了模擬退火解碼算法。
　　實驗數(shù)據(jù)