基于統(tǒng)計語言模型的漢語詞法分析研究.pdf

1、　　詞法分析是自然語言處理領域中最基礎的處理步驟，尤其對漢語這種沒有分割符的語言來說更是如此。本文研究的漢語詞法分析主要包括自動分詞、詞性標注和詞義相似度計算三個方面。詞法分析是句法分析的先期處理步驟，其錯誤會沿處理鏈條擴散，并最終影響信息檢索、機器翻譯等面向最終用戶的應用系統(tǒng)的質量；同時，詞法分析所用的技術也可以直接應用到音字轉換和語音識別等應用系統(tǒng)中，所以對它的研究具有極其重要的意義。　　本文在統(tǒng)計語言模型方面主要探討了N-gra

2、m模型、最大熵模型、支持向量機模型和矢量空間模型。重點研究了三個方面的內容：傳統(tǒng)N-gram模型的改進方法；利用觸發(fā)對提高矢量空間模型的質量；在最大熵模型中加入轉換觸發(fā)對特征。最后利用以上統(tǒng)計語言模型的研究成果對漢語詞法分析進行了深入研究。主要內容包括四個方面：　　第一、從兩個方面改進了傳統(tǒng)N-gram模型。　　第二、分詞是漢語詞法分析中最基本的步驟，所有的漢語自然語言處理都要基于分詞的結果?！　〉谌⒃~性標注可以看成是噪聲信道的

3、解碼問題。傳統(tǒng)的HMM模型有兩個缺點：首先它用聯(lián)合概率解決一個條件概率問題，而且它不能包含長距離詞法特征。針對以上問題，本文分別利用支持向量機模型和最大熵模型對復雜兼類詞標注進行了研究，試驗結果證明兩種模型都可以有效降低兼類詞標注的錯誤。在此基礎上，利用最大熵模型對基于句子的詞性標注進行了研究，重點研究了長距離聚類轉換觸發(fā)對“wA→wB/tB”特征的加入以及用于系列分類的BeamSearch搜索算法。最后，利用與詞性標注相同的技術對音字