基于條件隨機(jī)場的中文分詞研究.pdf

1、分詞是中文自然語言處理的基本問題。很多自然語言處理任務(wù)都建立在分詞的基礎(chǔ)之上，分詞的準(zhǔn)確程度直接影響到一系列后續(xù)處理的正確性。但由于漢語自身的復(fù)雜性，分詞問題一直是中文自然語言處理的難題。 條件隨機(jī)場是一種無向圖模型，它具有產(chǎn)生式模型和最大熵馬爾可夫模型的優(yōu)點。既可以利用任意上下文特征，并對這些特征進(jìn)行訓(xùn)練；又可以通過折衷不同位置的不同特征值的方法獲得全局最優(yōu)的標(biāo)記結(jié)果。 基于統(tǒng)計的中文分詞按照分類單位劃分，通?？煞譃榛?/p>

2、于漢字標(biāo)注的分詞和基于全切分圖的分詞兩種方法。目前，條件隨機(jī)場方法主要應(yīng)用于基于漢字標(biāo)注的分詞問題研究，但這種方法不能有效地利用詞匯信息。本文對基于條件隨機(jī)場的中分分詞理論和技術(shù)做了研究，并實現(xiàn)了一個基于全切分圖的條件隨機(jī)場分詞訓(xùn)練和測試系統(tǒng)。由于漢語的詞之間沒有明顯的邊界標(biāo)記，所以無法直接用條件隨機(jī)場進(jìn)行分詞模型的訓(xùn)練和測試。本文使用構(gòu)建起始詞矩陣和結(jié)束詞矩陣的方法，來輔助構(gòu)建基于全切分圖的條件隨機(jī)場模型。本文使用機(jī)器學(xué)習(xí)方法訓(xùn)練基于