基于最大熵模型的中文姓名識別研究.pdf

1、漢語自動(dòng)分詞是_中文信息處理的基礎(chǔ)工程，中文姓名的自動(dòng)識別則是漢語自動(dòng)分詞的難點(diǎn)之一，已經(jīng)成為制約自動(dòng)分詞系統(tǒng)準(zhǔn)確率的一大瓶頸。名實(shí)體識別在問答系統(tǒng)、組塊分詞、信息檢索、信息抽取等諸多信息處理領(lǐng)域中有著重要應(yīng)用。怎樣正確地識別和分類名實(shí)體是一項(xiàng)關(guān)鍵、困難的工作。 中文姓名識別由于兩個(gè)原因使其比英文名實(shí)體識別困難得多：第一，在中文句子中，詞與詞之間沒有空格，導(dǎo)致分詞的精確度不高；第二，中文姓名沒有明顯的特征可以區(qū)分開(如：英文人名

2、第一個(gè)字母大寫)。這些都對正確地識別中文姓名提出了挑戰(zhàn)。 本文結(jié)合最大熵模型在中文命名實(shí)體識別的研究，提出了一種突破傳統(tǒng)的規(guī)則與統(tǒng)計(jì)相結(jié)合的識別方法、專門針對于中文姓名的一種基于最大熵模型的姓名識別方法。即利用了最大熵模型在處理復(fù)雜語言模型中的優(yōu)點(diǎn)，又避免里模型在識別過程中遇到的各命名實(shí)體結(jié)構(gòu)差別大而導(dǎo)致的特征選擇困難的問題。 文章首先分析了中文姓名的結(jié)構(gòu)特征及其在真實(shí)文本中出現(xiàn)的復(fù)雜情況，同時(shí)，結(jié)合中文姓名的特點(diǎn)，綜合

3、考慮上下文信息、詞本身信息、詞典信息、標(biāo)記信息和詞的構(gòu)成信息等對中文名實(shí)體的影響，給出了適合于中文姓名識別的特征模板，通過對原子特征模板的組合，得到復(fù)合特征模板，并以此生成候選特征空間。進(jìn)而給出特征選擇和特征引入算法，對候選特征刪選得到有效特征。在特征的選取上，本文還定義了手寫特征，手工編寫特征可以把一些訓(xùn)練無法得到的特征引入到模型中，增強(qiáng)了識別系統(tǒng)利用專家經(jīng)驗(yàn)的能力和系統(tǒng)的擴(kuò)展性。 本文我們采用的自動(dòng)獲取特征模板是一個(gè)簡單、有

4、效的特征模板，綜合了對姓名識別起作用的字信息、詞信息和上下文信息。用一個(gè)特征模板就能包含整個(gè)復(fù)雜語言模型的所有信息。另外，該模板具有擴(kuò)展性強(qiáng)的特點(diǎn)，模板的長度不是固定值，有利于將一些新發(fā)現(xiàn)的語言模型信息解構(gòu)到模板中。同時(shí)本文在姓名識別結(jié)果的處理上引入了全局信息，提高姓名識別系統(tǒng)的性能。試驗(yàn)結(jié)果表明對準(zhǔn)確率的提高是很有幫助的。 通過對真實(shí)語料的封閉與開放測試，該方法取得了90％以上的召回率和滿意的準(zhǔn)確率。實(shí)驗(yàn)表明：基于最大熵模型的