基于CRF的中文命名實(shí)體識別方法研究.pdf

1、作為文本信息中的基本信息元素，命名實(shí)體是正確理解文本的基礎(chǔ)。命名實(shí)體識別就是將文本信息中規(guī)定的實(shí)體識別出來，它在自然語言處理中是一項(xiàng)基礎(chǔ)性的工作，在信息抽取，機(jī)器翻譯，自動問答等領(lǐng)域有著廣泛的應(yīng)用。本文以中科院網(wǎng)絡(luò)科技監(jiān)測平臺建設(shè)為背景，采用條件隨機(jī)域模型（CRF），研究中文命名實(shí)體的識別方法。
　　本文通過分析目前命名實(shí)體識別的研究現(xiàn)狀，詳細(xì)闡述了近些年來國內(nèi)外命名實(shí)體識別的評測活動；在分析了馬爾克夫模型和最大熵模型的基礎(chǔ)上，確

2、立了基于條件隨機(jī)場模型的研究方案。
　　本文在條件隨機(jī)場的預(yù)處理中，以字的方式作為輸入標(biāo)準(zhǔn)，從字的角度來切割文本，以獲得更多文本信息的上下文特征；在模型訓(xùn)練中，對不同的模板對文本進(jìn)行了識別，得到了一個相對較為優(yōu)化的訓(xùn)練模板，并在訓(xùn)練語料中加入詞性的外部特征，通過實(shí)驗(yàn)表明，該方法可以彌補(bǔ)訓(xùn)練規(guī)模的不足，在一定程度上提高了實(shí)體的識別效果。
　　本文針對中科院網(wǎng)絡(luò)科技監(jiān)測平臺建設(shè)的要求，利用SIGHAN2006 MSRA的語料庫，