中文命名實(shí)體識(shí)別及評測方法.pdf

1、命名實(shí)體是文本中基本的信息元素，是正確理解文本的基礎(chǔ)。命名實(shí)體識(shí)別(Named Entity Reeognition, NER)的主要任務(wù)是識(shí)別出文本中出現(xiàn)的名字實(shí)體和有意義的數(shù)量短語并加以歸類，主要包括人名、地名、組織機(jī)構(gòu)名、時(shí)間表達(dá)式、日期、數(shù)字表達(dá)式等。命名實(shí)體識(shí)別是自然語言處理中的熱點(diǎn)問題和基礎(chǔ)性工作，對自然語言處理具有極其重要的意義，并被應(yīng)用到自然語言處理的許多領(lǐng)域，如信息檢索、信息抽取和機(jī)器翻譯等。目前，命名實(shí)體識(shí)別主要采用

2、基于規(guī)則的方法、基于統(tǒng)計(jì)的方法和基于規(guī)則和統(tǒng)計(jì)相結(jié)合的方法。
　　 當(dāng)前，中文命名實(shí)體識(shí)別(NER)研究的重點(diǎn)和難點(diǎn)是中文人名、地名和組織機(jī)構(gòu)名。本文針對中文人名識(shí)別和評測進(jìn)行了研究，具體工作主要集中在以下幾個(gè)方面：
　　 第一，針對中文人名用字相對整個(gè)漢字集相對集中的特點(diǎn)，通過真實(shí)人名語料庫訓(xùn)練中文人名用字規(guī)律，得到每個(gè)字作為中文姓氏和人名概率，并根據(jù)在中文人名識(shí)別中的作用對姓氏用字和人名用字進(jìn)行分類，計(jì)算句子中各個(gè)候

3、選字段作為中文人名的概率值；通過標(biāo)準(zhǔn)標(biāo)注語料庫獲得人名的上下文信息，結(jié)合候選字段的概率值對中文人名進(jìn)行初篩選。
　　 第二，充分挖掘中文人名與其上下文信息的關(guān)聯(lián)程度以及中文人名內(nèi)部之間關(guān)聯(lián)程度，引入互信息對其進(jìn)行定量的描述。對中文人名上下文互信息、中文人名內(nèi)部互信息以及交叉潛在人名互信息的定義，評價(jià)函數(shù)的計(jì)算和過濾閾值的確定進(jìn)行了詳細(xì)的介紹，通過實(shí)驗(yàn)給出了各種情況下的過濾閾值。
　　 第三，對命名實(shí)體識(shí)別評測的意義和當(dāng)前

4、中文人名識(shí)別評測方法的不足進(jìn)行了比較詳細(xì)的描述。針對當(dāng)前評測方法的不足，提出了一種面向中文人名識(shí)別系統(tǒng)的自動(dòng)評測方法。主要包括評測語料庫的構(gòu)建，評測文件的產(chǎn)生，識(shí)別結(jié)果的產(chǎn)生和評測結(jié)果的計(jì)算幾個(gè)部分。
　　 實(shí)驗(yàn)結(jié)果表明，本文所采用的中文人名識(shí)別方法，獲得了比較理想的識(shí)別效果，所提出的中文人名識(shí)別評測方法能夠克服當(dāng)前人名識(shí)別評測方法中評測文件規(guī)模較小、固定不變和不可重復(fù)利用的缺點(diǎn)，能夠正確、客觀地對人名識(shí)別系統(tǒng)進(jìn)行評測，對推動(dòng)中