基于條件隨機(jī)場的中文命名實(shí)體識(shí)別的研究與應(yīng)用.pdf

1、在文本中，命名實(shí)體是信息的主要載體，用來表達(dá)文本的主要內(nèi)容。而中文命名實(shí)體識(shí)別是信息抽取、摘要提取、句法分析、開放域問答和機(jī)器翻譯等應(yīng)用領(lǐng)域的重要基礎(chǔ)，越來越受到人們的重視和關(guān)注。但是，由于受中文自身特點(diǎn)的限制，中文命名實(shí)體識(shí)別的效果一直不是很理想。為提高中文命名實(shí)體識(shí)別的效果和促進(jìn)中文信息處理領(lǐng)域其他技術(shù)和應(yīng)用的發(fā)展，研究中文命名實(shí)體識(shí)別技術(shù)具有極其重要的意義。
　　中文命名實(shí)體識(shí)別主要有基于規(guī)則和基于統(tǒng)計(jì)的兩類方法。本文中文命

2、名實(shí)體識(shí)別的方法是基于統(tǒng)計(jì)的，主要研究了基于條件隨機(jī)場模型的中文命名實(shí)體識(shí)別技術(shù)。在理論上，對比討論了幾種統(tǒng)計(jì)模型的優(yōu)缺點(diǎn)，包括隱馬爾可夫、最大熵模型、最大熵馬爾可夫模型以及條件隨機(jī)場模型。其中，隱馬爾可夫模型對獨(dú)立性要求較高，最大熵模型缺少馬爾可夫特性，最大熵馬爾可夫模型存在標(biāo)記偏置問題，而條件隨機(jī)場模型能很好的解決上述模型所引起的問題。另外，本文還對條件隨機(jī)場模型進(jìn)行了深入的研究，尤其是特征提取和模型參數(shù)求解方面。
　　對于基

3、于條件隨機(jī)場的中文命名實(shí)體識(shí)別，特征模板對識(shí)別的效果具有非常重要的影響。本文在前人工作的基礎(chǔ)上，對特征進(jìn)行細(xì)化和整合，并通過實(shí)驗(yàn)總結(jié)出一個(gè)能很好表征各類命名實(shí)體的特征模板，該特征模板包含基本特征、前后綴特征、字典特征以及復(fù)合特征。同時(shí)，首次嘗試在訓(xùn)練和測試過程中，應(yīng)用不同的字典進(jìn)行特征提取，使得識(shí)別效果有較大的提高。最終識(shí)別結(jié)果的F值達(dá)到91.27％，甚至高于SIGHAN bakeoff2006評測第一的結(jié)果。
　　在本文的最后，