基于條件隨機場的互聯(lián)網(wǎng)文本命名實體識別研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，交流方式越來越趨向于網(wǎng)絡(luò)平臺，比較明顯的有微博、網(wǎng)絡(luò)新聞、評論等，這些都屬于互聯(lián)網(wǎng)文本，其形式各種各樣。從文本中如何獲取有效信息，是目前比較關(guān)注的問題，隨之而來的命名實體識別就是提取有效信息的一種技術(shù)。
　　命名實體識別是從文本中識別出人名、地名、機構(gòu)名等專有名詞，是自然語言處理的一項關(guān)鍵技術(shù)，同時也是文本信息處理的重要基礎(chǔ)。至今為止，對文本進行命名實體識別較為普遍的方法有三種：基于統(tǒng)計的方法、基于規(guī)則的方法

2、、規(guī)則和統(tǒng)計結(jié)合的方法，三種方法都存在著一些不足之處，如何利用好三種方法進行命名實體識別尤為關(guān)鍵。
　　本文采用統(tǒng)計和規(guī)則相結(jié)合的方法對互聯(lián)網(wǎng)文本進行命名實體識別。首先對文本進行規(guī)范化，再使用 CRF模型，以詞、詞性、上下文信息等特征進行訓(xùn)練，結(jié)合互聯(lián)網(wǎng)文本的不規(guī)范性、隨意性和娛樂性等特點，以及若干匹配規(guī)則對文本進行命名實體識別。其中在去噪部分使用了新的方法，特征模板組合及參數(shù)的選取優(yōu)化了條件隨機場模型，實驗結(jié)果表明，該方法能夠有