中文地名識別研究.pdf

1、命名實體識別是自然語言處理技術中一項關鍵而基礎的任務，中文地名是命名實體的一個重要組成部分，且中文地名的特點比較復雜多樣，構成比較隨意，導致中文地名識別成為自然語言處理中一個難以解決的任務。本文主要對中文地名的識別進行研究，采用條件隨機場(Conditional RandomFields，CRF)模型來實現(xiàn)對中文地名的識別。
　　 本文首先概述了命名實體識別及其中文地名識別的概念、研究背景、國內外研究現(xiàn)狀，并對現(xiàn)有的方法進行了研

2、究和分析。通過對目前主流方法的學習，決定采用條件隨機場對地名進行識別。條件隨機場是目前性能較好的模型之一，它既不受到隱馬爾科夫模型中的獨立性假設的限制，又不存在最大熵模型中的標記偏置問題，是一種優(yōu)秀的統(tǒng)計學習方法。
　　 中文地名的識別可以轉化為對序列進行標注，因此訓練集和測試集的正確標注直接影響了識別性能。現(xiàn)有的識別模型在對語料進行分詞時，大多采用ICTCLAS系統(tǒng)，由于該系統(tǒng)存在一些地名分詞錯誤，降低了整體的識別性能。針對上

3、述問題，本文建立了地名詞典，將其添加入ICTCLAS系統(tǒng)的用戶詞典，從而保證地名分詞的正確性。
　　 條件隨機場雖然是很優(yōu)秀的機器學習模型，但也存在收斂速度慢，訓練時間長的缺點，因此選取合適而精煉的特征就尤其重要。本文在結合中文文本中地名的特點并且學習分析了前人的研究，通過實驗篩選了更優(yōu)的特征，并且采用遞增式學習策略進行特征模版的篩選，提高了條件隨機場的地名識別性能。
　　 實驗結果表明本文提出的中文地名識別方法能夠獲得