面向?qū)＠墨I的中文分詞技術的研究.pdf

1、專利文獻是記載和傳遞各類科技成果的信息載體，是世界上最大的技術信息源。如何充分地利用如此巨大的信息資源，使專利在科研和專利業(yè)務的諸多方面發(fā)揮重要作用，針對該問題，專利信息處理系統(tǒng)應運而生。在中文專利信息處理系統(tǒng)中，專利分詞是一個重要的基礎環(huán)節(jié)，專利檢索及專利翻譯等應用都需以專利自動分詞作為基礎。
　　目前國內(nèi)漢語自動分詞的研究主要集中在新聞語料上，比較成熟且實用的分詞系統(tǒng)針對新聞語料的分詞效果很好，然而對專利語料的分詞效果卻不是很

2、理想。本文針對專利文獻自動分詞的困難及專利文獻的特點，提出了一種基于統(tǒng)計和規(guī)則相結(jié)合的分詞方法。該方法充分利用了從大規(guī)模語料中獲取的全局信息和切分文本的上下文信息，有效地解決了專利分詞中未登錄詞難以識別問題。實驗結(jié)果表明，該方法在開放測試下取得了較好的結(jié)果，對未登錄詞的識別也有很好的效果。
　　針對監(jiān)督學習方法需要大規(guī)模同源訓練語料，及通過調(diào)節(jié)窗口大小獲取詞的上下文信息的不足，本文將大規(guī)模語料中的高頻穩(wěn)定的詞和切分文本的上下文信息