面向科技文獻(xiàn)的中文分詞系統(tǒng)研究與實(shí)現(xiàn).pdf

1、中文分詞是將中文文本中的詞語按照一定的規(guī)則進(jìn)行切分的過程。由于中文語句中字與字之間沒有任何明顯的切分標(biāo)記,計算機(jī)無法對詞語進(jìn)行自動識別,因此必須利用相關(guān)的方法對語句進(jìn)行處理。
　　中文分詞是自然語言處理中最基本也是最重要的一個環(huán)節(jié),分詞結(jié)果的好壞直接影響后續(xù)工作的質(zhì)量。國內(nèi)外研究人員在分詞領(lǐng)域做了大量的研究工作,同時取得了一定的成績,提出了很多分詞方法,能夠?qū)⒎衷~方法與實(shí)際應(yīng)用相結(jié)合,是分詞發(fā)展的最終目的。本文分詞系統(tǒng)面向?qū)ο鬄榭?/p>

2、技文獻(xiàn),根據(jù)實(shí)際需要本文的研究工作主要有:
　　首先,術(shù)語抽取?？萍嘉墨I(xiàn)中含有大量的具有一定代表意義的詞語,我們稱之為術(shù)語。對科技文獻(xiàn)進(jìn)行分詞,術(shù)語能否正確切分對分詞的結(jié)果有很大的影響,但是由于術(shù)語其本身的特殊性,在分詞過程中難以對其正確地切分。針對這種問題,本文利用互信息原理對領(lǐng)域內(nèi)的術(shù)語進(jìn)行抽取,將獲取的術(shù)語添加到核心詞典構(gòu)成分詞詞典,為下一步的分詞做準(zhǔn)備。
　　其次,分詞算法改進(jìn)。中文信息中,長字詞代表的信息量較大,科

3、技文獻(xiàn)中術(shù)語以長字詞為主,為了能夠最大限度的保證長字詞的正確切分以及減少匹配過程中無效匹配的次數(shù),本文依據(jù)長詞優(yōu)先的分詞原則,在傳統(tǒng)最大匹配的基礎(chǔ)上對分詞算法進(jìn)行了改進(jìn),保證了對長字詞的正確切分,通過比較每一個字的構(gòu)詞長度,動態(tài)獲取最大匹配詞長,減少了無效匹配的次數(shù),提高了分詞效率。
　　再次,詞典構(gòu)造和歧義詞處理。結(jié)合改進(jìn)的最大匹配分詞算法,在雙字哈希結(jié)構(gòu)的基礎(chǔ)上對分詞詞典的結(jié)構(gòu)進(jìn)行了改進(jìn)和設(shè)計,提高了詞語匹配的速度。利用改進(jìn)的