基于條件隨機(jī)場(chǎng)模型的中文分詞系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，如何高效搜索和處理各種信息，已成為當(dāng)前軍隊(duì)信息化建設(shè)的重要課題。而這一切處理的基礎(chǔ)，就是中文分詞技術(shù)，中文分詞的主要目的就是將中文語(yǔ)句解析為計(jì)算機(jī)能正確識(shí)別理解的單詞序列，為后續(xù)的信息處理提供最基礎(chǔ)的信息素材，完成自然語(yǔ)言到計(jì)算機(jī)語(yǔ)言的轉(zhuǎn)換。沒(méi)有準(zhǔn)確高效的分詞結(jié)果，對(duì)信息的精確化、自動(dòng)化處理就無(wú)從談起，因此，研究中文分詞，提高分詞精度和速度具有十分重要的意義。
　　本文首先介紹了中文分詞技術(shù)的研究現(xiàn)狀，分析了

2、三種分詞技術(shù)發(fā)展情況和各自的優(yōu)勢(shì)和劣勢(shì)，基于信息處理自動(dòng)化的思路，提出了一種結(jié)合規(guī)則和統(tǒng)計(jì)的優(yōu)點(diǎn)進(jìn)行中文分詞的方法。然后重點(diǎn)介紹分析了以條件隨機(jī)場(chǎng)為代表的基于統(tǒng)計(jì)的分詞算法模型。
　　結(jié)合規(guī)則和統(tǒng)計(jì)的優(yōu)點(diǎn)進(jìn)行中文分詞的方法，就是結(jié)合機(jī)械分詞的速度優(yōu)勢(shì)，以及CRF統(tǒng)計(jì)模型識(shí)別未登錄詞的優(yōu)勢(shì)。同時(shí)改進(jìn)CRF模型的解碼流程，結(jié)合分詞詞典，引入全切分方法，提高解碼效率。分詞模塊作為分詞系統(tǒng)的核心，針對(duì)機(jī)械分詞在歧義處理上的缺點(diǎn)，改進(jìn)了分詞

3、算法，引入了“蠶食”策略，以期解決部分歧義，提高分詞的準(zhǔn)確性。使得整個(gè)分詞系統(tǒng)能夠隨著語(yǔ)料庫(kù)的日益豐富，實(shí)現(xiàn)自身詞典和統(tǒng)計(jì)模型的進(jìn)化。讓信息處理自動(dòng)化、智能化，在流程的初始——中文分詞上，得到初步實(shí)現(xiàn)。
　　最后，基于BakeOff2005標(biāo)準(zhǔn)語(yǔ)料庫(kù)，構(gòu)建了一個(gè)真實(shí)語(yǔ)料測(cè)試環(huán)境，并進(jìn)行了封閉測(cè)試。通過(guò)實(shí)驗(yàn)，驗(yàn)證了分詞系統(tǒng)的有效性，并與其他系統(tǒng)進(jìn)行了橫向比對(duì)，表明該系統(tǒng)具有較快的分詞速度和較高的準(zhǔn)確率，能夠達(dá)到設(shè)計(jì)的目標(biāo)，是一個(gè)能夠