中文分詞中的關(guān)鍵技術(shù)與算法簡介.pdf

1、中文分詞技術(shù)是中文信息處理的基礎(chǔ)環(huán)節(jié)，中文分詞的主要任務(wù)就是通過計算機(jī)自動完成對中文句子的切分，識別出獨立的詞，并在詞與詞之間用空格分割開。計算機(jī)無法直接從大量的信息中根據(jù)關(guān)鍵詞找到對應(yīng)的文本及信息，從而無法完成對漢語信息的收集，分類等工作，只有實現(xiàn)了中文分詞技術(shù)，計算機(jī)才可能具有這些能力。 在信息化社會逐漸來臨的時代，中文網(wǎng)頁、電子出版物、數(shù)字信息越來越多的出現(xiàn)在各個領(lǐng)域，對中文分詞的實際需求和應(yīng)用也越來越多。中文分詞應(yīng)用在很

2、多領(lǐng)域：中文信息自動檢索、過濾、分類及摘要，文本校對，機(jī)器翻譯，以及在這些基礎(chǔ)之上的語音識別，語義識別等。 由于中文的特殊性，在中文自動分詞的研究過程中的主要難題是歧義切分和生詞識別。眾所周知，中文的詞的劃分無法像西方語系那樣憑借空格來實現(xiàn)，而且同一個字在不同上下文中，沒有非常規(guī)范的語言結(jié)構(gòu)來劃分出詞的組合，因此，如何正確有效的識別出一個有實際意義的真正的詞是中文分詞研究的基礎(chǔ)問題。 對中文分詞的研究已經(jīng)進(jìn)行了十幾年，中

3、文分詞技術(shù)大體可以總結(jié)為三大類：基于詞庫的，基于語義的，基于統(tǒng)計的。其中基于語義的中文分詞受限于漢語語言知識的局限，還未取得明顯進(jìn)展，而針對另外兩種分詞算法的研究已經(jīng)取得了一定的成果。由于每種算法都有其自身的優(yōu)缺點，因此在很多研究和應(yīng)用中，都是結(jié)合了“基于詞庫”和“基于統(tǒng)計”分詞算法的優(yōu)勢，進(jìn)行進(jìn)一步的研究。 本文闡述了中文分詞在現(xiàn)代信息學(xué)中的意義，中文分詞的研究現(xiàn)狀。詳細(xì)描述了國際上流行的隱馬爾科夫數(shù)學(xué)模型、EM算法在中文分詞

4、中的應(yīng)用。以數(shù)學(xué)統(tǒng)計模型為基礎(chǔ)，對中文分詞的方法及可行性進(jìn)行了研究。介紹了當(dāng)前中文分詞取得的成就和常用方法，對不同的算法進(jìn)行了比較。 進(jìn)行的主要工作包括：1．在對基于詞典的分詞方法、基于語義的分詞方法及基于統(tǒng)計的分詞方法的研究改進(jìn)的基礎(chǔ)之上，完成了一個基于動態(tài)詞典的中文分詞的方法；2．合理有效的將數(shù)學(xué)統(tǒng)計方法、置信度算法、倒排文件索引等方法、算法運用于該分詞方法之中；3．著重于優(yōu)化在基于統(tǒng)計的中文分詞中遇到的性能低下的問題。該方