中文分詞交集型歧義處理研究.pdf

1、詞是最小的能獨(dú)立表示語義的語言單位，因而是處理各種自然語言文本的基礎(chǔ)。漢語書寫顯得很特別，因?yàn)樗鼪]有明確的標(biāo)志將詞與詞分開，而是一段連續(xù)的漢字串。如何把漢字串正確地切分成詞串，即對(duì)詞邊界的自動(dòng)識(shí)別，是中文信息處理中迫切需要解決的問題。對(duì)中文分詞的研究很有意義，本文研究的是中文分詞中詞典機(jī)制和交集型歧義的發(fā)現(xiàn)和消除。主要研究工作包括以下幾個(gè)方面：
　　 (1)系統(tǒng)地闡述了中文分詞研究背景、意義以及發(fā)展現(xiàn)狀，并對(duì)一些有特色的分詞系統(tǒng)

2、進(jìn)行簡(jiǎn)單的介紹。
　　 (2)對(duì)中文分詞中常用的算法進(jìn)行詳細(xì)的介紹并舉實(shí)例闡述其算法思想及運(yùn)行過程。對(duì)在中文分詞過程中所遇到的困難進(jìn)行了概括并給出了評(píng)價(jià)中文分詞的標(biāo)準(zhǔn)。
　　 (3)分詞速度和精度是衡量分詞系統(tǒng)的核心指標(biāo)。通過對(duì)幾種常見的詞典結(jié)構(gòu)的研究，發(fā)現(xiàn)各自詞典結(jié)構(gòu)的優(yōu)缺點(diǎn)，在此基礎(chǔ)上處于提高分詞速度、提高建構(gòu)詞典的空間效率、查找過程的時(shí)間效率以及漢語詞組的統(tǒng)計(jì)規(guī)律的考慮，本文選擇雙字Hash索引的詞典機(jī)制，將前兩字

3、逐個(gè)建立Hash索引，并將剩余字串有序排列組成詞典的正文。
　　 (4)本文主要對(duì)交集型歧義進(jìn)行處理。首先介紹歧義產(chǎn)生的根源以及歧義的分類。詳細(xì)介紹了交集型歧義的發(fā)現(xiàn)算法和消解算法。本文發(fā)現(xiàn)了一種能識(shí)別交集型歧義的方法，即在二元切分詞圖中，如果位于對(duì)稱軸上的原子與它相連的右邊和上面位置上同時(shí)不為空，表明這里出現(xiàn)了交集型歧義。本文采用基于統(tǒng)計(jì)的方法來對(duì)交集型歧義進(jìn)行消解，先詳細(xì)的介紹了幾種基于統(tǒng)計(jì)的常見方法，并分析它們的優(yōu)缺點(diǎn)，最