組合型中文分詞方法的研究.pdf

1、隨著計算機(jī)技術(shù)的發(fā)展，人們已經(jīng)進(jìn)入了以網(wǎng)絡(luò)為核心的信息時代，在這個信息急劇膨脹的社會里，如何獲取和掌握有用的信息成為了個人、企業(yè)及政府關(guān)注的重點(diǎn)。在這種環(huán)境下，中文信息處理技術(shù)成為了科研人員研究和開發(fā)的熱點(diǎn)，其中最重要的就是中文分詞技術(shù)。中文分詞是將沒有特定分界符的漢字序列分割成符合特定語境下漢語語意的詞序列的過程，它是中文信息處理的前提和基礎(chǔ)，也是制約著中文信息處理技術(shù)發(fā)展的瓶頸。
　　歧義的消除和未登錄詞的識別是中文分詞技術(shù)的

2、難點(diǎn)，也是影響中文分詞切分速度和精度的重要因素。近年來，為了提高切分速度和精度，已經(jīng)出現(xiàn)了很多中文分詞的方法，這些方法的改進(jìn)主要表現(xiàn)在兩個方面:對分詞詞典的改進(jìn)，這種改進(jìn)主要通過減少待切分文本與詞典的匹配次數(shù)來提高分詞的速度;對分詞算法的改進(jìn)，此類型的改進(jìn)主要是通過對自身算法的改進(jìn)來提高分詞系統(tǒng)的歧義處理和未登錄詞識別的能力。本文結(jié)合這兩種改進(jìn)方式，根據(jù)當(dāng)前關(guān)鍵技術(shù)研究現(xiàn)狀設(shè)計了一個綜合詞典、統(tǒng)計和規(guī)則的組合型中文分詞方法，該方法兼有對

3、歧義的檢測與處理和對未登錄詞的識別能力。
　　本文對中文分詞的詞典機(jī)制和分詞算法進(jìn)行了詳細(xì)研究，提出了一個中文分詞的解決方案，該方案主要進(jìn)行了如下三個方面的工作:第一，對分詞詞典機(jī)制的改進(jìn)，改進(jìn)后的詞典針對中文信息中二字詞所占比例多和漢語中心語偏后的特點(diǎn)，采用雙字哈希表的結(jié)構(gòu)（首字哈希表和尾字哈希表），在不提升已有典型詞典的空間和維護(hù)復(fù)雜度的前提下，實(shí)現(xiàn)了詞條的快速匹配。第二，歧義的檢測與處理，現(xiàn)階段歧義的識別大多是利用雙向最大匹

4、配算法，由于雙向匹配算法匹配次數(shù)較多，出現(xiàn)了回溯正向最大匹配算法，該算法采用回溯詞向后推進(jìn)一個漢字的方式來檢測鏈長為1詞簇為2的交集型歧義，減少了歧義檢測時與詞典的匹配次數(shù)，但該方法存在兩點(diǎn)缺陷，一是它只能檢測鏈長為1詞簇為2的交集型歧義，不能識別鏈長為1的其他類型歧義和鏈長為2的交集型歧義，其歧義識別能力有限;另一個是對未發(fā)生交集型歧義的字段也進(jìn)行碎片整理，造成了重復(fù)匹配問題。本文針對這兩點(diǎn)缺陷在該算法的基礎(chǔ)上增加了一個鏈長為1詞簇為

5、3的交集型歧義檢測模塊，增加之后的算法不僅能識別鏈長為1的交集型歧義，還能識別鏈長為2的交集型歧義，同時利用計數(shù)方式，對連續(xù)發(fā)生交集型歧義的字段利用規(guī)則與統(tǒng)計結(jié)合的方式進(jìn)行集中消岐，集中消岐方式避免了碎片整理時對沒有發(fā)生交集型歧義的字段的重復(fù)匹配問題，降低了改進(jìn)算法的時間復(fù)雜度。第三，未登錄詞的識別，本文結(jié)合改進(jìn)算法利用已有識別機(jī)制的概率模型與規(guī)則相結(jié)合的方式來識別未登錄詞。
　　在大量語料之上的測試結(jié)果表明，在提高切分速度的同時