基于詞典的中文分詞歧義算法研究.pdf

1、隨著計算機網(wǎng)絡(luò)的飛速普及，人們已經(jīng)進入信息時代。在這個信息社會里，信息的重要性與日俱增，無論是個人，企業(yè)，乃至政府都需要獲取，掌握大量有用的信息。在這種環(huán)境下，中文信息處理技術(shù)逐漸成為技術(shù)人員的開發(fā)熱點，而其中最為重要的就是中文分詞技術(shù)。 中文分詞技術(shù)，就是指將文本中每句話，利用分詞算法拆分成詞，以便于計算機對文本信息進行處理和理解的過程。它應(yīng)用廣泛，主要應(yīng)用于信息檢索，信息抽取，機器翻譯等自然語言處理技術(shù)等。同時，它包括很多方

2、面內(nèi)容，例如中文分詞技術(shù)中的分詞算法研究，未登錄詞識別技術(shù)，分詞歧義處理技術(shù)等等。其中歧義處理技術(shù)和未登錄詞識別技術(shù)是中文分詞技術(shù)的兩大難點。而本文則是重點對中文分詞技術(shù)中的分詞算法和歧義處理技術(shù)進行了深入的研究和實踐。 首先，本文采用了一種典型的基于詞典的中文分詞算法—正向最大匹配算法，它的思想簡單，并且易于實現(xiàn)，但是分詞的精確度和速度并不理想。針對該問題，本文采用了雙層hash結(jié)構(gòu)的詞典機制，來提升分詞的速度，同時采用改進的