文本自動(dòng)分詞方法研究.pdf

1、漢語(yǔ)分詞是中文信息處理的基礎(chǔ)，它是由計(jì)算機(jī)自動(dòng)識(shí)別文本中的詞邊界的過(guò)程。從計(jì)算機(jī)處理過(guò)程上看，分詞系統(tǒng)輸入的是連續(xù)的字符串(C1C2C3……Cn)，輸出的是漢語(yǔ)的詞串(W1W2W3……Wm)，這里，Wi可以是單字詞也可以是多字詞。然而，由于漢語(yǔ)文本和英文文本這兩種語(yǔ)言自身的書寫方式不同，英文是以詞為單位的，詞和詞之間是靠空格隔開(kāi)，而中文是以字為單位，句子中所有的字連起來(lái)才能描述一個(gè)意思，詞與詞之間并沒(méi)有明確的分隔標(biāo)記，而是連續(xù)的漢字串。

2、隨著計(jì)算機(jī)技術(shù)的發(fā)展，對(duì)于計(jì)算機(jī)的文本處理能力提出了更高的要求，諸如智能拼音語(yǔ)句輸入、手寫和語(yǔ)音自動(dòng)識(shí)別輸入；文章的校對(duì)；簡(jiǎn)體和繁體中文的自動(dòng)轉(zhuǎn)換；信息檢索和信息摘錄；文本分類和自動(dòng)文摘；語(yǔ)音合成；自然語(yǔ)言的理解和自動(dòng)翻譯；自然語(yǔ)言接口等。而所有這些中文處理功能都要建立在對(duì)漢語(yǔ)文本的分詞處理這一基本功能之上。 本文首先闡述了漢語(yǔ)自動(dòng)分詞研究的現(xiàn)實(shí)性和可能性，接著介紹其研究現(xiàn)狀，并扼要評(píng)價(jià)了十幾年來(lái)產(chǎn)生的各種方法，圍繞該研究中的其