中文分詞技術(shù)在信息檢索系統(tǒng)中的應(yīng)用研究.pdf

1、隨著信息化時(shí)代的不斷進(jìn)步和發(fā)展,人們獲取信息的手段也在不斷的發(fā)生著變化,從原始的手工查找到現(xiàn)在的計(jì)算機(jī)搜索引擎。計(jì)算機(jī)技術(shù)的發(fā)展極大的促進(jìn)了信息檢索技術(shù)的進(jìn)步,搜索引擎作為信息檢索的主要手段,其發(fā)展受到越來(lái)越多研究機(jī)構(gòu)和個(gè)人的重視。搜索引擎作為檢索工具,其發(fā)展給我們的生活帶來(lái)了前所未有的方便和快捷。當(dāng)人類利用google、baidu等搜索引擎進(jìn)行信息的查詢和檢索時(shí),它們是如何知道我們最想要的結(jié)果是什么,有多少結(jié)果是我們需要的?
　

2、　漢語(yǔ)言的博大精深使它不能像英語(yǔ)那樣容易讓人理解。當(dāng)利用計(jì)算機(jī)處理漢語(yǔ)言時(shí),輸入計(jì)算機(jī)的僅僅是一連串的字符序列,除了標(biāo)點(diǎn)符號(hào)就沒(méi)有其他的分割標(biāo)志,而英語(yǔ)卻有一個(gè)明顯的分割標(biāo)志—空格,這使?jié)h語(yǔ)分詞遇到了一些在英語(yǔ)中沒(méi)有的問(wèn)題,這些問(wèn)題都集中體現(xiàn)在中文分詞技術(shù)中,其中以歧義詞的切分和未登錄詞的識(shí)別為代表。
　　本文前面主要從理論上分析和介紹了目前的各種漢語(yǔ)自動(dòng)分詞方法,以及搜索引擎技術(shù)的相關(guān)情況。對(duì)各種分詞方法的技術(shù)特點(diǎn)進(jìn)行了闡述,對(duì)

3、自動(dòng)分詞發(fā)展現(xiàn)狀和趨勢(shì)作了概括性的總結(jié)。討論了中文分詞中存在的兩個(gè)主要問(wèn)題—歧義詞的切分和未登錄詞的識(shí)別,簡(jiǎn)單介紹了中文分詞和信息檢索的關(guān)系。
　　目前的分詞算法主要有基于詞典和無(wú)詞典兩大類,這兩種算法各有優(yōu)缺點(diǎn)。本文的分詞系統(tǒng)是基于詞典的,詞典作為整個(gè)分詞系統(tǒng)的核心,它的好壞直接影響到分詞系統(tǒng)的效率和準(zhǔn)確率,所以要從時(shí)間和空間多個(gè)方面考慮分詞詞典的組織結(jié)構(gòu)。本文的主要工作如下:
　　1、簡(jiǎn)要的介紹了文章的研究背景和意義以及

4、中文搜索引擎的相關(guān)情況,深入的研究了目前國(guó)內(nèi)中文自動(dòng)分詞發(fā)展情況和中文自動(dòng)分詞面臨的問(wèn)題。
　　2、介紹了目前常用的幾種詞典算法結(jié)構(gòu),根據(jù)已有的詞典算法并結(jié)合前人的研究工作,對(duì)基于雙數(shù)組Trie樹(shù)詞典算法進(jìn)行了改進(jìn),利用Lucene全文索引擎工具包的切分工具對(duì)原始語(yǔ)料進(jìn)行初切分,并結(jié)合統(tǒng)計(jì)方法在切分過(guò)程中對(duì)歧義切分和未登錄詞識(shí)別進(jìn)行了相應(yīng)的處理,最后實(shí)現(xiàn)本文的分詞系統(tǒng)CSSD。
　　3、把改進(jìn)后的詞典算法和目前現(xiàn)有的幾種詞典