校園網(wǎng)搜索引擎核心技術(shù)——中文自動分詞.pdf

1、隨著計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，校園網(wǎng)作為學(xué)校內(nèi)部信息共享、校際間信息交流的平臺也得到了快速發(fā)展。校園網(wǎng)上信息量的增加，以及信息的分布存儲，給用戶檢索信息帶來了困難。導(dǎo)致校園網(wǎng)上大量資源得不到充分利用，造成了信息資源的浪費。校園網(wǎng)搜索引擎是一個對校園網(wǎng)內(nèi)部信息資源進(jìn)行搜集整理，然后供用戶查詢的系統(tǒng)，它包括信息搜集，中文分詞，索引和檢索四個部分。 本課題是校園網(wǎng)搜索引擎課題的一個子課題。研究的目的是為校園網(wǎng)搜索引擎課題提供一個

2、高效的中文分詞軟件包。為了實現(xiàn)這一目標(biāo)，首先建立了中文分詞子系統(tǒng)實驗平臺的結(jié)構(gòu)模型以及與其它模塊間的數(shù)據(jù)接口；然后，通過對詞典結(jié)構(gòu)機(jī)制、未登錄詞識別和分詞算法的研究，提出了適合校園網(wǎng)搜索引擎中文分詞的一整套解決方案。該方案是以機(jī)械分詞為基礎(chǔ)，包括逆向詞庫的建立與擴(kuò)充、基于整詞二分的二層索引結(jié)構(gòu)、基于規(guī)則統(tǒng)計的未登錄詞識別算法以及改進(jìn)的逆向最大匹配算法等。最后，實現(xiàn)了中文分詞子系統(tǒng)實驗平臺以及中文分詞軟件包，并進(jìn)行了速度和內(nèi)存容量的測試，