基于統(tǒng)計(jì)語(yǔ)言模型的中文自動(dòng)文本分類(lèi)系統(tǒng).pdf

1、信息時(shí)代的到來(lái)，Imemet上出現(xiàn)了爆炸式增長(zhǎng)的信息資源。為了讓人們能夠駕馭信息，而不是被信息所淹沒(méi)，需要有一種方法來(lái)對(duì)信息資源進(jìn)行分類(lèi)管理。面對(duì)這項(xiàng)讓傳統(tǒng)的領(lǐng)域?qū)＜以僖膊荒軌騽偃蔚娜蝿?wù)，自動(dòng)文本分類(lèi)技術(shù)的出現(xiàn)讓人們看到了希望。在我國(guó)信息化大潮洶涌澎湃的今天，亟需開(kāi)發(fā)適合中文的自動(dòng)文本分類(lèi)系統(tǒng)。本文就中文自動(dòng)文本分類(lèi)系統(tǒng)進(jìn)行了一些研究。 研究的主要內(nèi)容包括： 1．基于N-gram的模型的中文文本表示。對(duì)主流的文本表示模型

2、進(jìn)行了分析比較；研究了N．gr鋤模型的參數(shù)N選取、平滑算法、特征選擇算法等內(nèi)容。 2．中文自動(dòng)文本分類(lèi)系統(tǒng)的結(jié)構(gòu)。對(duì)系統(tǒng)的各個(gè)功能進(jìn)行討論，對(duì)系統(tǒng)的核心功能分類(lèi)器進(jìn)行了詳細(xì)論述。本文選擇了一種鏈狀樸素貝葉斯分類(lèi)器，這種分類(lèi)器通過(guò)與N-gram模型相結(jié)合，弱化N-gram模型的獨(dú)立性假設(shè)。實(shí)驗(yàn)表明，這種方法能夠取得良好的分類(lèi)效果。 3.中文自動(dòng)文本分類(lèi)系統(tǒng)的實(shí)現(xiàn)。給出了系統(tǒng)關(guān)鍵類(lèi)的設(shè)計(jì)，并對(duì)某些關(guān)鍵點(diǎn)進(jìn)行了展開(kāi)；總結(jié)了開(kāi)發(fā)

3、過(guò)程中采用的主要軟件開(kāi)發(fā)技術(shù)；提供了系統(tǒng)的截圖。 4．通過(guò)實(shí)驗(yàn)研究了語(yǔ)料庫(kù)對(duì)分類(lèi)系統(tǒng)的影響。通過(guò)建立不同的語(yǔ)料庫(kù)、對(duì)語(yǔ)料庫(kù)進(jìn)行調(diào)整等方法，對(duì)語(yǔ)料庫(kù)的規(guī)模與質(zhì)量對(duì)分類(lèi)系統(tǒng)的影響進(jìn)行了研究。實(shí)驗(yàn)結(jié)果給出了語(yǔ)料庫(kù)所要遵循的標(biāo)準(zhǔn)。 論文的組織如下：首先指出了本研究的意義，介紹了該領(lǐng)域研究的發(fā)展概況；隨后在第二章和第三章對(duì)統(tǒng)計(jì)語(yǔ)言模型、文本分類(lèi)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)及若干關(guān)鍵問(wèn)題進(jìn)行了闡述；第四章在前面的基礎(chǔ)上給出了系統(tǒng)實(shí)現(xiàn)，對(duì)系統(tǒng)實(shí)現(xiàn)過(guò)