多層文本自動分類技術(shù)的研究與應(yīng)用.pdf

1、隨著各個行業(yè)數(shù)字信息呈現(xiàn)指數(shù)式的增長，為方便信息組織和管理，需對海量電子信息數(shù)據(jù)按其內(nèi)容進(jìn)行分類，因此對文本自動分類技術(shù)提出了更高的要求。目前比較成熟的研究和應(yīng)用主要集中于單層文本分類，即事先所定義的類別均處在同一層，類別之間相互獨(dú)立、不存在結(jié)構(gòu)和關(guān)系。但在實(shí)際應(yīng)用中，多層文本分類更符合文本之間的關(guān)系，這樣文本的定位準(zhǔn)確度就更高;另外，多層文本分類把大的分類問題轉(zhuǎn)化為多個子分類問題，能夠有效地降低時(shí)間和空間的復(fù)雜度，使得在文本分類過程中

2、采用復(fù)雜的分類算法仍可能獲得較好的分類效果。
　　 公安系統(tǒng)的案件數(shù)量龐大且種類繁多，案件類別之間有著明顯的層次關(guān)系，且同一案件按照不同的角度可以歸到多個類別。如，交通肇事類可以歸為普通的交通事故案，也可歸為故意傷人案件，這是因?yàn)榘讣姆诸惣纫紤]到動機(jī)又要兼顧結(jié)果的因素。因此，本文重點(diǎn)研究多層文本自動分類技術(shù)，并設(shè)計(jì)了一個基于向量空間模型的多層文本分類器實(shí)現(xiàn)海量公安案件文本數(shù)據(jù)的自動分類，實(shí)驗(yàn)證明該分類器具有較好的分類性能。本

3、文具體研究工作如下:
　　 (1)分析了案件信息文本的特點(diǎn)并綜合應(yīng)用了分詞技術(shù)、特征提取技術(shù)、特征降維技術(shù)以及文本表示方法將案件文本轉(zhuǎn)換成能夠直接應(yīng)用于分類的數(shù)據(jù)形式。
　　 (2)為了撲捉每個類別的特征應(yīng)用于分類任務(wù)，提出了基于多重特征選擇的多層文本分類特征提取方法。
　　 (3)基于中心向量文本分類算法思想，將文本和類別(某一類文本)用向量空間模型(VSM，Vector Space Model)進(jìn)行表示并通過

4、計(jì)算文本與類別相關(guān)度，實(shí)現(xiàn)對案件信息文本的多層分類。文中給出了文本與類別相關(guān)度計(jì)算方法并對類別向量模型的權(quán)重公式作了深入分析，提出了基于文檔頻率(DF，Document Frequency)和互信息(MI，Mutual Information)相結(jié)合的DF-MI權(quán)重公式，并與經(jīng)典的權(quán)重計(jì)算公式TF-IDF進(jìn)行了比較，實(shí)驗(yàn)證明DF-MI權(quán)重公式比經(jīng)典的TF-IDF權(quán)重公式在案件文本分類中更具有優(yōu)越性，且獲得很好的分類性能。
　　

5、(4)分析了平面文本分類器的性能評價(jià)指標(biāo)直接應(yīng)用于層次文本分類器性能評價(jià)的不足，文中引入了錯誤分類分布矩陣(ECDM，Error Classification Distribution Matrix)和錯誤分類集中度(ECCR，Error Classification Concentration Ratio)的性能評價(jià)方法。該方法與平面分類評價(jià)指標(biāo)進(jìn)行綜合不僅能夠更加準(zhǔn)確的評價(jià)多層文本分類的性能，且可以用于指導(dǎo)分類器的訓(xùn)練，從而進(jìn)一步提