中文文本分類的研究與應(yīng)用.pdf

1、隨著信息技術(shù)尤其是因特網(wǎng)相關(guān)技術(shù)的發(fā)展與成熟，人們可獲得的信息越來越多。面對(duì)海量信息，一方面是人們對(duì)快速、準(zhǔn)確且全面獲取信息的渴望，另一方面卻是信息的雜亂無序。而文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可在較大程度上解決信息雜亂問題，對(duì)于信息的高效管理和有效利用都具有極其現(xiàn)實(shí)的意義，并已成為數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的研究方向。本文在分析和總結(jié)文本分類中文本表示模型、文本預(yù)處理、特征選擇、特征加權(quán)、分類方法和分類性能評(píng)價(jià)的基礎(chǔ)上，對(duì)特

2、征選擇、特征加權(quán)進(jìn)行了深入研究。本文的主要研究工作如下：
　　 (1)針對(duì)文本分類中的高維特征空問和冗余特征問題，提出了一種基于類別分布的特征選擇，并與ECBF算法相結(jié)合，給出了一種二次特征選擇方法。其中，墓于類別分布的特征選擇方法可以較好的處理高維空間問題，并且對(duì)特征集進(jìn)行初步篩選，ECBF算法能夠合理的衡量特征之問的冗余程度，用來處理特征冗余問題。通過該二次特征選擇方法不僅可以為文本分類選擇合適的特征，而且還可以減少大量的冗

3、余特征，從而提高文本分類器的性能。
　　 (2)針對(duì)文本分類中的特征加權(quán)問題，本文首先詳細(xì)分析了最經(jīng)典也是常用的估算特征權(quán)重的TF-IDF方法，發(fā)現(xiàn)TF-IDF只是能較好的表達(dá)一個(gè)特征詞對(duì)一個(gè)文檔的區(qū)分能力，但是沒有引入特征詞區(qū)分一個(gè)類和其他類的能力的表示。文本在研究樸素貝葉斯分類模型和TF-IDF特點(diǎn)后，提出一種改進(jìn)的特征加權(quán)估算方法。該估算方法有效的對(duì)各個(gè)特征詞的類別區(qū)分能力給出合適的權(quán)重。
　　 本文從文本分類的特