基于特征選擇及LDA模型的中文文本分類研究與實現(xiàn).pdf

1、當(dāng)前，科學(xué)技術(shù)突飛猛進，信息化進程不斷加快，互聯(lián)網(wǎng)日益普及，人們也因此有了越多越多的傳播、獲取、共享信息的渠道。但是，與此同時，人們也面臨著巨大的挑戰(zhàn)------“信息爆炸”。因此，人們急需找到一種方法，通過這種方法正確、方便地從海量信息中篩選真正對自己有用的信息。在這種情況下，文本分類應(yīng)運而生。作為數(shù)據(jù)分析的一種重要形式，文本分類可對信息進行高效地管理，如今已被廣泛應(yīng)用于搜索引擎、數(shù)字圖書館、電子政務(wù)、郵件過濾等多個領(lǐng)域。
　　

2、作為文本處理的有效手段，文本分類包含了預(yù)處理、特征選擇、文本表示、分類器選擇、分類器訓(xùn)練、分類器測試以及分類效果的評估等步驟。簡單來說，文本分類的作用是為文本預(yù)測類別標(biāo)號。在文本分類的整個體系中，每一個環(huán)節(jié)都直接影響到最終的分類效果。預(yù)處理的作用是初步降維以減少冗余，這是為后面使用分類器所做的準(zhǔn)備之一;特征選擇能夠去除噪聲特征，同時也是文本降維的核心;文本表示能夠?qū)⒎歉袷交奈谋巨D(zhuǎn)換為格式化的數(shù)據(jù)形式，以便計算機能高效地對其識別、處理;

3、分類器擔(dān)任判別類別標(biāo)號的角色，通過訓(xùn)練使分類器學(xué)習(xí)到某個分類函數(shù)，這個分類函數(shù)能夠?qū)⑽谋居成涞侥硞€類別，之后，使用訓(xùn)練得到的分類器對測試集進行預(yù)測，以檢驗分類器在新數(shù)據(jù)上的分類效果;分類效果評估則能夠?qū)φ麄€分類體系作出全面、客觀地評價。
　　本文選取特征選擇、文本表示作為研究重點，針對傳統(tǒng)特征選擇方法存在的不足，進行多方面的改進，并提出將特征選擇方法和LDA模型相結(jié)合以彌補單獨使用LDA存在的缺陷，從而進一步提高分類效果。

4、　　首先，針對傳統(tǒng)互信息特征選擇方法忽視詞頻因素而存在的若干問題，本文提出了相對詞頻率、分散度以及絕對值最大因子。通過這三者改進傳統(tǒng)互信息方法，以彌補其不足。
　　其次，針對傳統(tǒng)信息增益特征選擇方法應(yīng)用于不平衡數(shù)據(jù)集時，分類效果顯著下降的情況，本文提出“最大詞頻率比”因子，得到一種改進的信息增益方法，其在平衡、傾斜數(shù)據(jù)集上均能獲得較好的效果。
　　最后，針對單獨使用LDA主題模型所存在的分類精度不高的問題，本文提出將特征選擇

5、方法與此主題模型相結(jié)合進而進行文本分類的方法。作為主題模型，LDA不僅能夠得到文本的主題概率表示，還能起到和特征選擇方法類似的降維效果。但是單獨使用LDA，分類精度并不高。因此，對于LDA，本文重點將其作為一種文本表示方法，在此之前，使用特征選擇方法對文本進行處理，從而進一步提高分類效果。
　　以上即為本文的主要研究工作。實驗結(jié)果表明:本文所提出的改進的互信息特征選擇方法、改進的信息增益特征選擇方法能夠彌補傳統(tǒng)方法存在的不足。而且