文本分類中特征選擇算法的分析與研究.pdf

1、自動(dòng)文本分類是對(duì)大量的半結(jié)構(gòu)化、無(wú)鮚構(gòu)化的未知類別文本(文本文檔、網(wǎng)頁(yè)等)按照給定的分類體系，根據(jù)文本內(nèi)容劃分到指定的類別中的過(guò)程。由于文本數(shù)據(jù)的半結(jié)構(gòu)化、無(wú)結(jié)構(gòu)化的特點(diǎn)，當(dāng)文本使用特征向量表示的時(shí)候，特征向量通常會(huì)達(dá)到幾萬(wàn)維甚至于幾十萬(wàn)維，給文本分類帶來(lái)了很不利的影響。如果直接在這樣一個(gè)高維特征空間上進(jìn)行分類器的訓(xùn)練和分類，會(huì)帶來(lái)兩個(gè)問(wèn)題：一是很多低維空間具有良好性能的統(tǒng)計(jì)分類器在計(jì)算上變得低效不可行；二是訓(xùn)練樣本(訓(xùn)練文本集的個(gè)數(shù))

2、一定的前提下，過(guò)多的特征使得樣本統(tǒng)計(jì)的估計(jì)變得非常困難，從而降低統(tǒng)計(jì)分類器的推廣能力和泛化能力，呈現(xiàn)所謂的“過(guò)學(xué)習(xí)”或”過(guò)訓(xùn)練”的現(xiàn)象。因此尋求一種有效的維數(shù)約簡(jiǎn)方法，降低特征空間的維數(shù)，提高分類的效率和精度，成為文本自動(dòng)分類中至關(guān)重要的問(wèn)題。
　　 維數(shù)約簡(jiǎn)是將高維空間映射到一個(gè)小得多的低維空間，同時(shí)希望該低維空間一方面能盡可能多的保留原始數(shù)據(jù)中的重要信息，另一方面又能有效地把原始信息中的噪音、冗余數(shù)據(jù)過(guò)濾掉。維數(shù)約簡(jiǎn)技術(shù)分為

3、兩類，分別是特征選擇、特征重構(gòu)。特征選擇是依據(jù)某個(gè)準(zhǔn)則在原始特征集合中挑選出有利于學(xué)習(xí)算法的特征，去掉那些冗余的、與類別不相關(guān)的特征。特征重構(gòu)是由原始特征集合創(chuàng)建新的特征集合，使得新創(chuàng)建的特征集合遠(yuǎn)遠(yuǎn)小于原始的特征集合。由于特征選擇具有速度快，適合處理于大規(guī)模數(shù)據(jù)集的特點(diǎn)，因此本文主要在特征選擇方面開(kāi)展了一些工作，提出了兩種特征選擇算法：基于互信息的相關(guān)性特征選擇方法和基于關(guān)聯(lián)分析的特征選擇方法。
　　 基于互信息的相關(guān)性特征選

4、擇方法不僅計(jì)算了特征與類別的相關(guān)度，也考慮了特征之間的相關(guān)度。文中采用了改進(jìn)后的互信息作為相關(guān)性的量化指標(biāo)來(lái)衡量特征與特征、特征與類別間的相關(guān)性，從而在最大程度保留原始空間信息的目的下，盡可能地剔除掉不相關(guān)的、冗余的特征。在試驗(yàn)中將文本分類中常用的特征選擇方法IG、CHI作為參照的基準(zhǔn)，從實(shí)驗(yàn)結(jié)果中可以看到我們提出的算法是很有效的一種特征選擇方法。
　　 基于關(guān)聯(lián)分析的特征選擇方法主要考慮了特征之間存在的關(guān)聯(lián)關(guān)系，傳統(tǒng)的特征選擇