文本分類特征選擇與分類算法的改進.pdf

1、文本分類是數(shù)據(jù)挖掘中一個常見的研究熱點方向，K-最近鄰分類方法是一種用實例解決問題的分類方法，在向量空間模型下，是一種比較好的文本分類方法。其主要步驟有：文本預(yù)處理，特征選擇（計算特征詞的權(quán)重和選擇特征詞），表示文本的特征模型的建立，訓(xùn)練分類器，用分類器進行分類。其中特征選擇是文本分類中最重要的，能否利用特征選擇選出合適的特征詞對分類的效果有重要影響。
　　能否利用特征選擇選出合適的特征詞會直接影響分類的效率和效果。許多研究表明，

2、互信息特征選擇方法是很好的特征選擇度量算法之一。任意兩個隨機變量的統(tǒng)計相關(guān)性可以用互信息是加以衡量。在文本分類中，互信息特征選擇存在以下三點不足:(l)只考慮了特征詞出現(xiàn)的文檔頻率，即特征詞在幾篇文檔中出現(xiàn)過，而沒有考慮特征詞在文本中出現(xiàn)的頻度，即特征詞出現(xiàn)了多少次。(2)互信息方法沒有考慮特征詞之間的統(tǒng)計關(guān)聯(lián)性，只考慮了特征詞與類別之間的統(tǒng)計關(guān)聯(lián)性。(3)文本訓(xùn)練集中各個類別中的文本數(shù)量會影響對計算特征詞互信息，但這點沒有想辦法解決。

3、
　　如上所述互信息方法的缺點，針對以上不足，本文通過引入最小特征冗余度量法，加入特征類頻度和特征類內(nèi)分散度兩個參數(shù)，同時在計算特征詞文檔頻時設(shè)置其在文本中需要出現(xiàn)的最小詞頻，提出了一種基于特征詞詞頻的互信息特征選擇方法。
　　此外，K-最近鄰分類算法中如何確定合適的K值以達到最佳分類效果，采取預(yù)先確定固定的K值的算法有著明顯的缺陷，它沒考慮到訓(xùn)練文本集合各個類別的文檔數(shù)目對 K值選取會產(chǎn)生影響，如果 K值選擇太大，在選擇

4、K個近鄰的時候，容易使分類結(jié)果趨向于含有文檔數(shù)較多的類別，分類效果不好；而如果 K值選擇太小，得到的相近文檔數(shù)太少，會使分類精度降低，而且會放大噪聲數(shù)據(jù)的干擾作用。
　　針對 K-最近鄰分類算法采用固定 K值的缺陷，本文提出一種動態(tài)獲取K值的策略，實驗表明，動態(tài)獲取K值的K-最近鄰分類算法具有較高分類性能。本文將基于文本詞頻的互信息特征選擇算法運用到動態(tài)獲取K值的K-最近鄰分類算法中，在數(shù)據(jù)集上的實驗結(jié)果表明了特征提取算法的改進與