基于信息增益和信息熵的特征詞權重計算研究.pdf

1、面對Internet上日益膨脹的信息，人們常常感到無所適從，迷失在這些海量的信息資源中。如何準確而高效地從這些資源中獲取需要的信息成為目前眾多研究者面臨的一個重要難題。文本分類技術作為組織和管理數據的有效方法，可以在很大程度上改善Internet上信息雜亂無章的現象，壓縮檢索空間，加快檢索速度，提高查詢精度。特征詞權重計算是文本分類的一個核心組成部分，其計算的準確與否會直接影響文本分類的結果。
　　 本文首先分析了傳統(tǒng)的特征詞權

2、重計算方法TFIDF的優(yōu)缺點。然后針對該算法存在的缺點，提出了一種新的基于信息增益和信息熵的特征詞權重計算方法，該方法能夠使特征詞權重的計算結果更加準確，從而達到提高文本分類準確率的目的。
　　 本文的主要研究工作如下：
　　 ①分析各特征選擇算法的優(yōu)缺點，并對常用的DF、IG和CHI三種特征選擇算法進行對比實驗。實驗結果表明IG算法的效果較好，因此本文采用IG算法進行特征選擇。
　　 ②詳細介紹現有的特征詞權重

3、計算方法：布爾權值法、文檔頻率、熵權值和TFIDF算法。然后對目前最常用的TFIDF算法的優(yōu)缺點進行分析，并針對其缺點總結了現有的已存在的改進方法。
　　 ③針對傳統(tǒng)TFIDF算法的缺點，提出了一種新的特征詞權重計算方法TFIDFIGE，該方法引入了信息增益和信息熵兩個重要因子。與傳統(tǒng)的TFIDF方法相比，本文提出的方法考慮了特征詞在類間、類內的分布信息對其分類能力的影響，提高了特征詞權重計算的準確性。除此之外，通過消除孤立點特

4、征詞，有效地降低了文本表示的特征維度，減少了文本分類的時間和空間復雜度。
　　 最后，采用網絡爬蟲從網易新聞、新浪新聞和風凰新聞網上下載文本數據集，并從中隨機選擇7700篇文本作為實驗數據集。然后將本文提出的TFIDFIGE方法與傳統(tǒng)的TFIDF和TFIDFIG方法在KNN和Naive Bayes兩種不同的分類器下進行分類對比實驗。實驗結果表明，本文提出的方法改善了傳統(tǒng)TFIDF方法的不足，在文本分類的準確率、召回率和F-mea