文本分類中特征提取和特征加權方法研究.pdf

1、隨著近年來互聯(lián)網(wǎng)技術和信息技術的飛速發(fā)展，人們可獲取的數(shù)據(jù)量迅速增長。如何快速、準確、全面地從浩瀚的信息資源中尋找到所要的狹小領域內的相關信息內容，已經成為了一項十分有意義的課題。文本分類技術作為解決這一問題的關鍵技術之一，也成為了研究的熱點。
　　 文本分類是一個復雜的系統(tǒng)工程，一般包括文本預處理、特征降維、特征加權、分類器訓練和分類器性能評估等幾個過程。本文在對這些過程進行詳細了解和研究的基礎之上，重點探討了特征降維和特征加

2、權過程。
　　 對高維的特征集進行降維是文本分類過程中的一個重要環(huán)節(jié)，它不僅可以提高分類器的速度，節(jié)省存儲空間，還能夠過濾一些無關屬性，減少無關信息對文本分類過程的干擾，從而提高文本分類的精度和防止過擬合。特征降維可以分為兩類：特征抽取和特征提取。特征提取因其方法簡單、計算速度快，適合用來處理大規(guī)模的文本數(shù)據(jù)，在文本分類中得到了廣泛的應用。本文詳細研究了目前常用的特征提取方法，包括文檔頻數(shù)、互信息、信息增益、期望交叉熵、統(tǒng)計量和

3、文本證據(jù)權。本文分析了這些方法的各自的特點，針對這些方法的不足之處，結合類間集中度、類內分散度和類內平均頻度，提出了一種新的特征提取方法。該方法突出了特征與文本類別的正相關關系，避免了考慮負相關情況所帶來的干擾，綜合考慮了特征和類別之間的聯(lián)系，以及特征在類內出現(xiàn)的平均頻度，是一種簡單有效的特征提取方法。
　　 特征加權過程，能夠改善文本集合在向量空間中的分布狀態(tài)，使得同類文本的空間結構更加緊湊，異類文本的空間結構更加松散，從而簡

4、化了從文本到類別的映射關系，有利于提高文本分類器的分類性能。本文研究了經典的特征加權方法——TF-IDF，分析了它由于未考慮特征項在類間和類內的分布情況而導致對稀有特征賦予較大權值，而對類別區(qū)分貢獻大的特征賦予較小權值的不足之處。進而結合了類間集中度、類內分散度，提出一種TF-IDF公式的改進形式，來彌補原始TF-IDF方法的缺陷。
　　 本文在中文文本分類實驗平臺上，通過多組對比實驗來考察本文提出的新的特征提取方法和改進的TF