文本分類中基于綜合度量特征選擇算法的研究.pdf

1、文本分類是一個(gè)傳統(tǒng)而又歷久彌新的話題，在互聯(lián)網(wǎng)技術(shù)日益發(fā)達(dá)的今天，其應(yīng)用越來越廣泛。在文本分類的過程中，由于用特征向量表示文本時(shí)的高維性、高稀疏度等特點(diǎn)，特征選擇顯得特別重要。
　　在研究文本分類時(shí)，發(fā)現(xiàn)詞頻特征選擇忽略了特征的類內(nèi)重要度和類間分散度，而χ2統(tǒng)計(jì)量特征選擇只考慮了特征的類內(nèi)重要度。針對詞頻和χ2統(tǒng)計(jì)量兩種特征選擇算法的不足，提出了三種基于綜合度量的特征選擇算法：基于平衡因子的詞頻特征選擇、基于平衡因子的χ2統(tǒng)計(jì)量特

2、征選擇以及基于過濾器的χ2統(tǒng)計(jì)量特征選擇。改進(jìn)的前兩種算法通過引入權(quán)重平衡因子，將特征的類內(nèi)重要度和類間分散度線性組合起來，通過調(diào)節(jié)權(quán)重平衡因子來調(diào)整類內(nèi)重要度和類間分散度在特征評分中的貢獻(xiàn)度，有效地解決了詞頻和χ2統(tǒng)計(jì)量兩種特征選擇算法的不足?；谶^濾器的χ2統(tǒng)計(jì)量特征選擇在傳統(tǒng)的χ2統(tǒng)計(jì)量特征選擇的結(jié)果集上，用類間分散度進(jìn)行過濾，剔除類間分散度小于給定閾值的特征，從而得到效果更優(yōu)的特征子集。
　　設(shè)計(jì)并實(shí)現(xiàn)了包含多項(xiàng)式樸素貝葉