改進(jìn)樸素貝葉斯文本分類(lèi)器的特征選擇方法探討.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，大量電子形式的信息飛速增長(zhǎng)，如何有效地對(duì)這些海量的數(shù)據(jù)進(jìn)行組織和整理變得非常重要。而文本分類(lèi)技術(shù)通過(guò)把文檔自動(dòng)歸入一個(gè)或多個(gè)類(lèi)別，可以更好地對(duì)信息進(jìn)行組織和檢索，有廣泛的應(yīng)用前景。在眾多文本分類(lèi)器中，樸素貝葉斯文本分類(lèi)器的運(yùn)算速度快，分類(lèi)效果好，實(shí)用性非常強(qiáng)。 本文首先介紹了文本分類(lèi)算法的一般過(guò)程，傳統(tǒng)的文本特征選擇算法和文本分類(lèi)模型評(píng)價(jià)指標(biāo)。然后詳細(xì)介紹了樸素貝葉斯文本器，指出其不足之處。文本分類(lèi)問(wèn)題的輸

2、入空間維數(shù)很高，特征個(gè)數(shù)可能上萬(wàn)或多達(dá)幾萬(wàn)，采用適當(dāng)?shù)奶卣鬟x擇方法非常重要。傳統(tǒng)的文本分類(lèi)特征選擇方法只是簡(jiǎn)單地把很多單個(gè)分類(lèi)能力強(qiáng)的特征選出來(lái)，然后組合在一起作為特征子集，沒(méi)有考慮特征之間的交互效應(yīng)，影響了樸素貝葉斯文本分類(lèi)器分類(lèi)準(zhǔn)確度。 本文的主要?jiǎng)?chuàng)新之處是提出了新的特征選擇算法BFS（Balanced Forward Selection），在相同時(shí)間復(fù)雜度的情況下，改善了傳統(tǒng)特征選擇算法會(huì)有偏向選擇特征的問(wèn)題，提高了BIM