自動(dòng)文本分類算法研究.pdf

1、Internet的飛速發(fā)展導(dǎo)致網(wǎng)絡(luò)上的文檔信息急劇增長(zhǎng)，如何自動(dòng)處理這些海量信息成為目前重要的研究課題。文本分類是對(duì)文檔信息進(jìn)行有序組織的方法，它能夠?yàn)樾畔z索提供更高效的搜索策略和讓其返回更準(zhǔn)確的檢索結(jié)果。本文研究自動(dòng)文本分類算法。本文首先介紹了文本分類的發(fā)展概況，對(duì)常用的分類算法，比如樸素貝葉斯(NaiveBayes，簡(jiǎn)稱NB)、TFIDF、k近鄰(kNearestNeighbors，簡(jiǎn)稱k-NN)和支持向量機(jī)(SupportVec

2、torMachine，簡(jiǎn)稱SVM)等進(jìn)行了介紹和分析，為后續(xù)章節(jié)的研究提供了理論和實(shí)驗(yàn)基礎(chǔ)。 平滑技術(shù)雖然能夠使NB算法避免零概率問題，但該技術(shù)本身存在一些不足之處，為此本文提出了兩種新的策略：NBTF和NBTS，可以在不采用平滑技術(shù)的情況下消除NB算法中的零概率問題。分析和實(shí)驗(yàn)表明，與Laplace和SGT平滑算法進(jìn)行比較，新策略在有效性、適應(yīng)性等方面具有較好的性能。 本文對(duì)調(diào)整訓(xùn)練文本權(quán)值能否提高單分類器性能的問題進(jìn)

3、行了研究，采用了較簡(jiǎn)單的權(quán)值調(diào)整策略，提出了兩種新算法：KTrain1和KTrain2。分析和實(shí)驗(yàn)表明，新算法能夠?qū)Ψ诸惼餍阅芷鸬揭欢ǖ奶嵘饔谩?本文在研究TFIDF和k-NN算法的基礎(chǔ)上，融入增大錯(cuò)分訓(xùn)練文本權(quán)值可以改進(jìn)分類器性能的思想，提出了一種改進(jìn)的TFIDF算法——S-TFIDF，該算法采用k-NN算法思想改進(jìn)TFIDF算法性能。實(shí)驗(yàn)驗(yàn)證了S-TFIDF算法在分類性能上優(yōu)于TFIDF和k-NN算法。同時(shí)，S-TFIDF