基于聚類和分類技術(shù)的文本分類研究.pdf

1、90年代以來隨著信息存儲技術(shù)和通訊技術(shù)的發(fā)展,大量的信息爆炸式增長,信息自動分類已經(jīng)成為人們獲取有用信息不可或缺的工具。文本分類是中文信息處理的一個重要的研究領(lǐng)域,其目標(biāo)是在分析文本內(nèi)容的基礎(chǔ)上,給文本分配一個或多個比較合適的類別,從而提高文本檢索等應(yīng)用的處理效率。目前已經(jīng)有許多方法應(yīng)用到該領(lǐng)域,如支持向量機(jī)方法(SVM)、K近鄰方法(KNN)、樸素貝葉斯方法(Naive Bayes)、決策樹(DecisionTree)等等。樸素貝葉斯

2、分類以其堅實的數(shù)學(xué)基礎(chǔ)和豐富的概率表達(dá)能力,尤其是它能充分利用先驗信息的特性越來越受到人們的重視,是目前公認(rèn)的一種簡單有效的概率分類方法,在某些領(lǐng)域中表現(xiàn)出很好的性能。貝葉斯方法的一大優(yōu)點(diǎn)是利用了先驗信息,能夠在不確定性的推理中提供一種模式和處理方法。樸素貝葉斯與其他分類法相比,具有更小的出錯率和較高的健壯性和效率。
　　 但是對于中等規(guī)模以上的文本數(shù)據(jù)集,其特征詞往往達(dá)到數(shù)萬個,這種高維度的數(shù)據(jù)對于貝葉斯分類算法來說,影響是致

3、命的。這樣會導(dǎo)致其分類速度慢,難以在大規(guī)模海量信息處理中得到有效應(yīng)用。采用k—means聚類算法對待分文本進(jìn)行聚類分類,降低貝葉斯分類器分類文本維度,有效地解決維數(shù)災(zāi)難的問題。既能克服貝葉斯分類速度慢的缺陷,又能保持較高的分類準(zhǔn)確率,使得貝葉斯文本分類應(yīng)用更加廣泛。本文所做的工作:
　　 1.描述了文本分類和文本聚類技術(shù),著重介紹了文本聚類和文本分類處理過程中所需要的文本表示、文本特征提取、分類器測試等重要步驟。
　　

4、2.分析了K—means文本聚類和樸素貝葉斯分類方法的優(yōu)缺點(diǎn),將K—means文本聚類方法和樸素貝葉斯分類方法相結(jié)合,利用K—means文本聚類方法對樸素貝葉斯分類方法速度慢的缺點(diǎn)進(jìn)行改進(jìn)。
　　 3.根據(jù)文本挖掘的一般過程,構(gòu)建了一個基于向量空間模型的文本自動分類原型系統(tǒng)。
　　 4.在構(gòu)建的文本自動分類原型系統(tǒng)中實現(xiàn)了K—means文本聚類方法對樸素貝葉斯分類方法進(jìn)行改進(jìn),驗證了其對普通樸素貝葉斯分類方法進(jìn)行改進(jìn)的有