基于多屬性關(guān)聯(lián)改進文本分類算法.pdf

1、目前大量有用信息以文本形式存在，因此如何快速對大規(guī)模的文本分類成為亟待解決的問題。為應(yīng)對這一問題，文本自動分類應(yīng)用而生。文本自動分類結(jié)合了統(tǒng)計方法和機器學(xué)習(xí)理論，將文本劃分到預(yù)先定義的類別，能較好地解決大量文檔信息歸類的問題并得到廣泛應(yīng)用。目前文本分類的研究主要集中在文本表示和分類器算法兩個方面。首先文本經(jīng)預(yù)處理得到的文本表示空間具有高維性和稀疏性，導(dǎo)致分類性能下降及效率較低。文本分類器有樸素貝葉斯分類器、k-近鄰、支持向量機、神經(jīng)網(wǎng)絡(luò)

2、等。本文緒論簡要介紹文本分類的產(chǎn)生原因、基礎(chǔ)理論以及研究進展；然后介紹主要文本表示模型的基礎(chǔ)理論，并介紹文本分類算法中主流學(xué)習(xí)算法的基本思想和理論依據(jù)；介紹文本分類算法的評估標(biāo)準(zhǔn)和常用基準(zhǔn)數(shù)據(jù)集。其次機器學(xué)習(xí)方法未充分考慮文本的語義信息，忽略了各條件屬性之間以及條件屬性與決策屬性之間的關(guān)聯(lián)，本文緊緊圍繞屬性間關(guān)聯(lián)這一問題，在分析文本分類研究內(nèi)容和當(dāng)前研究存在問題的基礎(chǔ)上，將重點研究三個問題:一是如何挖掘?qū)傩蚤g關(guān)系以提高文本分類準(zhǔn)確率；二

3、是如何改進文本分類算法提高分類器性能；三是根據(jù)以上研究，通過大量對比實驗驗證了本文提出算法的有效性。
　　本文開展并完成了以下工作:
　　1.為提高樸素貝葉斯分類器的分類精度和泛化能力，提出了基于屬性相關(guān)性的加權(quán)貝葉斯集成方法(WENB)。根據(jù)每個條件屬性與決策屬性的相關(guān)度對其賦以相應(yīng)的權(quán)值，然后用AdaBoost訓(xùn)練屬性加權(quán)后的Navie Bayes(NB)。該分類方法在16個 UCI標(biāo)準(zhǔn)數(shù)據(jù)集上進行了測試，與 NB、貝葉

4、斯網(wǎng)和由AdaBoost訓(xùn)練出的NB進行比較。進一步將該方法應(yīng)用到文本數(shù)據(jù)集中，將其與 NB在4個文本數(shù)據(jù)集上進行比較。實驗結(jié)果表明，該分類器具有更高的分類精度與泛化能力。
　　2. NB算法是一種概率統(tǒng)計方法，它基于屬性獨立性假設(shè)，忽略了屬性間關(guān)聯(lián)度，致使分類精度降低。為充分利用屬性間關(guān)系以提高分類性能，提出了基于屬性對的樸素貝葉斯方法(NBA)。該算法在計算屬性先驗概率時，將相關(guān)屬性同時計算，考慮屬性間關(guān)聯(lián)信息對分類的貢獻，在

5、一定程度上避免了屬性獨立性假設(shè)的弊端。10個 UCI基準(zhǔn)數(shù)據(jù)集和4個文本數(shù)據(jù)集上的實驗結(jié)果表明，該算法明顯優(yōu)于NB算法。
　　3.C4.5算法是一種自頂向下的一步貪婪搜索算法，該算法只能找到分類問題的局部最優(yōu)解。為提高找到全局最優(yōu)解的可能性，本文提出了向前兩步的決策樹構(gòu)建算法。該算法在選擇屬性時，考慮同時選擇兩個屬性帶來的信息增益，而不是只考慮單一最優(yōu)屬性對于信息增益的貢獻，從而在尋找問題全局最優(yōu)方面比只考慮單一最優(yōu)屬性具有更大的