概率統(tǒng)計(jì)在分類器設(shè)計(jì)中的應(yīng)用及樸素貝葉斯分類器改進(jìn)研究.pdf

1、分類是數(shù)據(jù)挖掘中一項(xiàng)非常重要的任務(wù)，在現(xiàn)實(shí)生活中有著廣泛的應(yīng)用。例如，根據(jù)電子郵件的標(biāo)題和內(nèi)容判斷某郵件是否為垃圾郵件。在分類任務(wù)中，構(gòu)造合理的分類器是順利完成一項(xiàng)分類任務(wù)的必要條件。
　　 現(xiàn)在構(gòu)造分類器的方法很多，比較常用的有貝葉斯網(wǎng)絡(luò)、決策樹、基于實(shí)例的學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。很多方法在構(gòu)建分類器時往往忽略了一點(diǎn)：概率統(tǒng)計(jì)在分類器里的應(yīng)用。統(tǒng)計(jì)分析所提供的方差分析、假設(shè)檢驗(yàn)、相關(guān)性分析等功能都有助于數(shù)據(jù)挖掘前期對

2、數(shù)據(jù)進(jìn)行探索，發(fā)現(xiàn)數(shù)據(jù)挖掘的題目，找出數(shù)據(jù)挖掘的目標(biāo)，確定數(shù)據(jù)挖掘所需涉及的變量，對數(shù)據(jù)源進(jìn)行抽樣等等。這些前期工作的成功與否都會對數(shù)據(jù)挖掘的效果產(chǎn)生重大的影響，但這些方法常常會被一些數(shù)據(jù)挖掘工作者忽略。數(shù)據(jù)挖掘的結(jié)果也需要概率統(tǒng)計(jì)分析的描述功能進(jìn)行具體描述，以使數(shù)據(jù)挖掘的結(jié)果更容易被用戶了解。因此，概率統(tǒng)計(jì)分析和數(shù)據(jù)挖掘是相輔相成的過程，兩者的合理配合是數(shù)據(jù)挖掘成功的重要條件。為說明以上觀點(diǎn)，本文通過分析Adult數(shù)據(jù)并挖掘Adult

3、數(shù)據(jù)中的信息，給出概率統(tǒng)計(jì)在構(gòu)建分類器時作用。本文最主要的工作和成果包括：
　　 ●給出一種新的屬性相關(guān)系數(shù)定義。依據(jù)該定義獨(dú)立地給出一種連續(xù)屬性離散化的算法，并利用該算法離散了Adult數(shù)據(jù)的6個連續(xù)屬性，取得很滿意的結(jié)果。
　　 ●基于發(fā)散度以及新定義的相關(guān)系數(shù)，給出了一種特征子集選擇算法。通過實(shí)驗(yàn)驗(yàn)證了該算法的性能：使原來14維數(shù)據(jù)降到9維數(shù)據(jù)，并使樸素貝葉斯分類器的分類準(zhǔn)確率由82.92％提高到83.60％。