基于粒子群優(yōu)化的加權(quán)樸素貝葉斯分類研究.pdf

1、數(shù)據(jù)挖掘是一個年輕且充滿生機的研究領(lǐng)域。分類是數(shù)據(jù)挖掘研究的內(nèi)容之一。樸素貝葉斯分類是應(yīng)用比較廣泛的分類方法，是貝葉斯分類法的一種，它可以與決策樹和神經(jīng)網(wǎng)絡(luò)分類相媲美。而且在大型數(shù)據(jù)庫應(yīng)用方面，它也表現(xiàn)出高的準(zhǔn)確率和速度。但是樸素貝葉斯需要滿足一個假定，即每個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩灾?。這種類條件獨立性限制了樸素貝葉斯分類的準(zhǔn)確率，因為有些時候有的屬性之間存在著一定的關(guān)系，并不滿足獨立性假設(shè)。
　　 加權(quán)樸素貝葉斯分類

2、是樸素貝葉斯分類的一種擴展，給每個屬性賦予不同的權(quán)值，從而削弱類獨立性假設(shè)，使其更加滿足實際情況。加權(quán)樸素貝葉斯分類的一個關(guān)鍵問題是確定權(quán)值,因此,本文提出了基于粒子群優(yōu)化的加權(quán)樸素貝葉斯（Weighted Naive Bayes based on Particle Swarm Optimization，WNB-PSO）分類算法，采用粒子群優(yōu)化算法來自動搜索權(quán)值，并用實驗來說明這種算法確實能夠提高樸素貝葉斯分類的準(zhǔn)確率。
　　

3、分類實際上是一個構(gòu)造模型或者分類器的過程。該過程可以分成兩步進行：
　　 學(xué)習(xí)和分類。首先把數(shù)據(jù)隨機地分成訓(xùn)練數(shù)據(jù)和檢驗數(shù)據(jù)。訓(xùn)練數(shù)據(jù)用于學(xué)習(xí)階段，通過粒子群優(yōu)化算法來確定權(quán)重，而檢驗數(shù)據(jù)用于分類階段，檢驗該算法分類的準(zhǔn)確率。準(zhǔn)確率在粒子群優(yōu)化的適應(yīng)度函數(shù)上和分類階段的分類器性能評估上都會用到。在學(xué)習(xí)階段（或者訓(xùn)練階段），根據(jù)貝葉斯定理，在給定未知類屬元組的情況下，計算每個類的后驗概率，后驗概率由貝葉斯公式給定，然后把該元組歸屬

4、于最大概率值的那個類。加權(quán)樸素貝葉斯算法在后驗概率的式子上添加了權(quán)值，使每個屬性的概率獲得不同的比重。對于權(quán)值的確定，本文利用粒子群優(yōu)化算法在訓(xùn)練數(shù)據(jù)上搜索最優(yōu)的權(quán)值。在搜索過程中，采用準(zhǔn)確率來作為粒子群優(yōu)化的適應(yīng)度函數(shù)。初始時，設(shè)定好粒子群的規(guī)模、迭代次數(shù)，每個粒子的位置為一隨機值，即權(quán)重是任意的。在每次迭代中，如果每個粒子的當(dāng)前位置比歷史最優(yōu)位置的適應(yīng)度更好，則更新該粒子的歷史最優(yōu)位置為當(dāng)前位置，同時，對速度也要進行更新。當(dāng)?shù)螖?shù)

5、或者閾值達到所設(shè)定的值時，權(quán)值也就找到了。在分類階段，使用找到的權(quán)值構(gòu)造分類器，用檢驗數(shù)據(jù)對分類器進行檢驗，統(tǒng)計正確分類的元組個數(shù)和不正確分類的元組個數(shù)，得到分類準(zhǔn)確率，以準(zhǔn)確率來評價該分類器，并和樸素貝葉斯分類器得到的準(zhǔn)確率進行比較。整個實驗使用的數(shù)據(jù)采用UCI 數(shù)據(jù)集。
　　 文章的主要內(nèi)容如下：
　　 1.回顧數(shù)據(jù)挖掘的發(fā)展歷程，介紹數(shù)據(jù)挖掘的過程、挖掘數(shù)據(jù)的種類、數(shù)據(jù)預(yù)處理以及幾種主要的分類算法。
　　

6、2.系統(tǒng)地研究貝葉斯分類，首先介紹相關(guān)概率論的一些知識，描述貝葉斯定理，然后介紹樸素貝葉斯分類算法、貝葉斯網(wǎng)絡(luò)以及加權(quán)樸素貝葉斯分類。
　　 3.描述粒子群優(yōu)化算法，闡述了基本粒子群算法及其改進版本，包括帶慣性權(quán)重的算法和帶收縮因子的算法，并進行了代數(shù)分析和解析分析。
　　 4.提出基于粒子群優(yōu)化的加權(quán)樸素貝葉斯分類算法，并進行實驗分析。
　　 本文的創(chuàng)造性成果有：
　　 1．建立了貝葉斯分類的一般過程，