貝葉斯算法原理分析

1、貝葉斯算法原理分析貝葉斯算法原理分析Bayes法是一種在已知先驗概率與條件概率的情況下的模式分類方法，待分樣本的分類結(jié)果取決于各類域中樣本的全體。Bayes方法的薄弱環(huán)節(jié)在于實際情況下，類別總體的概率分布和各類樣本的概率分布函數(shù)(或密度函數(shù))常常是不知道的。為了獲得它們，就要求樣本足夠大。另外，Bayes法要求表達文本的主題詞相互獨立，這樣的條件在實際文本中一般很難滿足，因此該方法往往在效果上難以達到理論上的最大值。1.貝葉斯法則貝葉斯

2、法則機器學(xué)習(xí)的任務(wù)：在給定訓(xùn)練數(shù)據(jù)D時，確定假設(shè)空間H中的最佳假設(shè)。最佳假設(shè)：一種方法是把它定義為在給定數(shù)據(jù)D以及H中不同假設(shè)的先驗概率的有關(guān)知識下的最可能假設(shè)。貝葉斯理論提供了一種計算假設(shè)概率的方法，基于假設(shè)的先驗概率、給定假設(shè)下觀察到不同數(shù)據(jù)的概率以及觀察到的數(shù)據(jù)本身。2.先驗概率和后驗概率先驗概率和后驗概率用P(h)表示在沒有訓(xùn)練數(shù)據(jù)前假設(shè)h擁有的初始概率。P(h)被稱為h的先驗概率。先驗概率反映了關(guān)于h是一正確假設(shè)的機會的背景知

3、識，如果沒有這一先驗知識，可以簡單地將每一候選假設(shè)賦予相同的先驗概率。類似地，P(D)表示訓(xùn)練數(shù)據(jù)D的先驗概率，P(D|h)表示假設(shè)h成立時D的概率。機器學(xué)習(xí)中，我們關(guān)心的是P(h|D)，即給定D時h的成立的概率，稱為h的后驗概率。3.貝葉斯公式貝葉斯公式貝葉斯公式提供了從先驗概率P(h)、P(D)和P(D|h)計算后驗概率P(h|D)的方法：p(h|D)=P(D|H)P(H)P(D)，P(h|D)隨著P(h)和P(D|h)的增長而增長

4、，隨著P(D)的增長而減少，即如果D獨立于h時被觀察到的可能性越大，那么D對h的支持度越小。4.極大后驗假設(shè)極大后驗假設(shè)學(xué)習(xí)器在候選假設(shè)集合H中尋找給定數(shù)據(jù)D時可能性最大的假設(shè)h，h被稱為極大后驗假設(shè)（MAP），確定MAP的方法是用貝葉斯公式計算每個候選假設(shè)的后驗概率，計算式如下：h_map=argmaxP(h|D)=argmax(P(D|h)P(h))P(D)=argmaxP(D|h)p(h)(h屬于集合H)最后一步，去掉了P(D)，

5、因為它是不依賴于h的常量。5.極大似然假設(shè)極大似然假設(shè)在某些情況下，可假定H中每個假設(shè)有相同的先驗概率，這樣式子可以進一步簡化，只需考慮P(D|h)來尋找極大可能假設(shè)。h_ml=argmaxp(D|h)h屬于集合HP(D|h)常被稱為給定h時數(shù)據(jù)D的似然度，而使P(D|h)最大的假設(shè)被稱為極大似然假設(shè)。6.舉例舉例一個醫(yī)療診斷問題，有兩個可選的假設(shè)：病人有癌癥、病人無癌癥，[p(h1)=p(cancer)p(h2)=p(uncancer

6、)]可用數(shù)據(jù)來自化驗結(jié)果：正和負，[p(D1)=p()p(D2)=p()，一般假設(shè)p(D1)=p(D2)]，有先驗知識：在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97%，總結(jié)如下：P(cancer)=0.008P(uncancer)=0.992P(|cancer)=0.98P(|cancer)=0.02P(|uncancer)=0.03P(|uncancer)=0.97問題：假

7、定有一個新病人，化驗結(jié)果為正，是否應(yīng)將病人斷定為有癌癥？求后驗概率P(cancer|)和P(uncancer|)因此極大后驗假設(shè)計算如下：P(cancer)=P(|cancer)P(cancer)=0.0080.98=0.0078P(uncancer)=P(|uncancer)P(uncancer)=0.9920.03=0.0298hMAP=uncancer確切的后驗概率可將上面的結(jié)果歸一化以使它們的和為1P(canner|)=0.00