貝葉斯算法原理分析

1、貝葉斯算法原理分析貝葉斯算法原理分析Bayes法是一種在已知先驗概率與條件概率的情況下的模式分類方法，待分樣本的分類結果取決于各類域中樣本的全體。Bayes方法的薄弱環(huán)節(jié)在于實際情況下，類別總體的概率分布和各類樣本的概率分布函數(或密度函數)常常是不知道的。為了獲得它們，就要求樣本足夠大。另外，Bayes法要求表達文本的主題詞相互獨立，這樣的條件在實際文本中一般很難滿足，因此該方法往往在效果上難以達到理論上的最大值。1.貝葉斯法則貝葉斯

2、法則機器學習的任務：在給定訓練數據D時，確定假設空間H中的最佳假設。最佳假設：一種方法是把它定義為在給定數據D以及H中不同假設的先驗概率的有關知識下的最可能假設。貝葉斯理論提供了一種計算假設概率的方法，基于假設的先驗概率、給定假設下觀察到不同數據的概率以及觀察到的數據本身。2.先驗概率和后驗概率先驗概率和后驗概率用P(h)表示在沒有訓練數據前假設h擁有的初始概率。P(h)被稱為h的先驗概率。先驗概率反映了關于h是一正確假設的機會的背景知

3、識，如果沒有這一先驗知識，可以簡單地將每一候選假設賦予相同的先驗概率。類似地，P(D)表示訓練數據D的先驗概率，P(D|h)表示假設h成立時D的概率。機器學習中，我們關心的是P(h|D)，即給定D時h的成立的概率，稱為h的后驗概率。3.貝葉斯公式貝葉斯公式貝葉斯公式提供了從先驗概率P(h)、P(D)和P(D|h)計算后驗概率P(h|D)的方法：p(h|D)=P(D|H)P(H)P(D)，P(h|D)隨著P(h)和P(D|h)的增長而增長

4、，隨著P(D)的增長而減少，即如果D獨立于h時被觀察到的可能性越大，那么D對h的支持度越小。4.極大后驗假設極大后驗假設學習器在候選假設集合H中尋找給定數據D時可能性最大的假設h，h被稱為極大后驗假設（MAP），確定MAP的方法是用貝葉斯公式計算每個候選假設的后驗概率，計算式如下：h_map=argmaxP(h|D)=argmax(P(D|h)P(h))P(D)=argmaxP(D|h)p(h)(h屬于集合H)最后一步，去掉了P(D)，

5、因為它是不依賴于h的常量。5.極大似然假設極大似然假設在某些情況下，可假定H中每個假設有相同的先驗概率，這樣式子可以進一步簡化，只需考慮P(D|h)來尋找極大可能假設。h_ml=argmaxp(D|h)h屬于集合HP(D|h)常被稱為給定h時數據D的似然度，而使P(D|h)最大的假設被稱為極大似然假設。6.舉例舉例一個醫(yī)療診斷問題，有兩個可選的假設：病人有癌癥、病人無癌癥，[p(h1)=p(cancer)p(h2)=p(uncancer

6、)]可用數據來自化驗結果：正和負，[p(D1)=p()p(D2)=p()，一般假設p(D1)=p(D2)]，有先驗知識：在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97%，總結如下：P(cancer)=0.008P(uncancer)=0.992P(|cancer)=0.98P(|cancer)=0.02P(|uncancer)=0.03P(|uncancer)=0.97問題：假

7、定有一個新病人，化驗結果為正，是否應將病人斷定為有癌癥？求后驗概率P(cancer|)和P(uncancer|)因此極大后驗假設計算如下：P(cancer)=P(|cancer)P(cancer)=0.0080.98=0.0078P(uncancer)=P(|uncancer)P(uncancer)=0.9920.03=0.0298hMAP=uncancer確切的后驗概率可將上面的結果歸一化以使它們的和為1P(canner|)=0.00