一種樸素貝葉斯參數(shù)判別學(xué)習(xí)算法.pdf

1、樸素貝葉斯(Na(I)ve Bayes,NB)是一種經(jīng)典的機(jī)器學(xué)習(xí)算法,它具有訓(xùn)練時(shí)間短,模型簡單,泛化正確率高等優(yōu)點(diǎn),并且在實(shí)際生活中得到了廣泛的應(yīng)用。但它也有先天的不足:不能很好的擬合訓(xùn)練數(shù)據(jù)局部分布特征,生成參數(shù)學(xué)習(xí)算法不太適合分類任務(wù)等。
　　 局部加權(quán)樸素貝葉斯(Locally Weighted Na(I)ve Bayes,LWNB)是樸素貝葉斯的一種較好的改進(jìn),判別頻率估計(jì)(Discriminative Freque

2、ncy Estimate,DFE)可以極大的提高樸素貝葉斯的泛化正確率。受LWNB和DFE啟發(fā),提出收縮空間(Gradually Contracting Spaces,GCS)判別學(xué)習(xí)樸素貝葉斯參數(shù)算法:對于一個(gè)待分類實(shí)例,尋找包含全體訓(xùn)練實(shí)例的全局空間的一系列逐漸縮小的子空間,這些子空間具有下列兩種性質(zhì):1、它們都包含待分類實(shí)例;2、一個(gè)空間一定包含在任何一個(gè)比它大的空間中。在逐漸縮小的空間上使用修改的DFE算法漸進(jìn)的學(xué)習(xí)樸素貝葉斯N

3、B的參數(shù),使用NB分類給定的待分類實(shí)例。與LWNB的根本不同是:GCS使用全體訓(xùn)練實(shí)例學(xué)習(xí)樸素貝葉斯并且GCS可以實(shí)現(xiàn)為非懶惰版本。本文實(shí)現(xiàn)了GCS的決策樹版本(Decision tree version of GCS,GCS-T),GCS-T是非懶惰算法,它使用決策樹尋找子空間。實(shí)驗(yàn)結(jié)果顯示,與C4.5以及貝葉斯分類算法Na(I)ve Bayes,BaysianNet,NaYve Bayes Tree(NFBTree),LWNB,Hi