基于貝葉斯決策理論的局部分類(lèi)方法研究及其應(yīng)用.pdf

1、分類(lèi)是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的一項(xiàng)重要研究?jī)?nèi)容。在分類(lèi)問(wèn)題中，通常需要建立一個(gè)由已知類(lèi)標(biāo)號(hào)的樣本組成的訓(xùn)練集，然后根據(jù)訓(xùn)練集中的樣本對(duì)新的未知類(lèi)標(biāo)號(hào)的樣本進(jìn)行分類(lèi)，即對(duì)每個(gè)未知樣本預(yù)測(cè)其類(lèi)標(biāo)號(hào)。局部學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要方法，它通過(guò)對(duì)訓(xùn)練集中的部分樣本進(jìn)行學(xué)習(xí)，建立某個(gè)局部區(qū)域的專(zhuān)有學(xué)習(xí)模型。局部分類(lèi)就是利用局部學(xué)習(xí)來(lái)解決分類(lèi)問(wèn)題的方法，由于局部分類(lèi)模型是根據(jù)與待測(cè)樣本點(diǎn)非常相關(guān)的一個(gè)局部區(qū)域的樣本點(diǎn)建立的，因此更能反映待測(cè)樣本的

2、信息，可以對(duì)其進(jìn)行準(zhǔn)確分類(lèi)。k-最近鄰法（kNN）作為局部分類(lèi)的一個(gè)具體化算法，由于其簡(jiǎn)單、易理解、易實(shí)現(xiàn)等特點(diǎn)，在機(jī)器學(xué)習(xí)、模式識(shí)別和數(shù)據(jù)挖掘等領(lǐng)域有著廣泛的研究和應(yīng)用。
　　目前對(duì)局部分類(lèi)的研究，主要是在kNN的基礎(chǔ)上進(jìn)行的，缺乏對(duì)局部分類(lèi)進(jìn)行系統(tǒng)的研究。本文以貝葉斯決策理論為基礎(chǔ)，以局部概率模型為核心思想，對(duì)局部分類(lèi)進(jìn)行深入研究和探討，提出了局部分類(lèi)方法的一般形式，并據(jù)此實(shí)現(xiàn)局部分類(lèi)的概率輸出。此外，針對(duì)局部分類(lèi)中的兩個(gè)關(guān)鍵

3、問(wèn)題，即局部區(qū)域的選擇和局部模型的選擇問(wèn)題，本文做了一系列深入的研究和嘗試，并從理論上分析了局部區(qū)域選擇和局部模型選擇之間的關(guān)系，為局部區(qū)域選擇和局部模型選擇提供了新的思路和指導(dǎo)方向。最后，本文將局部分類(lèi)方法應(yīng)用于基于靜息腦電（EEG）的普適身份識(shí)別系統(tǒng)，得到了較好的識(shí)別效果。本文的主要工作和創(chuàng)新點(diǎn)如下：
　　1.局部分類(lèi)中的局部模型選擇問(wèn)題在kNN中表現(xiàn)為鄰域信息組織問(wèn)題，針對(duì)kNN分類(lèi)中鄰域信息組織問(wèn)題，以貝葉斯理論為基礎(chǔ)提出

4、了一個(gè)基于局部分布的kNN分類(lèi)算法（Local Distribution Based kNN,LD-kNN）。該算法為待測(cè)樣本構(gòu)建一個(gè)鄰域，并利用鄰域內(nèi)的樣本對(duì)該鄰域的局部分布進(jìn)行估計(jì)，然后利用估計(jì)出來(lái)的局部分布信息通過(guò)貝葉斯定理計(jì)算待測(cè)樣本屬于每個(gè)類(lèi)的隸屬概率，將待測(cè)樣本分到具有最大隸屬概率的類(lèi)中。LD-kNN通過(guò)局部分布信息綜合考慮了鄰域中的樣本數(shù)量，位置，距離等信息，是對(duì)現(xiàn)有kNN方法的一種改進(jìn)和完善。通過(guò)大量的真實(shí)數(shù)據(jù)集和模擬數(shù)

5、據(jù)集上的實(shí)驗(yàn)研究了LD-kNN方法的性質(zhì)，實(shí)驗(yàn)結(jié)果表明與很多先進(jìn)的分類(lèi)算法相比，在分類(lèi)效果、效率、維度魯棒性和問(wèn)題魯棒性上，LD-kNN都有良好的性質(zhì)。
　　2.在局部分布的估計(jì)方面，重新定義局部概率分布，提出了一種基于局部概率模型（Local Probabilistic Model，LPM）的概率密度估計(jì)方法（LPM-based Density Estimation,LPM-DE）。由于現(xiàn)實(shí)中真實(shí)概率分布的復(fù)雜性，一般

6、的參數(shù)概率模型經(jīng)常難以有效模擬出真實(shí)的分布，而非參數(shù)概率模型通常需要更多的樣本支持，從而導(dǎo)致建模效率較低。LPM-DE是對(duì)參數(shù)概率模型和非參數(shù)概率模型的一個(gè)折中，該方法在全局上估計(jì)一個(gè)非參數(shù)模型，而在局部估計(jì)一個(gè)參數(shù)模型，通過(guò)選擇不同大小的局部區(qū)域和該局部區(qū)域上的局部概率模型，能有效克服參數(shù)模型和非參數(shù)模型的缺陷，對(duì)全局概率密度進(jìn)行有效的估計(jì)。在模擬數(shù)據(jù)集上的一系列實(shí)驗(yàn)驗(yàn)證了LPM-DE的有效性。
　　3.以貝葉斯決策理論為基礎(chǔ)，

7、用局部概率模型解決貝葉斯分類(lèi)中的概率估計(jì)問(wèn)題，提出了基于概率模型的貝葉斯分類(lèi)方法（LPM-based Bayesian Classification,LPM-BC）。LPM-BC是局部分類(lèi)方法的一般形式，通過(guò)選擇不同的局部區(qū)域及其對(duì)應(yīng)的局部概率模型，LPM-BC可以具體化為各種局部分類(lèi)算法，傳統(tǒng)的kNN算法和LD-kNN都可以看作是該局部分類(lèi)方法的一個(gè)具體化形式。LPM-BC將局部分類(lèi)概率化，可以輸出樣本對(duì)各個(gè)類(lèi)的隸屬概率，便于進(jìn)行后續(xù)

8、概率推理，這是LPM-BC相對(duì)于只輸出類(lèi)標(biāo)號(hào)的分類(lèi)算法的一個(gè)顯著優(yōu)勢(shì)。另外，對(duì)LPM-BC的局部區(qū)域的選擇和局部概率模型的選擇進(jìn)行了一系列分析和探討，總結(jié)出了局部分類(lèi)中局部區(qū)域選擇和局部概率模型選擇之間的關(guān)系。在一系列模擬和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了，當(dāng)選擇合適的局部區(qū)域及其對(duì)應(yīng)的局部概率模型時(shí)，該局部分類(lèi)方法LPM-BC具有良好的分類(lèi)效果。
　　4.將局部分類(lèi)方法應(yīng)用于基于靜息腦電（Electroencephalography，E

9、EG）的生物識(shí)別領(lǐng)域。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于EEG的普適身份識(shí)別系統(tǒng)。該系統(tǒng)實(shí)時(shí)接收并分析受試者的EEG信號(hào)，提取相關(guān)的特征，然后用局部分類(lèi)方法根據(jù)所提取的特征建立合適的局部概率模型對(duì)受試者進(jìn)行分類(lèi)識(shí)別。在實(shí)驗(yàn)中，實(shí)現(xiàn)局部分類(lèi)的一個(gè)具體化算法局部概率中心（LocalProbability Centers,LPC），并利用LPC對(duì)受試者的EEG信號(hào)進(jìn)行分類(lèi)識(shí)別，與其他很多先進(jìn)的全局分類(lèi)算法相比局部分類(lèi)算法LPC能達(dá)到好的識(shí)別效果。