基于核函數(shù)的集成學(xué)習(xí)算法研究與應(yīng)用.pdf

1、集成學(xué)習(xí)(Ensemble Leaming)是為某個(gè)問題訓(xùn)練一組學(xué)習(xí)器，并將這些學(xué)習(xí)器聯(lián)合起來執(zhí)行一定預(yù)測任務(wù)的一種機(jī)器學(xué)習(xí)技術(shù)。由于該技術(shù)能夠顯著地提高學(xué)習(xí)系統(tǒng)的泛化能力，受到很多學(xué)者的極大關(guān)注，并且很快成為了機(jī)器學(xué)習(xí)研究中的一個(gè)熱點(diǎn)。集成學(xué)習(xí)技術(shù)已經(jīng)廣泛的應(yīng)用于生物認(rèn)證、傳感器故障容錯(cuò)、字符識別、輻射源識別、語言學(xué)、醫(yī)學(xué)、交通、管理學(xué)等各個(gè)領(lǐng)域。 集成學(xué)習(xí)旨在充分利用每個(gè)成員學(xué)習(xí)器的不同優(yōu)勢，提高整體的泛化性能?，F(xiàn)在一般認(rèn)為

2、，有效地產(chǎn)生泛化能力強(qiáng)、差異大的多個(gè)成員學(xué)習(xí)器，是集成學(xué)習(xí)算法的關(guān)鍵。傳統(tǒng)集成學(xué)習(xí)算法不能充分利用數(shù)據(jù)集和成員學(xué)習(xí)器的特點(diǎn)提高成員學(xué)習(xí)器的多樣性，主要表現(xiàn)在兩個(gè)方面：在對數(shù)據(jù)集進(jìn)行采樣時(shí)，沒有充分利用局部空間的不同特性；在學(xué)習(xí)器的訓(xùn)練過程中，沒有很好的利用過程信息。近年來一些學(xué)者將核函數(shù)應(yīng)用到集成學(xué)習(xí)中，取得了良好的效果。本文的研究目標(biāo)是將核函數(shù)充分地應(yīng)用到集成學(xué)習(xí)中，解決傳統(tǒng)集成學(xué)習(xí)算法存在的這兩個(gè)問題，在保證單個(gè)學(xué)習(xí)器高性能的前提下

3、，實(shí)現(xiàn)成員學(xué)習(xí)器的多樣性。本文開展并完成了以下方面的工作： (1)簡要介紹了集成學(xué)習(xí)的起源和基本概念；介紹了集成學(xué)習(xí)中具有代表性的算法Boosting、Bagging和Stacking的基本思想和理論證明；介紹了當(dāng)前集成學(xué)習(xí)中的新思想—選擇性集成學(xué)習(xí)；介紹了核函數(shù)的歷史、基本思想和理論基礎(chǔ)。 (2)提出了一種基于核函數(shù)分割數(shù)據(jù)集的分類器組合算法(Ensemble Classifiers Al—gorithm based

4、on Kernel Dataset Partition，KFMCE)。該算法利用基于核的模糊隸屬度將原始空間依據(jù)局部特征的不同進(jìn)行分解，然后分別進(jìn)行有針對性的訓(xùn)練，獲得局部性能最優(yōu)的成員學(xué)習(xí)器，最后進(jìn)行集成來提高整體的性能。基于核的模糊隸屬度是對基于距離隸屬度的擴(kuò)展，它在映射后的高維空間中求解樣本的隸屬度，消除了數(shù)據(jù)集在表征數(shù)據(jù)分布上的偏差。以機(jī)器學(xué)習(xí)Weka軟件為平臺在20個(gè)不同的UCI數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該算法與AdaBoo

5、st和Bagging算法相比，具有更高的分類準(zhǔn)確性和更好的泛化能力。 (3)提出了一種動態(tài)協(xié)作的聚類集成算法(Clusterer Ensemble Algorithm Based onDynamic Cooperation，DCCE)。該算法同時(shí)訓(xùn)練多個(gè)基本聚類器，在訓(xùn)練期間，令所有聚類器通過迭代過程中產(chǎn)生的中間信息進(jìn)行動態(tài)協(xié)作調(diào)整，從而提高集成聚類器的泛化性能和計(jì)算效率。協(xié)作過程中，算法使用基于核函數(shù)的共識函數(shù)對多個(gè)聚類器的中