基于條件互信息的集成學(xué)習(xí)的研究與應(yīng)用.pdf

1、集成學(xué)習(xí)是當(dāng)今機(jī)器學(xué)習(xí)的四大研究方向之首，隨著越來越多的學(xué)者的介入研究，集成學(xué)習(xí)經(jīng)典算法族Bagging和Boosting已經(jīng)研究的比較深入，因此需要從其他的角度來研究性能更好的集成算法。選擇性集成就是一種特殊的集成學(xué)習(xí)的范式。它利用優(yōu)化選擇出個體學(xué)習(xí)器中的部分差異性大，泛化能力強(qiáng)的學(xué)習(xí)器加以集成，得到了比以往集成所有個體學(xué)習(xí)器更好的性能。目前集成學(xué)習(xí)已經(jīng)應(yīng)用到很多領(lǐng)域，比如行星探測、地震波分析、Web信息過濾、生物特征識別、計算機(jī)輔助

2、醫(yī)療診斷等領(lǐng)域。 本文詳細(xì)分析了集成學(xué)習(xí)的有關(guān)理論和算法，集成學(xué)習(xí)生效的原因和優(yōu)勢，并指出了集成學(xué)習(xí)的不足和研究方向，然后介紹了選擇性集成學(xué)習(xí)的理論基礎(chǔ)和構(gòu)造算法，最后做了以下兩個主要的工作。 首先，介紹了信息論中條件互信息的理論，并將它與集成學(xué)習(xí)相結(jié)合，構(gòu)造出一個利用條件互信息來選擇優(yōu)化個體學(xué)習(xí)器的算法CMISEN(ConditionalMutual Information Based Selective Ensemb

3、le)，該算法在選擇個體學(xué)習(xí)器的過程中考慮了他們之間的影響，能防止選入一些冗余的個體學(xué)習(xí)器，使個體學(xué)習(xí)之間的差異性更大。最后將它在Weka平臺下實(shí)現(xiàn)，通過與Bagging和MISEN(MutualInformation Based Selective Ensemble)算法在UCI數(shù)據(jù)集上比較，證明了該算法在預(yù)測準(zhǔn)確性上優(yōu)于前兩種方法。 其次，感官評估也是目前研究的熱點(diǎn)內(nèi)容之一，目前在煙草行業(yè)已經(jīng)運(yùn)用了很多計算機(jī)智能的方法來解決

4、問題，并取得很好的成果。但是在機(jī)器學(xué)習(xí)方面仍是利用傳統(tǒng)的單一學(xué)習(xí)器的方法。單一的模型的預(yù)測不是很穩(wěn)定，可能對這批數(shù)據(jù)集預(yù)測效果好，對另一批數(shù)據(jù)的預(yù)測效果就差，而且如果過擬合的話往往導(dǎo)致泛化能力的下降，所以利用集成學(xué)習(xí)的方法會降低這種過擬合而導(dǎo)致泛化能力下降的風(fēng)險。因此本文將集成學(xué)習(xí)算法用于煙葉感官評估，通過實(shí)驗(yàn)證明，集成學(xué)習(xí)在煙葉感官評估方面確實(shí)要優(yōu)于傳統(tǒng)的單一的模型。 最后提出了以后的工作展望，對集成學(xué)習(xí)的進(jìn)一步發(fā)展提出了自己