構(gòu)造性神經(jīng)網(wǎng)絡的集成分類模型及應用

1、安徽大學碩士學位論文摘要I摘要摘要神經(jīng)網(wǎng)絡集成是目前機器學習的熱門研究方向之一，在許多領(lǐng)域有著廣泛的應用，如數(shù)據(jù)挖掘、模式識別、文本分類、預測等方面。神經(jīng)網(wǎng)絡集成通過訓練多個神經(jīng)網(wǎng)絡并將其結(jié)果進行合成，可以顯著地提高學習系統(tǒng)的泛化能力。它加深了學者們對于機器學習和神經(jīng)網(wǎng)絡的研究，并且利于工程技術(shù)人員利用神經(jīng)網(wǎng)絡技術(shù)解決實際問題。神經(jīng)網(wǎng)絡集成實現(xiàn)的方法主要集中在兩個方面，即怎樣將多個神經(jīng)網(wǎng)絡的輸出結(jié)果進行結(jié)合和如何產(chǎn)生集成中的個體網(wǎng)絡。因

2、此要增強神經(jīng)網(wǎng)絡集成的泛化能力，一方面應盡可能提高個體網(wǎng)絡的泛化能力，另一方面應盡可能增大集成中各網(wǎng)絡之間的差異。現(xiàn)在常用的神經(jīng)網(wǎng)絡集成學習方法都是通過擾動訓練數(shù)據(jù)來獲得差異較大的個體網(wǎng)絡，使個體學習器的誤差分布于不同的輸入空間而取得較好效果，其中Bagging和Boosting是目前比較流行的兩種集成學習方法。而本文主要討論如何將擾動數(shù)據(jù)集和擾動輸入屬性結(jié)合起來，來生成精度更高且差異度更大的個體學習器，再將這多個學習器構(gòu)建成集成分類模

3、型來解決分類問題。具體的做法是在Bagging方法的基礎(chǔ)上，將特征選擇技術(shù)Relief算法引入集成學習模型的構(gòu)建中；采用一種構(gòu)造性的神經(jīng)網(wǎng)絡即覆蓋算法作為基礎(chǔ)分類器。并且在論文中對傳統(tǒng)的Relief算法進行了改進，引入了抽樣選擇的思想。為了驗證所提出的集成分類模型的分類能力，論文中選擇了UCI上的一些公共數(shù)據(jù)集進行了實驗。結(jié)果表明，本文提出的方法能有效提高普通覆蓋集成的泛化能力和分類精度。最后本文將所提出的方法應用到手寫體的0到9的數(shù)字