Bagging算法的兩階段混合修剪技術(shù)研究與分析.pdf

1、集成方法往往能提升單分類器的性能，但最終模型占用存儲空間大，預(yù)測耗費時間久等缺點也隨之出現(xiàn)。因此，各種修剪技術(shù)陸續(xù)被提出，其目標針對原始集成方法進行有效而最大程度的簡化，同時能夠保持甚至提升原有集成方法的預(yù)測性能。集成方法修剪技術(shù)已成為機器學(xué)習(xí)領(lǐng)域?qū)W者們研究的一個重要課題。Bagging算法作為經(jīng)典集成方法之一，修剪Bagging集成模型同樣面臨著提升原始Bagging預(yù)測性能的同時保證修剪效率最大化等問題。然而，目前修剪Bagging

2、的方法大多采用復(fù)雜的計算進行修剪，大大增加了修剪模型的計算成本。在本文中，針對Bagging算法，本文首先提出兩種獨立的Bagging修剪方法，即一種基于正確率的修剪方法和另一種基于距離的修剪方法;在此基礎(chǔ)上，進一步提出一種兩階段混合修剪技術(shù)，以獲得更為簡約而高效的集成模型。論文內(nèi)容主要包括:
　　(1)研究一種基于正確率的Bagging修剪方法。該方法利用Bagging子模型在out-of-bag樣本集上的預(yù)測正確率，按分位數(shù)閾

3、值篩選出表現(xiàn)優(yōu)異的子模型，構(gòu)建新的集成模型。此修剪方法充分考慮子模型的預(yù)測正確率，最大程度縮減原Bagging算法中的子模型數(shù)目。
　　(2)研究一種基于距離的Bagging修剪方法。該方法首先計算經(jīng)典Bagging中各子模型對應(yīng)的out-of-bag樣本集的樣本中心，然后針對每個待預(yù)測樣本，計算該樣本到各樣本中心的距離，進一步根據(jù)分位數(shù)閾值篩選出距離待預(yù)測樣本較近的部分子模型，從而構(gòu)建起新的集成模型。此修剪技術(shù)充分考慮待預(yù)測樣本

4、的個體差異性，篩選出因樣本而異的子模型集，以此減少Bagging子模型數(shù)目，獲得預(yù)測任務(wù)的加速以及性能的提升。
　　(3)在上述兩種獨立修剪技術(shù)的基礎(chǔ)上提出一種兩階段的混合修剪方法。本文中提出的基于正確率和基于距離的修剪方法分別記為P1和P2，依據(jù)前后順序，兩階段混合修剪方法包含兩種修剪方式，分別稱為P1+P2和P2+P1。P1+P2方法是指針對基于正確率的修剪方法P1篩選出的子模型，進一步利用基于距離的修剪技術(shù)P2進行篩選;而P

5、2+P1方法恰好順序相反，先利用P2修剪，再應(yīng)用P1進行篩選。兩階段混合修剪方法結(jié)合了兩種獨立修剪技術(shù)各自的優(yōu)點，可進一步縮減子模型的數(shù)目并提升模型預(yù)測性能。
　　最后，本文使用來自UCI的28種數(shù)據(jù)集，針對上述提出的修剪方法進行5折交叉驗證。在實驗階段采用四種-基分類器進行對比研究，分別包括決策樹、高斯樸素貝葉斯、K-近鄰和邏輯回歸。實驗結(jié)果證明，對傳統(tǒng)Bagging算法的修剪不僅可以有效解決集成模型占用內(nèi)存大等問題，還可以進一