基于加權(quán)決策樹的隨機森林模型優(yōu)化.pdf

1、隨機森林是一種組合分類器，它的主要思想是基于兩個隨機過程（訓練樣本隨機抽取、特征集隨機抽?。﹣順?gòu)建多棵相對獨立的決策樹分類器，然后通過所有決策樹參與投票的方式獲得最終的預測結(jié)果，這樣有效避免了過度擬合的問題，并且構(gòu)建決策樹的相對獨立性適合于并行計算提高模型的預測效率，方便處理高維數(shù)據(jù)。這些特點使隨機森林在各個工程應用中得到了迅速、廣泛的使用，成為機器學習、數(shù)據(jù)挖掘研究中的熱門算法。
　　雖然隨機森林在模型構(gòu)建過程中的隨機抽樣解決了

2、過擬合的問題，但是也使得模型中不同決策樹的泛化能力存在一定的差異，在傳統(tǒng)隨機森林模型中這些具有不同泛化能力的決策樹擁有相同的投票權(quán)重，這影響了模型整體預測能力的穩(wěn)定性。因此，為了進一步提高隨機森林模型整體的預測能力，本文提出了一種優(yōu)化的隨機森林投票方法，通過使用決策樹的分類性能與樣本的統(tǒng)計特征來確定決策樹的投票權(quán)重，使用加權(quán)決策樹投票的方式提高隨機森林整體模型的準確率與效率。
　　本文通過研究傳統(tǒng)隨機森林算法，著重優(yōu)化了隨機森林的

3、投票過程，針對投票過程中存在的問題，提出改進的方法，并通過在多個公共數(shù)據(jù)集上展開實驗，驗證優(yōu)化方法的合理性和優(yōu)越性。本研究的主要工作包括:
　　(1)從決策樹的分類能力、訓練樣本的統(tǒng)計特性入手，提出了4種計算決策樹投票權(quán)重的方法，包括OOB評估、樣本數(shù)據(jù)相關(guān)系數(shù)評估、卡方評估和互信息評估，通過這4種評估方法為單棵決策樹計算投票權(quán)重。在8組數(shù)據(jù)集上進行對比實驗，實驗結(jié)果表明引入投票加權(quán)的方法可以有效的提高隨機森林模型整體的泛化能力，

4、其中以相關(guān)系數(shù)作為決策樹投票權(quán)重計算依據(jù)時，模型表現(xiàn)出更穩(wěn)定、更高的預測準確率。
　　(2)在引入加權(quán)投票算法的基礎上，本文還提出了一種半投票量模式，對構(gòu)建好的加權(quán)隨機森林模型按照決策樹投票權(quán)重進行降序排序，在隨機森林模型進行串行投票的過程中，確定半投票量的預測終止條件，通過提前觸發(fā)預測終止條件來提高模型預測的速度。本文在4組數(shù)據(jù)集上進行對比實驗，驗證了半投票量模式可以在不影響模型預測準確率的前提下顯著提高隨機森林模型的預測速度。