梯度提升決策樹(GBDT)并行學習算法研究.pdf

1、GBDT(Gradient Boosting Decision Tree)是一個應用廣泛、效果好的監(jiān)督式機器學習模型。它于2001年由Friedman提出，由決策樹(Decision Tree)和梯度提升(Gradient Boosting)組合而成。它在實踐中被證明是一個很高效的模型，被廣泛應用于搜索排序，廣告點擊率預測等，給工業(yè)界帶來了巨大的效果提升和收益。隨著互聯(lián)網(wǎng)時代的到來，更多的數(shù)據(jù)可以被獲取到。在機器學習中，更多的數(shù)據(jù)也意味

2、著更好的效果，所以，用大數(shù)據(jù)來訓練機器學習模型是很有必要的，但這給GBDT帶來了挑戰(zhàn)。首先GBDT的學習算法是一個中心化算法，需要把所有數(shù)據(jù)都加載在內(nèi)存中，當數(shù)據(jù)太大時，單個機器可能無法加載全部數(shù)據(jù)，沒辦法進行學習。并且GBDT學習算法的復雜度和數(shù)據(jù)的大小有關，當數(shù)據(jù)很大時，學習會變得很慢。所以在大數(shù)據(jù)的場景下，對GBDT進行并行處理是非常有必要的。
　　本文的主要研究內(nèi)容是GBDT并行算法，解決在大數(shù)據(jù)場景下，GBDT并行遇到的

3、問題和挑戰(zhàn)。本文首先介紹了關于GBDT的算法及其優(yōu)化的一些算法，給出了詳細的算法和理論分析;接著調(diào)研了現(xiàn)有GBDT的并行算法，按種類可以分為葉子并行(Leaf Parallelization)、特征并行(Feature Parallelization)和數(shù)據(jù)并行(Data Parallelization)。在對這些算法進行詳細的研究后，發(fā)現(xiàn)這些并行算法都存在著不足:葉子并行受到內(nèi)存限制，且通信量太大;特征并行無法并行整個學習過程;數(shù)據(jù)并