邏輯回歸算法及其GPU并行實(shí)現(xiàn)研究.pdf

1、邏輯回歸是重要的機(jī)器學(xué)習(xí)分類方法之一，由于其模型簡(jiǎn)單、訓(xùn)練速度快而在互聯(lián)網(wǎng)、金融、醫(yī)療等領(lǐng)域有著廣泛的應(yīng)用。在邏輯回歸的訓(xùn)練過(guò)程中最主要的步驟就是使用迭代法對(duì)參數(shù)進(jìn)行更新，隨著實(shí)際應(yīng)用中數(shù)據(jù)規(guī)模的逐漸增大，對(duì)邏輯回歸的訓(xùn)練精度和速度有著越來(lái)越高的要求。近年來(lái)GPU硬件的不斷發(fā)展，使得基于GPU的通用計(jì)算逐漸成為研究熱點(diǎn)，這為邏輯回歸的加速訓(xùn)練提供了有力支持。本文基于梯度下降法實(shí)現(xiàn)了邏輯回歸及正則化邏輯回歸，針對(duì)梯度下降中遇到的問(wèn)題對(duì)算法

2、進(jìn)行了改進(jìn)，并結(jié)合GPU的硬件特性，實(shí)現(xiàn)了基于GPU的并行化邏輯回歸系統(tǒng)。論文主要完成的工作如下：
　　針對(duì)最速梯度下降法和隨機(jī)梯度下降法在訓(xùn)練過(guò)程中普遍存在的后期收斂慢的問(wèn)題，本文提出了一種基于目標(biāo)函數(shù)收斂速率的動(dòng)態(tài)步長(zhǎng)方法。該方法首先計(jì)算兩次訓(xùn)練過(guò)程中目標(biāo)函數(shù)的收斂速率，然后按照給定的更新頻率和強(qiáng)度對(duì)訓(xùn)練中使用的步長(zhǎng)進(jìn)行更新，取得了后期收斂加速的效果，從而可以節(jié)省訓(xùn)練時(shí)間。
　　針對(duì)L1正則化邏輯回歸中使用的普通符號(hào)函數(shù)

3、并不能真正引導(dǎo)出稀疏性的問(wèn)題，本文提出了一種改進(jìn)型的符號(hào)函數(shù)對(duì)訓(xùn)練中使用的下降方向進(jìn)行改進(jìn)。由于L1正則化項(xiàng)不能求導(dǎo)，因此在基于梯度的方法中通常引入符號(hào)函數(shù)進(jìn)行計(jì)算，普通符號(hào)函數(shù)只關(guān)注參數(shù)本身的符號(hào)，而本文提出的改進(jìn)方法中，通過(guò)計(jì)算參數(shù)在更新前后符號(hào)的變化來(lái)確定正則化項(xiàng)最后的符號(hào)，使得L1正則化邏輯回歸產(chǎn)生了良好的稀疏性，起到了特征選擇的作用。
　　本文結(jié)合GPU的硬件特性實(shí)現(xiàn)了基于GPU的并行邏輯回歸算法。相比于隨機(jī)梯度下降法，