代價(jià)敏感支持向量機(jī)快速算法研究.pdf

1、支持向量機(jī)是由Vapnik等人提出的一種分類算法，因其具有良好的泛化性能，在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中被研究者廣泛使用。傳統(tǒng)分類算法中假設(shè)對(duì)于屬于不同類型的樣本的錯(cuò)誤分類導(dǎo)致的誤分代價(jià)是相同的。然而在很多實(shí)際應(yīng)用中，誤分類不同類別的樣本將會(huì)產(chǎn)生不同的誤分代價(jià)，例如疾病診斷、信用卡詐騙檢測(cè)等場(chǎng)景即是如此。針對(duì)這一類的代價(jià)敏感問題，研究者提出了多種代價(jià)敏感算法，其中代價(jià)敏感支持向量機(jī)具有很好的性能及廣泛的適應(yīng)性。本文即以代價(jià)敏感支持向量機(jī)作為

2、重點(diǎn)研究對(duì)象。文中取得的創(chuàng)新研究成果如下。
　　(1)針對(duì)代價(jià)敏感問題，文中設(shè)計(jì)了一系列的對(duì)比實(shí)驗(yàn)對(duì)于多種代價(jià)敏感算法進(jìn)行了比較。實(shí)驗(yàn)在十個(gè)代價(jià)敏感數(shù)據(jù)集和四個(gè)不平衡數(shù)據(jù)集上進(jìn)行，并使用了總代價(jià)、AUC、F1指標(biāo)和G均值等四種代價(jià)敏感問題中常用的評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)估。通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)代價(jià)敏感支持向量機(jī)與其他代價(jià)敏感算法相比，具有更好的分類性能，并能夠適應(yīng)多種來自不同場(chǎng)景的數(shù)據(jù)集。
　　(2)文中首先對(duì)代價(jià)敏感支持向量

3、機(jī)提出了一種全量快速求解算法。代價(jià)敏感支持向量機(jī)與非代價(jià)敏感支持向量機(jī)類似，其求解問題本質(zhì)上是二次規(guī)劃問題，因而可以采用SMO算法進(jìn)行求解。文中首先對(duì)于代價(jià)敏感支持向量機(jī)的SMO算法（序列最小優(yōu)化）算法進(jìn)行了理論推導(dǎo)和時(shí)間復(fù)雜度分析，并根據(jù)時(shí)間復(fù)雜度分析指出了SMO算法可以進(jìn)一步加速的方向;隨后提出了使用隨機(jī)梯度下降方法對(duì)于SMO算法進(jìn)行加速的算法框架;之后通過實(shí)驗(yàn)分析，驗(yàn)證了使用隨機(jī)梯度下降對(duì)SMO進(jìn)行加速的有效性，并印證了之前對(duì)于S

4、MO算法時(shí)間復(fù)雜度的理論分析。
　　(3)為了適應(yīng)在線學(xué)習(xí)場(chǎng)景下的分類問題，文中提出了一種代價(jià)敏感支持向量機(jī)的多樣本增量式快速求解算法。全量算法在訓(xùn)練數(shù)據(jù)集發(fā)生改變時(shí)需要對(duì)所有訓(xùn)練樣本進(jìn)行重新訓(xùn)練，從而得到新的模型，因而在數(shù)據(jù)集不斷變化的在線學(xué)習(xí)場(chǎng)景下會(huì)浪費(fèi)很多學(xué)習(xí)時(shí)間;而增量算法可以直接吸收新增樣本并直接更新現(xiàn)有模型，從而避免了對(duì)已有數(shù)據(jù)的重新訓(xùn)練。文中首先對(duì)于代價(jià)敏感支持向量機(jī)的多樣本增量式算法進(jìn)行了理論推導(dǎo);隨后通過實(shí)驗(yàn)研究