SVM在決策樹(shù)歸納中的應(yīng)用.pdf

1、決策樹(shù)歸納學(xué)習(xí)算法是機(jī)器學(xué)習(xí)中最重要的算法之一。目前通常采用啟發(fā)式方法來(lái)構(gòu)建決策樹(shù)，因此探索各種啟發(fā)式算法成了決策樹(shù)研究的一個(gè)焦點(diǎn)。支持向量機(jī)（SVM）是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種小樣本學(xué)習(xí)方法，考慮到支持向量機(jī)的分類間隔與泛化能力的關(guān)系，可以將SVM應(yīng)用于決策樹(shù)的歸納過(guò)程，使用最大間隔作為生成決策樹(shù)的啟發(fā)式信息，使得決策樹(shù)有較強(qiáng)的泛化能力。本課題基于統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)，對(duì)小樣本下用最大間隔作為啟發(fā)式的決策樹(shù)歸納學(xué)習(xí)進(jìn)行了研究。

2、>　　 本文在深入分析支持向量機(jī)及其反問(wèn)題的基礎(chǔ)上，將支持向量機(jī)的最大間隔理論應(yīng)用到了決策樹(shù)的歸納過(guò)程。首先，對(duì)支持向量機(jī)基本問(wèn)題及其快速求解算法進(jìn)行了探討，在此基礎(chǔ)上討論了支持向量機(jī)反問(wèn)題及其求解，給出了利用k-means聚類求解支持向量機(jī)反問(wèn)題的算法。然后，討論了SVM在決策樹(shù)歸納中的應(yīng)用，給出了用最大間隔作為啟發(fā)式生成決策樹(shù)的設(shè)計(jì)算法，并對(duì)算法進(jìn)行了分析。最后，給出了實(shí)驗(yàn)過(guò)程，與用熵作啟發(fā)式的二叉決策樹(shù)的比較結(jié)果表明了本文算法的