支持向量機多類分類算法研究.pdf

1、支持向量機(SVM)為一種由Vapnik等人研發(fā)出的機器學習方法,是面向小樣本進行學習而提出的方法。它在統(tǒng)計學習理論的基礎上發(fā)展而來,由于繼承了其結構風險最小化準則和VC維理論,可以很好的解決訓練誤差過小反而導致推廣能力下降的問題,提高了學習方法對未來輸出進行正確預測的能力。正是支持向量機的這些優(yōu)點,這種學習方法得到了眾多學者的高度關注,已成為研究的重點推動著機器學習的發(fā)展。支持向量機的發(fā)展起源是解決兩類分類的問題,可在實際中主要的情況

2、是對多類加以分類,因此,如何將其推向多類處理問題成為當今一項十分重要的研究方向。
　　 本文對支持向量機的支撐理論統(tǒng)計學習理論進行了關鍵理論的闡述,并在此基礎上論述了支持向量機算法,對支持向量機的分類原理進行了論述。在明確支持向量機原理的基礎上,總結了關于支持向量機多類分類方法的國內外研究成果,包涵有“一對一”、二叉樹、“一對多”、決策有向無環(huán)圖等多種方法。分析對比了各個方法的優(yōu)點和不足,并對它們的分類性能做出總結。
　　

3、 通過分析各個多類分類方法,總結出了二叉樹方法具有最優(yōu)的多類分類性能,尤其是對于大規(guī)模多類分類問題。本文針對二叉樹方法的關鍵性問題,即樹層次結構的劃分提出了改進的向量投影方法,利用此方法度量類間可分性的大小,并將易分的類放在樹的上層節(jié)點中,從而減少誤差累積現(xiàn)象對分類精度的影響。二叉樹的另一個問題是某些節(jié)點處存在不平衡數(shù)據(jù)分類現(xiàn)象,本文利用改進的SMOTE向上采樣方法對不平衡數(shù)據(jù)集進行采樣。本方法不改變樣本集分布特性,并且降低了因隨機采