層次粒度支持向量機學(xué)習(xí)算法研究.pdf

1、支持向量機(Support Vector Machine,SVM)作為機器學(xué)習(xí)研究中的一個熱點,建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)化風(fēng)險最小化原理的基礎(chǔ)上,在模式識別和時間序列預(yù)測等很多數(shù)據(jù)挖掘領(lǐng)域得到廣泛的應(yīng)用,具有簡潔的數(shù)學(xué)形式、標(biāo)準(zhǔn)快捷的訓(xùn)練方法和良好的泛化性能。目前,SVM在處理實際應(yīng)用中的復(fù)雜龐大數(shù)據(jù)集時能力非常有限,訓(xùn)練樣本的多少極大地影響了SVM的訓(xùn)練效率且SVM在處理特定空間的分類問題時效率不高。因此,如何提高支持向量

2、機的泛化能力且保證訓(xùn)練效率成為支持向量機研究中的一個重要問題,這也是本文研究的目的。
　　支持向量機學(xué)習(xí)算法在訓(xùn)練過程中容易產(chǎn)生冗余樣本,不同的訓(xùn)練樣本對于訓(xùn)練過程的貢獻度不同,容易錯分的樣本對構(gòu)造分類超平面的貢獻度較大,而不容易錯分的樣本對構(gòu)造分類超平面的貢獻度較小。因此,根據(jù)樣本對決策超平面的貢獻程度進而構(gòu)造粒度支持向量機是一種簡化訓(xùn)練復(fù)雜度提高效率的有效方法。
　　本文將層次分類思想、粒度計算理論和傳統(tǒng)SVM分類方法進

3、行了融合,建立了一種有效的層次粒度支持向量機學(xué)習(xí)機制,通過引入一個衡量粒的重要性的評價指標(biāo),篩選出對建立決策邊界貢獻度比較大的粒,剔除部分冗余粒,用保留粒中的代表點進行構(gòu)造支持向量機的訓(xùn)練集。這種學(xué)習(xí)機制抽取重要分類信息構(gòu)造訓(xùn)練集進行學(xué)習(xí)器的訓(xùn)練,分類速度遠(yuǎn)遠(yuǎn)高于SVM,同時,由于訓(xùn)練可在不同層次的粒中進行,所以可獲得令人滿意的優(yōu)于傳統(tǒng)粒度SVM的泛化能力。
　　(1)對傳統(tǒng)的SVM模型的構(gòu)造和原理進行了詳細(xì)的介紹,指出SVM在解

4、決分類問題中出現(xiàn)的主要問題。對粒度支持向量機的算法思想進行分析和探討,同時,對粒度支持向量機算法的優(yōu)點和缺點做了詳細(xì)的闡述,針對這些問題本文進行了探索研究。
　　(2)提出一種針對大規(guī)模數(shù)據(jù)集分類的層次粒度支持向量機學(xué)習(xí)算法。這種模型通過定義一個新的數(shù)據(jù)置信度來挑選出有價值的樣本(即對建立決策邊界貢獻度較大),并在每一層的訓(xùn)練中根據(jù)粒的分布情況進行自動粒劃分,以獲得更好的泛化能力。
　　(3)提出一種針對密度分布不均勻數(shù)據(jù)集

5、的動態(tài)粒度支持向量機學(xué)習(xí)算法,并對動態(tài)粒度支持向量機算法的思想進行探討和研究。這種模型根據(jù)粒的不同分布自動進行粒劃分,使SVM可以在不同層次的粒上訓(xùn)練,可以有效地克服傳統(tǒng)SVM在處理大規(guī)模數(shù)據(jù)集時訓(xùn)練效率低下的問題,同時,也可獲得較好的泛化性能。
　　(4)為了對本文所提出的層次粒度SVM學(xué)習(xí)算法進行驗證,在標(biāo)準(zhǔn)UCI數(shù)據(jù)集上進行了一系列的實驗,取得了滿意的預(yù)期效果。通過將本文提出的方法與經(jīng)典SVM算法和傳統(tǒng)粒度SVM算法進行實驗