支持向量機在機器學習中的應(yīng)用研究.pdf

1、近十年來，基于統(tǒng)計學習理論的支持向量機方法逐漸成為機器學習的重要研究方向。與傳統(tǒng)的基于經(jīng)驗風險最小化原則的學習方法不同，支持向量機基于結(jié)構(gòu)風險最小化，能在訓練誤差和分類器容量之間達到一個較好的平衡，它具有全局最優(yōu)、適應(yīng)性強、推廣能力強等優(yōu)點。但是直到目前為止，支持向量機方法還存在一些問題，例如訓練時間過長、核參數(shù)的選擇等，成為限制支持向量機應(yīng)用的瓶頸。本文的研究主要圍繞以上兩個問題展開，研究結(jié)果在多個國際通用的基準數(shù)據(jù)集上進行驗證。主要

2、成果如下： 1) 系統(tǒng)地研究了支持向量機的訓練方法。目前支持向量機的訓練算法是以序貫最小最優(yōu)化(SMO)為代表的，其中工作集的選擇是實現(xiàn)SMO算法的關(guān)鍵。本文對基于Zoutendijk最大下降方向法和函數(shù)逼近的工作集選擇方式進行了總結(jié)和整理，并對這種選擇策略重新進行了嚴格的數(shù)學推導(dǎo)。研究指出，當二次規(guī)劃問題的Gram矩陣在非正定的情況下，目前存在的工作集選擇算法存在某些不足。 2) 對于大規(guī)模訓練集的縮減研究。支持向量機

3、在小樣本情況下具有優(yōu)于別的機器學習算法的性能，但并不意味著支持向量機只限于應(yīng)用在小樣本情況。現(xiàn)實中的問題大多具有大規(guī)模的樣本，雖然目前有了以SMO為代表的快速訓練算法，但對于大規(guī)模訓練集仍然存在訓練時間過長的缺點，不能滿足實時性的要求。本文根據(jù)支持向量的幾何分布，提出了在原輸入空間和高維映射空間中預(yù)選支持向量的兩種方法。原輸入空間預(yù)選支持向量方法是受啟發(fā)于最近鄰規(guī)則，通過與支持向量的幾何分布結(jié)合，使用Delaunay三角網(wǎng)絡(luò)尋求包含支持

4、向量的邊界集的原理。受聚類方法的啟發(fā)，基于樣本類別質(zhì)心的方法實現(xiàn)了高維特征空間支持向量的預(yù)選。實驗證明這兩種支持向量預(yù)選策略是有效的，在大幅縮減訓練時間的同時基本不損失SVM的推廣能力和預(yù)測性能。 3) 對支持向量機模型選擇的研究。支持向量機通過核函數(shù)將樣本從輸入空間映射到高維特征空間(Hilbert空間)，從而實現(xiàn)在特征空間中尋求線性判別超平面。但是，不同的核對應(yīng)著不同的特征空間，而支持向量機的訓練結(jié)果在不同的核映射下往往有不

5、同的效果。本文通過對像集線性可分程度和模型復(fù)雜程度的估計，尋找可以使學習機器具有良好推廣能力的特征空間，并以此為標準實現(xiàn)核的選擇。特征空間確定之后，分析懲罰因子與間隔寬度之間的關(guān)系，通過間隔寬度實現(xiàn)對懲罰因子的選擇。本文的模型選擇方法并不尋求核函數(shù)、懲罰因子與學習機器推廣能力之間的解析表達式，而是以間接的方法估計參數(shù)對學習機器推廣能力的影響，指導(dǎo)模型的選擇。 4) 對機器學習的實際應(yīng)用的研究。本文對機器學習的重要問題——人臉識別

6、進行了研究，提出了一種基于關(guān)鍵部件的人臉識別方法。由于一對余多類分類算法缺乏理論上的依據(jù)，本文以后驗概率作為支持向量機的輸出，實現(xiàn)了以相似度為判別標準的多類分類算法。對ORL和YALE人臉圖像數(shù)據(jù)庫進行仿真實驗，結(jié)果表明，該方法具有對表情、姿態(tài)以及角度的變化具有較好的魯棒性。本文研究了SVM在金融領(lǐng)域的一個典型應(yīng)用一一個人信用評估，主要探討了基于SVM的特征選擇和提取方法(遺傳算法和主分量分析法)的實際應(yīng)用效果。實證分析表明，小樣本信用