競爭學習向量量化和支持向量機的關鍵技術研究.pdf

1、基于數(shù)據的機器學習問題是現(xiàn)代化智能技術中十分重要的一個方面，主要研究如何從一些觀測數(shù)據(樣本)出發(fā)得出目前尚不能通過原理分析得到的規(guī)律，利用這些規(guī)律去分析客觀對象，對未來數(shù)據或無法觀測的數(shù)據進行預測。而學習方法基本上可以分為監(jiān)督學習和非監(jiān)督學習兩種方法。 本文研究內容也分為兩部分，第一部分主要對非監(jiān)督學習中基于競爭網絡的學習量化，特別是廣義學習量化算法進行的研究，在論文的第二章敘述。第二部分主要對基于統(tǒng)計學習理論的支持向量機的一

2、些關鍵問題進行的深入研究：包括算法、核函數(shù)和模型選擇研究，主要在論文的第三、四、五、六、七、八章介紹。本文所有研究工作可以分為以下6個方面： 1.對非監(jiān)督學習中基于競爭網絡的學習量化的研究，特別是廣義學習量化算法的研究。分析了已有算法的性質和存在的問題，提出一種修正的廣義學習向量量化算法，該算法不但簡單，而且改進了已有算法的一些缺陷：克服了一些算法對數(shù)據的“Scale”問題，并且對初始點和初始學習率都不敏感。進一步引入激勵因子，

3、利用模擬退火思想，給出提高一般學習向量量化算法的措施。 2.對標準支持向量機的算法研究。這部分給出了三個算法：1)針對線性分類問題，將原二次規(guī)劃轉化為低維無約束非光滑規(guī)劃，采用合適的光滑函數(shù)給出求解該問題的低維Newton算法；2)對一般分類問題，通過分析二次規(guī)劃的ε-擾動規(guī)劃的最優(yōu)解和二次規(guī)劃的無約束Lagrange對偶問題的光滑熵函數(shù)的極小點的關系，提出求ε-支持向量的極大熵算法；3)對一般分類問題，同樣討論了其無約束、非光

4、滑Lagrange對偶問題，而采用Huber魯棒回歸函數(shù)將其近似為可微光滑分片二次函數(shù)，采用快速收斂的精確Newton型算法求解，給出訓練支持向量機的Huber近似算法，由于目標函數(shù)的梯度是分片線性函數(shù)，所有過程可以快速完成。 3.對變形SVM問題的研究(1)。針對O.L.Mangasarian及其學生、合作者提出的一種簡化變形SVM，利用Lagrange對偶技術，將高維二次規(guī)劃轉化極小化低維的可微分片二次函數(shù)。注意到該目標函數(shù)

5、的梯度連續(xù)但二階導數(shù)在一些區(qū)域不存在，采用精確線搜索的無約束共軛梯度算法求解，提出共軛梯度支持向量機，其中處理非線性問題時需要對核矩陣進行Cholesky分解或非完全Cholesky分解。 4.對變形SVM問題的研究(2)。同樣對O.L.Mangasarian及其學生、合作者提出的簡化變形SVM，將其轉化為極小化低維的分片二次函數(shù)后，引入半光滑方法，指出極小化該函數(shù)相當于求解一個半光滑方程組。結合分片二次函數(shù)性質的研究，提出精確

6、半光滑Newton算法求解該半光滑方程組，得到精確半光滑NewtonSVM。由于有高效的精確線搜索方法、快速的Newton矩陣更新和二次收斂性等好的特點，該算法和其他同類算法相比，具有相當?shù)膬?yōu)勢。 5.對SVM幾何算法的研究。基于SVM的幾何特性和已有的幾何算法研究，如最近點算法、S-K算法等，提出一種新的可行方向算法。充分利用到在尋求最近點過程中得到的所有有用信息，構造了一個下降性更強的可行下降方向，和同類算法如S-K算法相比

7、減少了算法的迭代次數(shù)，提高了訓練效率。同時利用v-SVM的幾何解釋和提出的ε-不可分的概念，將算法推廣處理不可分問題。 6.關于核函數(shù)和模型選擇的研究。給出核函數(shù)的變換伸縮率的概念，利用它分析常用的高斯核函數(shù)的性質，進一步提出一種新的核函數(shù)，它具有很好的性質：它將數(shù)據映射到特征空間后不會放大包含所有樣本的最小超球半徑、同時在局部范圍放大了任意兩個樣本間的距離、基于該核函數(shù)的SVM對參數(shù)C不敏感等。最后給出確定核函數(shù)參數(shù)的一般方法