支持向量機的核方法及其模型選擇.pdf

1、支持向量機是20世紀90年代發(fā)展起來的學習機器模型，通過控制學習機器的容量和經(jīng)驗誤差，構(gòu)造對未來數(shù)據(jù)的預測規(guī)則。支持向量機已被廣泛的應用于機器學習的多個領(lǐng)域，在模式識別、分類、函數(shù)逼近、聚類等領(lǐng)域都有高性能的表現(xiàn)。
　　一般地，支持向量機通過核函數(shù)工作在特征空間，也就是，在輸入空間無法處理的非線性問題可在特征空間中獲得線性性能，從而有利于問題的解決。核函數(shù)是支持向量機模型的主要元素，直接影響其性能。一切數(shù)據(jù)之間的依賴關(guān)系、先驗知識

2、都通過核函數(shù)度量和攜帶。因此研究支持向量機的核方法對于提高支持向量機的性能、推廣支持向量機的應用有重要的意義。
　　僅僅有高性能的核函數(shù)對于構(gòu)造支持向量機模型是不充分的，還要有與之對應的高性能模型選擇算法。模型選擇算法通過發(fā)現(xiàn)最優(yōu)的模型參數(shù)，從而使支持向量機達到最好的性能。
　　單類支持向量機是一個無監(jiān)督的學習機器模型，由于缺乏模型選擇的標準，其模型選擇問題一直沒有解決。雖然其模型參數(shù)對模型的影響被細致的討論過，但模型選擇一

3、直是基于手工的方式解決，這顯然缺乏合理性。文中指出，單類支持向量機的模型選擇問題，可類比于一個開環(huán)系統(tǒng)，由于缺乏反饋信息，所以模型選擇的切入點只能從優(yōu)化主問題入手。通過優(yōu)化主問題的目標函數(shù)，為單類支持向量機的模型選擇找到可以依賴的標準。模型選擇的迭代優(yōu)化過程通過遺傳算法實現(xiàn)，并通過構(gòu)造性實驗驗證了算法的合理性。
　　不變核/局部核，如高斯核、拉普拉斯核，在學習中存在局部風險，而且其依賴的距離度量也缺乏靈活性。文中通過構(gòu)造一個全局核

4、，捆綁在局部核上，從而提高局部核的性能，其意義是雙重的：1）全局核增加了局部核的全局因素，從而使局部風險降低；2）通過全局核的間接作用，使得局部核(高斯核、拉普拉斯核)中的L1距離、L2距離抓取數(shù)據(jù)之間依賴關(guān)系的能力變強了。然后針對提出的新核，提出了基于遺傳算法的兩階段模型選擇方法為支持向量機選擇模型參數(shù)。最后通過實驗驗證了新核及其模型選擇算法的有效性。
　　在支持向量分類中，對于具體的分類任務，高斯核存在一個全局最優(yōu)的核寬度數(shù)值

5、。但由于樣本空間的分布不均勻，高斯核并不是處處適應的。在樣本的稠密區(qū)域，會存在過學習現(xiàn)象；在樣本的稀疏區(qū)域，會存在欠學習現(xiàn)象。所謂的全局最優(yōu)的核寬度數(shù)值，不過是在過學習風險和欠學習風險的一個折中而已。文中研究了高斯核的局部提高方法：1）通過引入一個偽一致性變換，從而間接修改在再生核希爾伯特空間中黎曼流形上定義的黎曼度量的柔性，使得在空間的稠密區(qū)域，用小尺度的黎曼度量，在空間的稀疏區(qū)域，用大尺度的黎曼度量；2）在樣本的高密度區(qū)域用小的核寬

6、度值，在樣本的稀疏區(qū)域用大的核寬度值。考慮到局部提高問題的復雜性，文中的方法可看成是解決一個問題的階段性成果，而不是結(jié)束。
　　支持向量分類時，特征空間中各維的重要性通過權(quán)值向量有清晰的描述，但是在輸入空間中，高斯核對各個屬性的重要性不加區(qū)分。顯然各個屬性對分類的貢獻一般是不相同的，為了體現(xiàn)這種差別從而提高支持向量機的泛化能力，提出了多寬度高斯核的概念。多寬度高斯核增加了支持向量機的超級參數(shù)，針對這一情況，文中又進一步提出了支持向