支持向量機(jī)的核方法及其模型選擇.pdf

1、支持向量機(jī)是20世紀(jì)90年代發(fā)展起來的學(xué)習(xí)機(jī)器模型，通過控制學(xué)習(xí)機(jī)器的容量和經(jīng)驗(yàn)誤差，構(gòu)造對(duì)未來數(shù)據(jù)的預(yù)測規(guī)則。支持向量機(jī)已被廣泛的應(yīng)用于機(jī)器學(xué)習(xí)的多個(gè)領(lǐng)域，在模式識(shí)別、分類、函數(shù)逼近、聚類等領(lǐng)域都有高性能的表現(xiàn)。
　　一般地，支持向量機(jī)通過核函數(shù)工作在特征空間，也就是，在輸入空間無法處理的非線性問題可在特征空間中獲得線性性能，從而有利于問題的解決。核函數(shù)是支持向量機(jī)模型的主要元素，直接影響其性能。一切數(shù)據(jù)之間的依賴關(guān)系、先驗(yàn)知識(shí)

2、都通過核函數(shù)度量和攜帶。因此研究支持向量機(jī)的核方法對(duì)于提高支持向量機(jī)的性能、推廣支持向量機(jī)的應(yīng)用有重要的意義。
　　僅僅有高性能的核函數(shù)對(duì)于構(gòu)造支持向量機(jī)模型是不充分的，還要有與之對(duì)應(yīng)的高性能模型選擇算法。模型選擇算法通過發(fā)現(xiàn)最優(yōu)的模型參數(shù)，從而使支持向量機(jī)達(dá)到最好的性能。
　　單類支持向量機(jī)是一個(gè)無監(jiān)督的學(xué)習(xí)機(jī)器模型，由于缺乏模型選擇的標(biāo)準(zhǔn)，其模型選擇問題一直沒有解決。雖然其模型參數(shù)對(duì)模型的影響被細(xì)致的討論過，但模型選擇一

3、直是基于手工的方式解決，這顯然缺乏合理性。文中指出，單類支持向量機(jī)的模型選擇問題，可類比于一個(gè)開環(huán)系統(tǒng)，由于缺乏反饋信息，所以模型選擇的切入點(diǎn)只能從優(yōu)化主問題入手。通過優(yōu)化主問題的目標(biāo)函數(shù)，為單類支持向量機(jī)的模型選擇找到可以依賴的標(biāo)準(zhǔn)。模型選擇的迭代優(yōu)化過程通過遺傳算法實(shí)現(xiàn)，并通過構(gòu)造性實(shí)驗(yàn)驗(yàn)證了算法的合理性。
　　不變核/局部核，如高斯核、拉普拉斯核，在學(xué)習(xí)中存在局部風(fēng)險(xiǎn)，而且其依賴的距離度量也缺乏靈活性。文中通過構(gòu)造一個(gè)全局核

4、，捆綁在局部核上，從而提高局部核的性能，其意義是雙重的：1）全局核增加了局部核的全局因素，從而使局部風(fēng)險(xiǎn)降低；2）通過全局核的間接作用，使得局部核(高斯核、拉普拉斯核)中的L1距離、L2距離抓取數(shù)據(jù)之間依賴關(guān)系的能力變強(qiáng)了。然后針對(duì)提出的新核，提出了基于遺傳算法的兩階段模型選擇方法為支持向量機(jī)選擇模型參數(shù)。最后通過實(shí)驗(yàn)驗(yàn)證了新核及其模型選擇算法的有效性。
　　在支持向量分類中，對(duì)于具體的分類任務(wù)，高斯核存在一個(gè)全局最優(yōu)的核寬度數(shù)值

5、。但由于樣本空間的分布不均勻，高斯核并不是處處適應(yīng)的。在樣本的稠密區(qū)域，會(huì)存在過學(xué)習(xí)現(xiàn)象；在樣本的稀疏區(qū)域，會(huì)存在欠學(xué)習(xí)現(xiàn)象。所謂的全局最優(yōu)的核寬度數(shù)值，不過是在過學(xué)習(xí)風(fēng)險(xiǎn)和欠學(xué)習(xí)風(fēng)險(xiǎn)的一個(gè)折中而已。文中研究了高斯核的局部提高方法：1）通過引入一個(gè)偽一致性變換，從而間接修改在再生核希爾伯特空間中黎曼流形上定義的黎曼度量的柔性，使得在空間的稠密區(qū)域，用小尺度的黎曼度量，在空間的稀疏區(qū)域，用大尺度的黎曼度量；2）在樣本的高密度區(qū)域用小的核寬

6、度值，在樣本的稀疏區(qū)域用大的核寬度值?？紤]到局部提高問題的復(fù)雜性，文中的方法可看成是解決一個(gè)問題的階段性成果，而不是結(jié)束。
　　支持向量分類時(shí)，特征空間中各維的重要性通過權(quán)值向量有清晰的描述，但是在輸入空間中，高斯核對(duì)各個(gè)屬性的重要性不加區(qū)分。顯然各個(gè)屬性對(duì)分類的貢獻(xiàn)一般是不相同的，為了體現(xiàn)這種差別從而提高支持向量機(jī)的泛化能力，提出了多寬度高斯核的概念。多寬度高斯核增加了支持向量機(jī)的超級(jí)參數(shù)，針對(duì)這一情況，文中又進(jìn)一步提出了支持向