原始空間中支持向量機若干問題的研究.pdf

1、支持向量機成為一種主要的機器學習技術已經(jīng)有十多年了，然而它的大部分學習算法都是在對偶空間針對其對偶問題提出的。近年來的研究表明，直接在原始空間對支持向量機的原始問題進行求解也是訓練支持向量機的一種有效途徑。隨著人們在原始空間對支持向量機研究的深入，實際應用中碰到的各種問題也開始在原始空間進行求解，如半監(jiān)督學習問題等。但總體來說，支持向量機在原始空間中的研究還不是很多，也不夠完善。因此，本文重點研究了原始空間中支持向量機分類算法的以下四個

2、問題。
　　 1.針對光滑支持向量機中現(xiàn)有的光滑函數(shù)逼近精度不高的問題，將正號函數(shù)變形并展開為無窮多項式級數(shù)，由此得到了一族多項式光滑函數(shù)，并證明了這類光滑函數(shù)的優(yōu)良性能，它既能滿足任意階光滑的要求，也能達到任意給定的逼近精度。最后將得到的多項式光滑函數(shù)用于求解廣義支持向量機。
　　 2.半監(jiān)督支持向量機利用大量的未標記樣本和少量的標記樣本共同學習以改進其泛化性能，最后得到一個非凸優(yōu)化問題，對其優(yōu)化采取兩種策略：組合優(yōu)化

3、和連續(xù)優(yōu)化。組合優(yōu)化的具體方法是給出了一個自訓練半監(jiān)督支持向量機分類算法，它的子程序是用前面得到的多項式光滑函數(shù)在原始空間求解標準支持向量機。接下來用連續(xù)優(yōu)化的方式給出了一個多項式光滑的半監(jiān)督支持向量機分類算法，給出的多項式函數(shù)有嚴格的理論基礎，并且在樣本的高密度區(qū)逼近精度高，而當逼近精度低時，則出現(xiàn)在樣本的低密度區(qū)。
　　 3.直接方法是一類常用的無約束優(yōu)化技術，簡便實用，它和之前用于支持向量機的循環(huán)算法不同，不是一次更新w的

4、所有分量，而是每次通過解一個單變量的子問題來更新w的一個分量。本文分別用Hooke and Jeeves模式搜索法、Rosenbrock轉軸法和Powell方向加速法求解線性支持向量機，并分析了算法的復雜性。
　　 4.支持向量機采用的線性Hinge損失函數(shù)對噪聲樣本產(chǎn)生的損失沒有限制，這是支持向量機對噪聲敏感的根本原因。由于特殊的損失函數(shù)能有效抑制噪聲產(chǎn)生的損失，本文據(jù)此給出了一個全新的雙曲正切損失函數(shù)，并在此基礎上給出了相應