非平行超平面分類器算法研究.pdf

1、非平行超平面分類器（nonparallel hyperplane classifier，NHC）分類方法是在傳統(tǒng)支持向量機（support vector machine，SVM）基礎上發(fā)展起來的一類新的機器學習方法。對于二分類問題，傳統(tǒng)SVM依據大間隔準則尋找單一的分類超平面，而NHC分類方法通常要為每類樣本尋找一個最佳決策超平面，即一對非平行的分類超平面。在線性模式下，NHC分類方法對異或（XOR）問題有著顯著的分類能力。鑒于NHC分

2、類方法的優(yōu)勢，目前已經成為機器學習領域的研究熱點。然而，NHC分類方法是一類比較新的機器學習方法，在諸多方面尚不成熟、不完善，需要進一步的研究和改進。本文主要從提升分類性能、提高學習速度等方面對現有的NHC分類方法進行了深入系統(tǒng)地研究。具體研究內容如下：
　　1.對局部保持孿生支持向量機進行研究。針對現有NHC分類方法中沒有充分考慮訓練樣本集內在局部幾何結構及其潛藏的分類信息，從而可能導致算法分類性能不佳的問題，將局部保持投影（l

3、ocality preserving projections，LPP）的思想直接引入到NHC分類方法中，提出一種基于局部信息保持的孿生支持向量機（locality preserving twin SVM，LPTSVM）。為了能夠有效降低算法二次規(guī)劃求解的時間復雜度，LPTSVM通過類間近鄰圖選取少量的邊界樣本來構造優(yōu)化問題的約束條件。對于LPTSVM算法中可能出現的奇異性問題，從理論上給出了一種基于主成分分析（principal com

4、ponent analysis，PCA）的降維方法。
　　2.對非線性最小二乘投影孿生支持向量機及相應的遞歸學習算法進行研究。針對線性最小二乘投影孿生支持向量機（least squares projection twin SVM，LSPTSVM）不能有效處理非線性分類情況的問題，采用核映射技術將原空間中的訓練樣本映射到高維特征空間，在此基礎上提出一種非線性最小二乘投影孿生支持向量機（kernel based LSPTSVM，KLS

5、PTSVM）。為進一步提高KLSPTSVM算法的非線性分類性能，同樣采用核映射技術將線性模式下的遞歸學習算法也推廣到非線性模式并與KLSPTSVM分類算法相結合，提出非線性模式下的遞歸KLSPTSVM分類方法。
　　3.對魯棒的局部加權孿生支持向量機進行研究。針對局部加權孿生支持向量機（weighted twin SVM with local information，WLTSVM）算法不能充分刻畫類內樣本之間相似性，訓練效率偏低和

6、對噪聲敏感的問題，提出一種魯棒的局部加權孿生支持向量機（robust WLTSVM，RWLTSVM）。RWLTSVM選用高斯核函數定義類內近鄰圖的權值矩陣并在此基礎上生成樣本權重，能夠更好的刻畫類內樣本對決策超平面的貢獻程度。為了降低優(yōu)化問題求解時間復雜度，RWLTSVM將WLTSVM算法中不等式約束改成等式約束并通過求解方程組方法獲得問題解析解。另外，RWLTSVM還在等式約束條件中考慮了相反類樣本的類內權重，從而能夠更好的免疫于噪聲

7、問題。
　　4.對加權投影孿生支持向量機及其相應的最小二乘版算法進行研究。針對投影孿生支持向量機（projection twin SVM，PTSVM）在優(yōu)化問題中沒有考慮類內訓練樣本之間相關性的問題，提出一種加權投影孿生支持向量機（weighted PTSVM，WPTSVM）。WPTSVM通過在類內構造近鄰圖并在此基礎上賦予樣本特定的權重，以此來突出樣本對決策面的貢獻程度，進而改善算法的分類性能。此外，WPTSVM在優(yōu)化問題的不等