魯棒的大間隔分類學習方法研究.pdf

1、在機器學習領域中，間隔從距離角度對分類置信度進行刻畫，用于估計分類學習算法的泛化錯誤界和指導分類算法的設計，已廣泛的應用于指導特征選擇、分類器訓練和集成學習。然而傳統(tǒng)的大間隔分類學習方法抗噪性差，當訓練樣本中存在個別大噪聲數據時，分類邊界將會受其影響而偏離正確的位置。針對這一問題，本文從特征選擇和分類器構建兩大角度出發(fā)，分別提出了基于間隔的魯棒的特征選擇方法和支持向量機訓練算法以及多分類器集成學習方法，提高了KNN（K Nearest

2、Neighbor）和支持向量機分類的魯棒性，具體的研究工作如下：
　?。?）在傳統(tǒng)大間隔近鄰特征選擇中，包含異類噪聲點的目標鄰域需要分類間隔來指導其鄰域的距離學習，但該分類間隔是通過最近鄰規(guī)則得到的；當目標鄰域中存在多個噪聲點時，分類間隔魯棒性差。針對上述問題，本文提出了一種基于魯棒的間隔統(tǒng)計量的特征選擇方法。該方法首先尋找包含異類噪聲點的目標鄰域，然后計算目標鄰域中心點到所有同類和異類樣本的距離，采用分類間隔中位數作為優(yōu)化目標，

3、指導特征權學習，提高了近鄰分類的魯棒性。
　?。?）目前基于分類間隔損失的特征選擇方法在處理大噪聲樣本時，懲罰誤分樣本的分類損失函數值非常大，導致優(yōu)化模型的解隨噪聲產生較大的擾動，降低了算法的魯棒性。針對上述問題，本文引入了一種魯棒的損失函數（Brownboost損失）來建立優(yōu)化目標。由于Brownboost損失具有非凸性，因此將優(yōu)化目標與正則化技術相結合提出了基于梯度下降的特征權學習算法，提高了支持向量機的抗噪能力。
　　

4、（3）由于現有魯棒的支持向量機訓練算法中魯棒的損失函數（斜坡損失）存在非凸性，導致其訓練時間復雜度較高且分類魯棒性需進一步改善的問題，本文提出了一種基于光滑截斷損失的魯棒的支持向量機訓練方法。該方法首先對斜坡損失進行光滑近似并將其轉化為一個光滑的凸函數與一個光滑的凹函數之和的形式，然后采用CCCP（Concave-Convex Procedure）來求解這一問題，最后利用牛頓梯度下降法來實現其快速的學習，增強了原有算法的分類魯棒性并提高

5、了其訓練速度。
　?。?）由于故障診斷數據中特征維度較高、樣本數量較多、類別不平衡并普遍包含噪聲的特點，單一的分類學習方法無法滿足其抗噪性能的需求，本文提出了一種基于間隔的魯棒的分類集成學習模型。該模型將訓練階段的集成學習任務分成了四個階段：隨機采樣階段、特征選擇階段、基分類器學習階段和加權投票階段。在集成學習的不同階段融合不同抗噪技術。在分類融合時采用平方損失和L1正則化技術來學習稀疏的基分類器的權值，用其來指導測試階段的分類預