基于稀疏模型的快速核方法.pdf

1、自從二十世紀九十年代以來,核方法已經(jīng)被廣泛應用于模式識別與機器學習領域。其優(yōu)勢在于核方法允許研究者在原始數(shù)據(jù)對應的高維特征空間使用線性方法來分析和解決問題，不需要直接對數(shù)據(jù)進行映射。另一方面，一般的非線性方法映射的維數(shù)往往過高不受控制,而核方法能有效地規(guī)避“維數(shù)災難”問題。但是應當指出，核方法在對待測樣本進行特征抽取時，需要計算其與所有訓練樣本間的核函數(shù),因此訓練樣本的個數(shù)直接制約了核方法的特征抽取效率,在實際的大樣本集分類應用中，該方

2、法的特征抽取率將非常低，甚至難以應用。因此在保證識別率的前提下，尋求提高核方法的特征抽取效率的工作是非常有現(xiàn)實意義的。
　　本文通過從訓練樣本集中選擇出一部分有代表性的樣本，本文稱之為關鍵樣本的思想，來對多種核方法進行改造，構造出其稀疏核模型，進而達到提高特征抽取效率的目的。在稀疏核模型中，只需計算待測樣本與關鍵樣本間的核函數(shù)，因此稀疏核模型對應著極高的特征抽取效率，這也是本文的最重要貢獻。在關鍵樣本選擇方法上，本文首先以一種形式

3、簡單并且被廣泛使用的基于核的最小二乘法(KMSE)為例，找出其對應的神經(jīng)網(wǎng)絡模型，以特征抽取結果的逼近為目標，根據(jù)網(wǎng)絡權值對不同輸入分量的放大作用來確定一部分訓練樣本，即關鍵樣本。并推導出了稀疏核模型的判別向量可以表示為這部分關鍵樣本在特征空間中的線性組合，這個推論對其他核方法的稀疏模型構建具有指導作用。
　　KMSE雖然屬于非線性分析方法，但其實質上是對樣本在特征空間中使用線性方法進行回歸?；貧w分析方法能夠對各自變量對因變量貢獻

4、的顯著性進行檢驗，本文首次嘗試了將回歸分析方法用于對KMSE稀疏模型的構建。
　　除了KMSE方法，其他核方法，比如KFDA，KPCA，同樣面臨特征抽取效率低下的問題。本文從特征空間樣本的相關度與距離的角度，設計出了一種普遍適用的關鍵樣本選擇方法。根據(jù)推論，稀疏核模型的判別向量可以表示為這部分關鍵樣本在特征空間中的線性組合，分別推導出了KFDA，KPCA的稀疏模型。在基準數(shù)據(jù)集上采用以上稀疏核方法進行實驗，本文所提出的幾種的方法能