雙正則最大間隔規(guī)劃算法研究.pdf

1、最大間隔規(guī)劃模型能夠?qū)⑷斯ぶ悄苤械囊?guī)劃問題轉(zhuǎn)化成機器學(xué)習(xí)中的結(jié)構(gòu)化預(yù)測問題。其主要思想是對人類的示教行為進行建模，從而能夠更方便的將人類的經(jīng)驗“傳授”給機器。然而，當(dāng)問題中的特征維度非常高時，傳統(tǒng)的最大間隔規(guī)劃算法將面臨著一些無關(guān)特征的干擾。為了解決高維度的規(guī)劃問題，本文在線性最大間隔規(guī)劃的基礎(chǔ)上同時考慮特征選擇問題，首次提出了基于雙正則最大間隔規(guī)劃算法。
　　本文調(diào)查了最大間隔規(guī)劃問題以及特征選擇問題的發(fā)展現(xiàn)狀，并詳細(xì)介紹了最大

2、間隔規(guī)劃問題以及特征選擇問題中的相關(guān)背景知識。從最大間隔規(guī)劃問題的目標(biāo)函數(shù)出發(fā)，可以把該問題看成一個帶正則項的結(jié)構(gòu)風(fēng)險函數(shù)最小化問題。為了使示教學(xué)習(xí)過程中能夠自動的去除無關(guān)特征項，我們在目標(biāo)函數(shù)上加上一個能夠進行特征選擇的懲罰項，從而形成一個帶有雙正則的結(jié)構(gòu)風(fēng)險函數(shù)最小化問題。根據(jù)所增加的不同稀疏懲罰項，本文提出了兩種雙正則最大間隔規(guī)劃模型。一種是基于lasso的雙正則最大間隔規(guī)劃，另一種是基于MCP的雙正則最大間隔規(guī)劃。對于這兩種模型