雙正則最大間隔規(guī)劃算法研究.pdf

1、最大間隔規(guī)劃模型能夠?qū)⑷斯ぶ悄苤械囊?guī)劃問題轉(zhuǎn)化成機(jī)器學(xué)習(xí)中的結(jié)構(gòu)化預(yù)測(cè)問題。其主要思想是對(duì)人類的示教行為進(jìn)行建模，從而能夠更方便的將人類的經(jīng)驗(yàn)“傳授”給機(jī)器。然而，當(dāng)問題中的特征維度非常高時(shí)，傳統(tǒng)的最大間隔規(guī)劃算法將面臨著一些無關(guān)特征的干擾。為了解決高維度的規(guī)劃問題，本文在線性最大間隔規(guī)劃的基礎(chǔ)上同時(shí)考慮特征選擇問題，首次提出了基于雙正則最大間隔規(guī)劃算法。
　　本文調(diào)查了最大間隔規(guī)劃問題以及特征選擇問題的發(fā)展現(xiàn)狀，并詳細(xì)介紹了最大

2、間隔規(guī)劃問題以及特征選擇問題中的相關(guān)背景知識(shí)。從最大間隔規(guī)劃問題的目標(biāo)函數(shù)出發(fā)，可以把該問題看成一個(gè)帶正則項(xiàng)的結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)最小化問題。為了使示教學(xué)習(xí)過程中能夠自動(dòng)的去除無關(guān)特征項(xiàng)，我們?cè)谀繕?biāo)函數(shù)上加上一個(gè)能夠進(jìn)行特征選擇的懲罰項(xiàng)，從而形成一個(gè)帶有雙正則的結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)最小化問題。根據(jù)所增加的不同稀疏懲罰項(xiàng)，本文提出了兩種雙正則最大間隔規(guī)劃模型。一種是基于lasso的雙正則最大間隔規(guī)劃，另一種是基于MCP的雙正則最大間隔規(guī)劃。對(duì)于這兩種模型