大規(guī)模稀疏學(xué)習(xí)研究：優(yōu)化算法及其應(yīng)用.pdf

1、大規(guī)模稀疏學(xué)習(xí)是機(jī)器學(xué)習(xí)中的重要方法之一，在很多實(shí)際應(yīng)用問題上有著廣泛應(yīng)用，比如，文本信息挖掘、生物信息學(xué)、圖像處理、新聞推薦等等。然而，在具有海量樣本和超高特征維度的大規(guī)模問題中，大規(guī)模稀疏學(xué)習(xí)模型的高效訓(xùn)練依然是一個(gè)非常具有挑戰(zhàn)性的問題。因此，多年來，大規(guī)模稀疏學(xué)習(xí)一直是學(xué)術(shù)界和工業(yè)界的重要研究熱點(diǎn)?，F(xiàn)有的大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練方法，大多是基于隨機(jī)復(fù)合優(yōu)化算法設(shè)計(jì)的。因?yàn)槠涞^程中的在線批量轉(zhuǎn)換步驟存在缺陷，所以，現(xiàn)有的算法不能獲

2、得真正稀疏的模型。
　　本研究提出了一個(gè)簡(jiǎn)單有效的隨機(jī)復(fù)合優(yōu)化框架以及在此框架下的三個(gè)具體算法。理論分析和實(shí)驗(yàn)結(jié)果顯示，我們的算法不僅在稀疏學(xué)習(xí)能力方面完全優(yōu)于現(xiàn)有算法，而且能將大概率誤差界降低一個(gè)數(shù)量級(jí)。篩選是一類能夠有效加速大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練的新興技術(shù)，能夠快速檢測(cè)出與模型無關(guān)的特征或者樣本并將其從模型中剔除，從而降低模型規(guī)模、提高訓(xùn)練效率。但是，現(xiàn)有的篩選算法都只單一研究特征篩選或者樣本篩選，無法應(yīng)用于數(shù)據(jù)量和特征數(shù)量都

3、非常大的應(yīng)用中。為此，我們提出了一個(gè)基于原問題和對(duì)偶問題解的準(zhǔn)確估計(jì)的稀疏支持向量機(jī)靜態(tài)加速訓(xùn)練算法，該算法能夠同時(shí)篩選與模型無關(guān)的特征和樣本。實(shí)驗(yàn)結(jié)果顯示，我們的算法能夠帶來速度上幾個(gè)數(shù)量級(jí)的提升。另外，我們注意到，隨機(jī)矩陣算法在大規(guī)模數(shù)據(jù)分析中具有很高的時(shí)間效率，但尚未被引入到大規(guī)模稀疏學(xué)習(xí)模型的訓(xùn)練中。據(jù)此，我們創(chuàng)造性地將隨機(jī)矩陣引入到稀疏學(xué)習(xí)中，提出了基于隨機(jī)投影的加速稀疏線性回歸算法。我們的算法能在取得指數(shù)收斂速度的同時(shí)，大大

4、降低單次迭代的計(jì)算復(fù)雜度，而且我們算法的中間解的稀疏性具有理論保證。最后，在具體應(yīng)用方面，由于生物數(shù)據(jù)（如人類基因數(shù)據(jù)）常常具有非常高的維度，而且其所用的稀疏學(xué)習(xí)模型比較復(fù)雜，因此，模型訓(xùn)練效率一直是大規(guī)模稀疏學(xué)習(xí)模型在生物信息學(xué)中應(yīng)用時(shí)面臨的瓶頸問題。對(duì)此，我們以阿爾茨海默病為例，提出了一種基于共享樹結(jié)構(gòu)的多任務(wù)特征學(xué)習(xí)的基因風(fēng)險(xiǎn)因子檢測(cè)算法。這是一項(xiàng)能夠通過同時(shí)利用特征結(jié)構(gòu)信息和多任務(wù)間共享信息來提高檢測(cè)性能的獨(dú)特技術(shù)。我們還為該模