基于矩陣近似的機器學(xué)習(xí)算法加速研究.pdf

1、近年來隨著學(xué)習(xí)理論研究的深入，各種機器學(xué)習(xí)算法開始應(yīng)用到實際問題中，由于許多機器學(xué)習(xí)算法涉及到矩陣的求逆或者分解，而求解這一問題的時間復(fù)雜度約為O(n3)，當(dāng)數(shù)據(jù)集規(guī)模較大時，機器學(xué)習(xí)算法的效率變得極為低下，這在很大程度上影響了機器學(xué)習(xí)算法的應(yīng)用前景。針對這一問題，本文主要討論了如何對機器學(xué)習(xí)算法進行加速，并將其應(yīng)用到具體的算法中。
　　ELM（Extreme Learning Machine）算法由單層前向神經(jīng)網(wǎng)絡(luò)發(fā)展而來，與傳

2、統(tǒng)單層神經(jīng)網(wǎng)絡(luò)不同的是，ELM算法對于隱層節(jié)點的參數(shù)不再需要通過從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到，而是直接通過隨機方法獲取，這使得其與傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)算法相比有了更快的學(xué)習(xí)速度。ELM算法學(xué)習(xí)過程中同樣需要涉及矩陣的求逆，這會受到數(shù)據(jù)規(guī)模的影響。本文針對這一問題給出了一種基于矩陣近似的ELM加速算法。如果給定的參數(shù)合理，本文提出的算法可以在不降低太大精度的前提下，將ELM算法的速度提高若干倍。同時本文還將這一思路應(yīng)用到LS-SVM（Least

3、 Square Support Vector Machine）算法中，也取得了令人滿意的效果。在標準數(shù)據(jù)集上的實驗結(jié)果證明了本文提出算法的有效性及可行性。本文的主要成果包括：
　　（1）深入探討了機器學(xué)習(xí)算法中存在的問題，分析了現(xiàn)有的矩陣近似方法。
　?。?）提出了基于Nystrom方法的ELM加速算法。該算法通過選擇數(shù)據(jù)集中的標志點，利用標志點通過Nystrom方法構(gòu)建核矩陣的近似，然后在近似核矩陣上求逆訓(xùn)練ELM學(xué)習(xí)器，

4、這樣可使ELM算法計算時間復(fù)雜度從O(n3)變?yōu)?O(nm2+m3)(m為標志點個數(shù)）。
　?。?）提出了基于 Random近似的ELM加速算法。該算法通過Random方法找出核矩陣的low-rank近似子空間，在低秩子空間上求逆訓(xùn)練ELM學(xué)習(xí)器，這樣可使ELM算法計算時間復(fù)雜度從O(n3)變?yōu)?O(kn2+k3)(k為低秩子空間的數(shù)值秩）。
　　（4）提出了基于矩陣近似的LS-SVM加速算法。該算法可以有效提升LS-SVM