極端學(xué)習(xí)機的有效計算.pdf

1、極端學(xué)習(xí)機(extremelearningmachine)(簡稱ELM)是一種基于前饋神經(jīng)網(wǎng)絡(luò)的快速學(xué)習(xí)算法，該算法任意給定權(quán)值和偏置，只要滿足激活函數(shù)是連續(xù)可微的，那么輸出權(quán)值就被唯一確定，而權(quán)值的確定是通過求隱含層輸出矩陣的摩爾彭羅斯廣義逆得到的，是一個線性系統(tǒng)。在絕大多數(shù)情況下，該算法的速度是很快的，但是當遇到對于大樣本集的問題(樣例個數(shù)特別多的時候)，若想得到很好的泛化能力，就會用到更多的隱含節(jié)點，學(xué)習(xí)速度就會大大減慢。

2、　　本文針對該算法在大規(guī)模數(shù)據(jù)集學(xué)習(xí)速度慢的情況，提出兩種簡單快速計算摩爾彭羅斯廣義逆的算法，在泛化能力達到要求的情況下，大大加快了極端學(xué)習(xí)機的學(xué)習(xí)速度。前一種方法充分利用小矩陣求解速度快這一特點，把較大的矩陣轉(zhuǎn)化成小矩陣來計算，后一種方法充分利用極端學(xué)習(xí)機算法的核心(求解線性模型)，進而用一種高效的快速解線性模型的方法求解摩爾彭羅斯廣義逆。將兩種方法得到的不同極端學(xué)習(xí)機用于UCI數(shù)據(jù)集中，分別與其他方法進行比較，實驗結(jié)果表明這兩種極端