偏最小二乘算法及其在基于結(jié)構(gòu)風(fēng)險最小化的機(jī)器學(xué)習(xí)中的應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)是非線性科學(xué)研究的主要內(nèi)容之一。大部分建立非線性系統(tǒng)模型的機(jī)器學(xué)習(xí)方法以極小化訓(xùn)練誤差為優(yōu)化目標(biāo)，即基于經(jīng)驗風(fēng)險最小化原則。近年來，基于統(tǒng)計學(xué)習(xí)理論，兼顧模型的經(jīng)驗風(fēng)險和置信范圍的基于結(jié)構(gòu)風(fēng)險最小化原則已成為機(jī)器學(xué)習(xí)研究熱點之一。偏最小二乘算法作為一種源于過程控制的算法，借助提取數(shù)據(jù)中解釋性最強(qiáng)的綜合信息，實現(xiàn)對高維數(shù)據(jù)空間的降維處理，克服變量多重相關(guān)性。核偏最小二乘算法、支持向量機(jī)和模糊系統(tǒng)建模都是機(jī)器學(xué)習(xí)的有效學(xué)習(xí)方法，但在

2、建立非線性模型的過程中各自仍存在一些不足。 本文以核偏最小二乘算法、支持向量機(jī)和模糊系統(tǒng)建模等機(jī)器學(xué)習(xí)方法與偏最小二乘算法結(jié)合為思路，在機(jī)器學(xué)習(xí)過程中實現(xiàn)結(jié)構(gòu)風(fēng)險最小化原則為目標(biāo)，展開論文的研究。 根據(jù)Mercer定理，本文提出了一種簡化核偏最小二乘算法，并同時提出一種滿足結(jié)構(gòu)風(fēng)險最小化原則的風(fēng)險的指標(biāo)，仿真計算說明了該指標(biāo)的有效性。為了解決核偏最小二乘算法中核函數(shù)矩陣維數(shù)隨辨識樣本膨脹的問題，本文提出的分塊核偏最小二乘

3、算法，通過劃分核函數(shù)矩陣，減少了核偏最小二乘算法的計算負(fù)擔(dān)。 針對模糊系統(tǒng)模型的“規(guī)則數(shù)爆炸”問題，本文提出了基于子空間劃分的模糊系統(tǒng)模型，并給出了基于遺傳算法的自適應(yīng)模型辨識方法。該方法按照一致、完備原則劃分論域，部分地解決了模糊系統(tǒng)的“規(guī)則數(shù)爆炸”問題。在改進(jìn)算法當(dāng)中，使用偏最小二乘算法對數(shù)據(jù)進(jìn)行預(yù)處理、建立初始模型，再利用基于子空間劃分的模糊系統(tǒng)模型對殘差進(jìn)行建模。通過ε不敏感損失函數(shù)和子空間的劃分達(dá)到模型的置信范圍與經(jīng)驗

4、風(fēng)險的折中，實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化。 由于偏最小二乘算法泛化能力較差，本文將支持向量機(jī)算法和偏最小二乘算法結(jié)合，提出了基于結(jié)構(gòu)風(fēng)險最小化的加權(quán)偏最小二乘算法。使用支持向量機(jī)訓(xùn)練算法計算加權(quán)偏最小二乘算法中外模型的線性回歸模型，實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化原則。然后本文將支持向量機(jī)算法應(yīng)用于T-S模糊系統(tǒng)模型的建模過程中，提出了基于支持向量機(jī)的T-S模糊系統(tǒng)模型的建模方法。該算法以支持向量為中心在論域空間模糊聚類，然后根據(jù)聚類結(jié)果形成模糊規(guī)

5、則：模糊規(guī)則的前件為聚類中心，后件為對應(yīng)該類的的線性偏最小二乘回歸模型。不但可以自適應(yīng)地建立T-S模糊系統(tǒng)模型，而且實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化原則。為了能夠在對時變系統(tǒng)建?；虼嬖诖髷?shù)據(jù)量時建模過程中完成野點檢測算法，本文提出了魯棒遞推偏最小二乘算法，解決了通常情況下計算量大的問題。通過將遞推偏最小二乘法與魯棒主分量回歸算法相結(jié)合，不但有效解決了計算量大的問題，而且有效避免了存在多個野點時的掩蓋和淹沒現(xiàn)象。接觸網(wǎng)檢測對于高速電氣化鐵路安全運(yùn)營意