最小二乘支持向量機及其在工業(yè)過程建模中的應用.pdf

1、傳統(tǒng)的工業(yè)過程建模大多基于精確的數(shù)學模型，這種方法適用于運行機理和過程特性已知的工業(yè)系統(tǒng)。對于結(jié)構(gòu)復雜、非線性、時變的工業(yè)系統(tǒng)，透徹分析其過程機理并建立精確數(shù)學模型是相當困難的，常常需要付出很大的人力和物力。在許多實際生產(chǎn)過程中，對系統(tǒng)機理和數(shù)學模型知之甚少的工程技術(shù)人員，通過觀察和經(jīng)驗總結(jié)仍然對系統(tǒng)進行良好的手動控制。因此，采用機器學習的方法來模擬人類的這種行為是一種有效的技術(shù)方法。 研究小樣本下的分類或回歸估計問題，研究者們

2、提出了統(tǒng)計學習理論。統(tǒng)計學習理論作為機器學習一個分支，由于其優(yōu)異的特性及應用前景受到越來越多的關(guān)注。支持向量機(SVM)衍生于統(tǒng)計學習理論，能夠在最小化訓練誤差和模型復雜度之間找到最佳平衡點，是一種比較經(jīng)典的機器學習方法。由于秉承了統(tǒng)計學習理論的主要思想(如結(jié)構(gòu)風險最小化、VC維)，支持向量機可以在有限樣本下得到全局最優(yōu)，從而避免局部最優(yōu)問題。 1999年Suykens與Vandewalle將支持向量機的二次規(guī)劃問題替換為一組線

3、性等式，提出了最小二乘支持向量機(LS-SVM)。與采用線性或非線性規(guī)劃方法的其它支持向量機算法相比，LS-SVM具有降低計算復雜度的優(yōu)點。因此，最小二乘支持向量機在許多分類或回歸估計問題中取得了很好的應用效果。 本文以最小二乘支持向量機在建模、預測和控制方面的應用為背景開展研究工作，提出一些適用于動態(tài)系統(tǒng)特征提取、建模、預測和控制的最小二乘支持向量機改進算法。本文的主要貢獻如下： 1．在支持向量機回歸估計中，輸入樣本間

4、的自相關(guān)或互相關(guān)的特性會惡化支持向量機的泛化性能。因此對支持向量機的輸入數(shù)據(jù)進行特征提取，是解決該問題的一個重要步驟。本文提出一種基于動態(tài)獨立分量分析(DICA)的特征提取方法，由于從自相關(guān)和互相關(guān)的輸入變量中提取獨立分量，DICA更適用于動態(tài)過程變量的特征提取。將DICA方法分別應用于廣義支持向量機或最小二乘支持向量機回歸估計，構(gòu)成多層支持向量回歸估計器。第一層為降低分析復雜性，提高回歸估計魯棒性的DICA特征提取層：第二層為實現(xiàn)系統(tǒng)

5、動態(tài)建模的SVM或LSSVM層。將DICA-LSSVM辨識器用于TE過程組分濃度估計與建模，仿真結(jié)果表明：DICA-LSSVM的估計精度優(yōu)于不采用特征提取的LSSVM估計器，以及基于PCA、DPCA、ICA特征提取方法的估計器。 2. 為提高LS-SVM動態(tài)建模的實時性，本文提出一種基于限定、增長和縮減記憶模式下的遞推最小二乘支持向量機算法(RLS-SVM)。三種記憶模式算法無需求逆，使最小二乘支持向量機的在線建模速度更加快捷。

6、進一步合理運用三種建模模式，又提出了以最小化預報誤差為目標的自適應建模方法，使得LS-SVM更適用于在線學習與預報的工業(yè)應用場合。仿真算例和自來水廠投藥系統(tǒng)的仿真實例驗證了該方法的有效性和優(yōu)越性。 3. 使最小二乘支持向量機的解具有稀疏性，本文提出一種稀疏解算法——矢量基學習。通過引入基矢量、基矢量集與解空間的概念，從分析新樣本矢量與解空間的夾角入手，推導出該樣本是否為基矢量的判斷準則。隨著新樣本的到來，在線判別支持向量，從而使

7、LS-SVM的支持向量具有稀疏性。為改進基于矢量基學習的LS-SVM動態(tài)建模實時性，進一步提出了適用于矢量基學習的增長記憶模式遞推公式。仿真算例及水處理廠的應用實例驗證了該方法的可行性和有效性。 4. 考慮‘過度擬合’和‘野值點’對辨識模型的影響，應用正態(tài)分布函數(shù)的一些特性，本文提出基于正態(tài)分布加權(quán)的最小二乘支持向量機。根據(jù)預測誤差的統(tǒng)計特性，以確定加權(quán)規(guī)則的參數(shù)，從而賦予訓練樣本不同的權(quán)值。由于考慮了生產(chǎn)過程中樣本的一些特性，