基于改進的神經(jīng)網(wǎng)絡(luò)自回歸模型的非線性時間序列建模和預(yù)測.pdf

1、本文研究應(yīng)用于控制的時間序列的建模和預(yù)測問題。時間序列可認為是表征系統(tǒng)在不同時間點動態(tài)特征或是由非線性動態(tài)方程描述的被控對象在某特定采樣間隔的的一連串數(shù)據(jù)，最早可追溯到公元前5000年。時間序列廣泛存在于工業(yè)過程、社會科學、金融學、醫(yī)療學、天文學、氣象學、物理學、生物學、經(jīng)濟學、環(huán)境研究、工程等其他一些領(lǐng)域。對時間序列的研究對于我們的生活具有重要的意義，它們是人們了解過去和預(yù)測未來的基礎(chǔ)工具，如為人們提供商品的買賣計劃、避免貨物的過?；?/p>

2、脫銷、提供產(chǎn)品的需求預(yù)測、管理交通運輸、探索宇宙空間等。時間序列在人類生活各個方面的成功應(yīng)用歸功于數(shù)學模型及其對它們的分析。時間序列分析方法一般包括提取數(shù)據(jù)有效的統(tǒng)計特征及其它相關(guān)特征并根據(jù)歷史觀測數(shù)據(jù)建立預(yù)測未來數(shù)據(jù)的模型。非線性時間序列屬于一類隨機順序排列的數(shù)據(jù)，對它們的分析也與不具有隨機性的普通數(shù)據(jù)分析問題不同。同時，時間序列與空間數(shù)據(jù)也有不同，它們的一個重要特性是連續(xù)的觀測數(shù)據(jù)比較長時間間隔的觀測數(shù)據(jù)更具有相關(guān)性，這個特性經(jīng)常用

3、以通過歷史數(shù)據(jù)來預(yù)測未來數(shù)據(jù)。
　　最近幾年，針對時間序列的分析問題，許多線性模型和非線性模型被相繼提出。本文提出了四種新的模型，包括兩種改進的神經(jīng)網(wǎng)絡(luò)非線性模型和兩種更為一般的神經(jīng)網(wǎng)絡(luò)非線性模型與線性模型的組合模型，并將這些非線性模型作為內(nèi)模應(yīng)用于實際船舶的軌跡跟蹤控制。分別為局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型（LVW-RBFN）、基于狀態(tài)相依自回歸結(jié)構(gòu)的局部多項式徑向基神經(jīng)網(wǎng)絡(luò)模型(LPRBF-AR)、基于結(jié)構(gòu)化非線性參數(shù)優(yōu)化方法的

4、局部多項式小波神經(jīng)網(wǎng)絡(luò)模型（LPWNN-SNPOM）和基于狀態(tài)相依自回歸模型的函數(shù)型權(quán)重小波神經(jīng)網(wǎng)絡(luò)模型(FWWNN-AR)。最后，這些全局非線性模型作為預(yù)測控制器的內(nèi)模應(yīng)用于實際船舶的軌跡跟蹤控制。本文的主要工作和創(chuàng)新成果概括如下:
　　第一，針對非線性時間序列的建模和預(yù)測問題，提出了一種特定的徑向基神經(jīng)網(wǎng)絡(luò)類模型——局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型(LVW-RBFN)。局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)可認為是普通徑向基神經(jīng)網(wǎng)絡(luò)的改進，它是

5、由輸入層、輸出層、隱含層和權(quán)重層構(gòu)成的四層前饋人工神經(jīng)網(wǎng)絡(luò)，隱含層的每個節(jié)點即為一個徑向基函數(shù)并具有一個稱之為網(wǎng)絡(luò)中心的參數(shù)矢量，網(wǎng)絡(luò)中心用以比對徑向基函數(shù)的輸入以得到相應(yīng)的徑向幾何響應(yīng)，這些響應(yīng)通過與網(wǎng)絡(luò)輸入相關(guān)的局部變權(quán)重系數(shù)進行縮放，最后由它們組成整個網(wǎng)絡(luò)的輸出。局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型（LVW-RBFN）相對于標準徑向基網(wǎng)絡(luò)需使用更多的線性參數(shù)，但這更有利于通過隱含層和權(quán)重層獲得非線性時間序列的動態(tài)特性。一種結(jié)構(gòu)化的非線性參

6、數(shù)優(yōu)化方法(SNPOM)被用來估計此模型，這種方法將需要的估計的參數(shù)分為線性參數(shù)空間和非線性參數(shù)空間，并通過LMM方法優(yōu)化非線性參數(shù)，通過最小二乘法優(yōu)化線性參數(shù)，且在參數(shù)的每次優(yōu)化迭代過程中，非線性參數(shù)（線性參數(shù)）的更新緊緊跟隨著線性參數(shù)（非線性參數(shù)）的更新。最后，利用提出的LVW-RBFN模型預(yù)測了三組著名的時間序列，分別為Mackey-Glass序列、the electroencephalography(EEG)和the Box-J

7、enkins data（請參考甘敏論文）.并與其它一些最新提出的模型進行比較，研究結(jié)果表明了該模型的優(yōu)越性。
　　1)Mackey-Glass(MG)時間序列;為了與以前的工作保持一致，我們基于四階龍格-庫塔方法生成了兩千個數(shù)據(jù)，時間步長為0.1，初始值x(0)=1.2。從生成的數(shù)據(jù)集來看，1000個數(shù)據(jù)中提取從第118到第1117個數(shù)據(jù)。前500個數(shù)據(jù)用于訓練模型，而其余的500個用來測試該模型。LVW-RBF(10，4)模型被

8、用來預(yù)測這個復(fù)雜的非線性時間序列的六步向前輸出。得到的結(jié)果表明，與列表中的其他方法相比，該模型需要更少的隱含層神經(jīng)元以及更少的中心就能產(chǎn)生更好的預(yù)測精度。它也顯示，預(yù)測誤差均值幾乎為零，揭示了誤差類似白噪聲。
　　2)EEG時間序列，也稱為腦電圖，記錄短時間內(nèi)大腦的自發(fā)性電活動。我們使用LVW-RBF(8，5)來評估對腦電圖的建模和預(yù)測性能。使用630個數(shù)據(jù)，前350個用于模型擴展，其余280個專門用于測試模型。與一些著名方法實現(xiàn)

9、的結(jié)果相比，實際值與用測試集估計的輸出值之差的均方根誤差MSE及AIC都比較小。這表明，該模型優(yōu)于那些模型。
　　3)Box-Jenkins煤氣爐時間序列;在甲烷氣體混合物燃燒過程中記錄Box-Jenkins數(shù)據(jù)。這組數(shù)據(jù)眾所周知，是常用的測試非線性建模與預(yù)測方法的基準。該數(shù)據(jù)集包括296組輸入輸出對，采樣周期為9s。輸入u(t)是入爐的氣體流量，x(t)輸出是出口氣體中的二氧化碳濃度。進行了評估，通過與回歸權(quán)重的RBF比較來評估

10、我們所提出的模型的性能，u(t-4)和x(t-1)作為輸入變量，x(t)作為輸出變量，且考慮不同節(jié)點的數(shù)量n=(3，6,…30)。均方根誤差(MSE)作為性能指標。給定相同的數(shù)量或有時給更少的隱含層神經(jīng)元，該模型比回歸權(quán)RBF模型取得更好的性能。
　　第二，為了提高LVW-RBF的性能和進一步減少中心數(shù)量，本文提出基于局部多項式RBF神經(jīng)網(wǎng)絡(luò)的狀態(tài)相依AR(LPRBF-AR)模型。LPRBFN是RBF的改進型，它的權(quán)重由輸入的多項

11、式函數(shù)表示。與LLRBFN不同之處在于，它的每個權(quán)重包含一個自由參數(shù)且是一個冪函數(shù)，其冪為正整數(shù)，而LLRBFN每個權(quán)重的冪等于1。它與回歸權(quán)重RBF的不同之處在于，其權(quán)重不包含任何誤差。實際上該誤差被添加到網(wǎng)絡(luò)輸出。而回歸權(quán)重RBF的每個權(quán)重的冪等于1，與LLRBFN情況一樣。結(jié)構(gòu)化非線性參數(shù)優(yōu)化方法(SNPOM)用于估計該模型的參數(shù)。我們所提出的模型的性能和有效性用Mackey-Glass時間序列、Lorenz混沌時間序列、EEC和

12、Box-Jenkins煤氣爐時間序列評估。
　　1)Mackey-Glass(MG)時間序列:對兩種不同的情況進行了研究。第一種情況下，選取τ=20，生成1000個數(shù)據(jù)，其中前500個數(shù)據(jù)用于訓練模型，后500個用于測試該模型。從而得到三種不同滯后時間的LPRBF-AR模型的一步前向預(yù)測誤差。結(jié)果顯示，與具有相同滯后時間、相同數(shù)量的節(jié)點且每個節(jié)點具有相同數(shù)量中心的模型相比，LPRBF-AR模型能夠得到最小的預(yù)測誤差和AIC。此外，

13、具有相同數(shù)量節(jié)點以及每個節(jié)點的中心數(shù)時，LPRBF-AR比RBF-AR模型表現(xiàn)更好，且滯后時間更短。與一些知名模型相比，LPRBF-AR表現(xiàn)出最好的模型和預(yù)測精度。第二種情況下，考慮與(1)中相同的數(shù)據(jù)，比較LPRBF-AR(4，10，4)與LPRBF-AR(4，8，4)兩種模型，獲取六步前向預(yù)測，并將它們的模型和預(yù)測性能與早期出版物中所做的工作進行比較。跟它們相比，我觀察到LPRBF-AR需要更少的隱藏神經(jīng)元與中心數(shù)來達到好得多的預(yù)測

14、精度。
　　2)洛倫茨吸引子是洛倫茨振子的長期行為對應(yīng)的分形結(jié)構(gòu)。洛倫茨振子是一種能產(chǎn)生混沌流的三維動力系統(tǒng)。這一洛倫茨模型不只對非線性數(shù)學有重要性，對于氣候和天氣預(yù)報來說也很重要。聲明變量σ，ρ，二者均為正數(shù)。為與早期的工作進行公平的比較，選取普朗特數(shù)α=10，瑞利數(shù)ρ=28，常數(shù)β=3/8。通過調(diào)節(jié)這些參數(shù)，并設(shè)置采樣時間為0.01s，用55秒的時間來生成一個洛倫茨吸引子的長期軌跡，從而創(chuàng)建了一個單變量時間序列。為避免瞬態(tài)響應(yīng)

15、，應(yīng)選取第35s到55s之間的數(shù)據(jù)集，得到2500個數(shù)據(jù)構(gòu)成的集合。前1500個數(shù)據(jù)用于訓練，后1000個用于測試。性能指標選取標準均方誤差(NormalizedMean Square Error, NMSE)。將LPRBF-AR(4,3,2)和LPRBF-AR(5,3,2)的性能與其他知名方法進行比較。實際輸出與估計輸出的NMSE如下:使用訓練集的LPRBF-AR(4，3，2)為1.53×10-12，LPRBF-AR(5，3，2)為1

16、.10×10-14，而使用測試集的LPRBF-AR(4，3，2)為2.96×10-12，LPRBF-AR(5，3，2)為3.650×10-14。與其他方法相比，這些NMSE很小。可見LPRBF-AR(4，3，2)的表現(xiàn)比除了LPRBF-AR(5，3，2)之外的其他方法都要好。因此與其他模型相比，LPRBF-AR需要更少的中心數(shù)目。所提出模型表現(xiàn)出來的好的統(tǒng)計特性同樣證明了模型能夠有效地描述原始數(shù)據(jù)的動態(tài)特性。因此提供了一個更加精確的預(yù)測

17、結(jié)果。
　　3)對于EEG時間序列(正如(1)中描述的一樣），LPRBF-AR(8，3，4)與其他所列舉的算法相比有更小的預(yù)測誤差和AIC。這證明通過LPRBF來逼近狀態(tài)自回歸方程的系數(shù)比目前所知道的其他類型的SD-AR和RBF算法有更加優(yōu)越的性能。其次，訓練數(shù)據(jù)和測試數(shù)據(jù)的預(yù)測誤差都接近于白噪聲。而且對于模擬震動時間序列常常發(fā)生大的建模誤差都沒有發(fā)現(xiàn)。所有的這些結(jié)果都顯示LRBF-AR模型能夠很好的揭示原始數(shù)據(jù)的動態(tài)性能。

18、>　　4)此部分給出了兩個關(guān)于Box-Jenkins燃氣爐時間序列的例子分析。第一個例子中，(1)給出了數(shù)據(jù)和條件。通過對比我們的模型和regressive weights RBF的建模結(jié)果，我們發(fā)現(xiàn):所提出模型的MSE和這些regressive weights RBF模型一樣，隨著結(jié)點數(shù)目的增多而減少。而且相比其他的regressive weights RBF模型，LPRBF-AR模型只需要較少的隱含層節(jié)點數(shù)來取得更好的建模性能。在第

19、二個例子中，考慮和(1)一樣的原始數(shù)據(jù)，為了更加公平的對比我們的模型和其他模型的優(yōu)缺點，我們采用同樣的輸入和相關(guān)條件。
　　對比建模結(jié)果顯示:LPRBF-AR有更小的訓練數(shù)據(jù)均方誤差。其次，LPRBF-AR有最小的測試數(shù)據(jù)均方誤差。這表明，相比所列的其他模型，我們的模型優(yōu)越不僅表現(xiàn)在建模上，而且表現(xiàn)在預(yù)測未知情況的數(shù)據(jù)上。同樣能看到LPRBF-AR只需要較少的節(jié)點數(shù)目便能取得很好的建模效果。
　　第三，此部分介紹了增強型的小

20、波神經(jīng)網(wǎng)絡(luò)，即LPWNN-SNPOM。這是一個5層的神經(jīng)網(wǎng)絡(luò)包括了輸入層、輸出層，小波層，乘積層和多項式層，多項式層是作為函數(shù)的輸入來計算權(quán)重的，這些權(quán)重是動態(tài)的，而且對于動態(tài)系統(tǒng)的學習過程很重要。LPWNN-SNPOM是WNN-HLA的推廣與發(fā)展。這兩個模型主要有下面的三個不同:i)LPWNN-SNPOM包含了一個偏置。ii）在LPWNN-SNPOM中，我們用輸入的多項式函數(shù)作為參數(shù)權(quán)重，而WNN-HLA的參數(shù)權(quán)重是不變的，這樣能更好

21、地讓權(quán)重隨著輸入的變化而變化和反應(yīng)系統(tǒng)的動態(tài)性能。iii）不像WNN-HLA，用在線優(yōu)化的方法，LPWNN-SNPOM采用離線優(yōu)化的方法，即SNPOM。所提出模型的性能和效率通過了幾個例子來詳細闡述了（Mackey-Glass時間序列，非線性動態(tài)系統(tǒng)，混沌信號，澳大利亞的氣泡酒時間序列，Box-Jenkins燃氣爐時間序列和太陽黑子時間序列）。這些結(jié)果都顯示了所提出模型的有效性和優(yōu)越性，同時證明了所提出模型在WNN-HLA有提高并且比其

22、他著名的模型性能好。
　　1) Mackey-Glass時間序列。采用和（第一）中相同的數(shù)據(jù)，利用LPWNN—SNPOM(4，10)模型對Mackey-Glass這一復(fù)雜非線性時間序列的未來六個步驟的輸出進行了預(yù)測。結(jié)果顯示，相比其它預(yù)測技術(shù)包括如LLWNN，LLNF和PG-RBF在內(nèi)的工藝水平，該模型獲得了一個訓練和測試數(shù)據(jù)集小很多的RMSE。
　　2)非線性動態(tài)系統(tǒng)，它可認為是一個輸出非線性依賴于其過去值及輸入，并附加了

23、輸入輸出值影響的被控對象。為了和以前的成果進行公平對比，選用了200組數(shù)據(jù)來訓練LPWNN-SNPOM(2，6)模型，以根的平均平方誤差(RMSE)作為效果評估，將該模型與WNN-HLA，F(xiàn)ALCON，SONFIN和SCFNN模型進行了比較。據(jù)觀察可得，LPWNN-SNPOM(2，6)模型所產(chǎn)生的預(yù)測誤差遠遠小于上文所提到的其它模型。另外還可得知，由于該模型的權(quán)重結(jié)構(gòu)，該模型獲得較好建模效果所需的參數(shù)和迭代次數(shù)更少。
　　3)混沌

24、信號。將LPWNN-SNPOM模型應(yīng)用在一個從等式衍生出來的簡單混沌信號的典型一步向前預(yù)測問題上。令系數(shù)a=3.6，x(1)=0.001，首先生成60個數(shù)據(jù)的訓練集。再令a=3.8，初始值x(1)=0.9，生成100個數(shù)據(jù)用于模型的驗證。LPWNN-SNPOM(2，2)模型則用來預(yù)測該復(fù)雜混沌時間序列的一步向前輸出。據(jù)觀察可得，LPWNN-SNPOM(2，2)模型的預(yù)測誤差在經(jīng)過多次迭代之后可以減小到一個非常小的值。它表明，雖然相對小波

25、，權(quán)重有更高的振幅，但兩者都對該非線性時間序列的動態(tài)表現(xiàn)有貢獻，而且該模型幾乎完全符合原始輸出。結(jié)果顯示，與其他所列的預(yù)測技術(shù)相比，該模型只需要很少的隱含神經(jīng)元和小波基就能獲得很好的預(yù)測精度。
　　4)非線性函數(shù)的逼近。在這部分，通過使用二維函數(shù)對該方法的性能進行了研究。為了公平對比，從均勻分布在D=[10，10]×[10，10]范圍內(nèi)的一個隨機輸入中采集了400個數(shù)據(jù)作為訓練集。根據(jù)WNN-HLA，RBF，WNN，WN以及LPW

26、NN-SNPOM模型的比較結(jié)果可知，相比其他方法，該模型用更少的參數(shù)和迭代次數(shù)就可以獲得更好的模型精度。這樣的性能主要是由于非線性函數(shù)中新的小波結(jié)構(gòu)的代表能力以及最優(yōu)化技術(shù)對該模型的訓練效率。
　　5)澳大利亞一個烈酒公司的氣泡酒時間序列:這個時間序列是從http://robjhyndman.com/tsdldata/data/sparklng.dat獲得，為了在實際數(shù)據(jù)的基礎(chǔ)上測試這個設(shè)定模型的結(jié)果。這個時間序列有很強的年度季節(jié)

27、性，可以在設(shè)計一個更好的合適的模型中得以應(yīng)用。在這部分中，使用了一個有固定輸入向量的LPWNN-SNPOM(2，2)模型去預(yù)測這個非線性時間序列的一步前向輸出。兩個流行的策略即均方差(MSE)和平均絕對誤差百分比(MAPE)，都作為使用指標。通過假定模型獲得的結(jié)果和通過SARIMA模型獲得的結(jié)果進行相對照，可以看到除了在第六年通過SARIMA模型獲得比較好的均方差外，其他年份設(shè)定模型比SARIMA模型獲得的結(jié)果都要好。如果在設(shè)定模型的基

28、礎(chǔ)上，澳大利亞烈酒公司將會獲得更大的經(jīng)濟效益。
　　6)Box-Jenkins煤氣爐時間序列:如在（第一）中考慮的一樣。這主要目的是把設(shè)定模型應(yīng)用起來獲得一步前向預(yù)測，建立在y(t-1),y(t-2),y(t-3),y(t-4),u(t-1),u(t-2),u(t-3),u(t-4),u(t-5)和u(t-6)基礎(chǔ)上。這樣的輸入結(jié)構(gòu)使用的更廣泛。為了使和其它使用同樣輸入結(jié)構(gòu)的方法公平對照，數(shù)據(jù)集減到了290。前145個數(shù)據(jù)用來訓練

29、設(shè)定模型而剩下的145個數(shù)據(jù)用來在還不能看到的一些數(shù)據(jù)的基礎(chǔ)上測試它們的預(yù)測能力。獲得的結(jié)果表明，在與其他例舉出來用于比較的預(yù)測技術(shù)相比，所提出模型需要一個很小數(shù)量的隱藏神經(jīng)元來獲得更好的預(yù)測精度，于是提出了一個LPWNN-SNPOM(10，6)模型。也有人指出，該模型只需要幾個步驟去匯合。
　　7)太陽黑子時間序列:太陽黑子是出現(xiàn)在太陽光球部位的一種與周圍區(qū)域相比起來有明顯黑斑的瞬時自然現(xiàn)象。它們是由于強磁場活動引起的，該磁場活

30、動阻止了邊緣渦流產(chǎn)生的對流，形成了一些表面溫度降低的區(qū)域。太陽黑子的數(shù)目是太陽活動的一個很好的檢測，并且太陽黑子活動的周期是11年，稱為太陽活動周期。太陽活動對地球，氣候，天氣，衛(wèi)星以及太空任務(wù)都有強烈的影響。因此預(yù)測太陽黑子時間序列是非常重要的。然而，由于系統(tǒng)的復(fù)雜性和數(shù)據(jù)模型的缺乏，預(yù)測太陽周期不是一個簡單的任務(wù)。為了使設(shè)定模型與現(xiàn)有的模型在同等條件下相比較，選擇了從1834年11月到2001年六月的太陽黑子時間序列，并且使2000

31、個點縮放到[0，1]這個范圍，其中前1000個點用來訓練設(shè)定模型，而剩下的1000個點用來在不能看到的情況下測試設(shè)定模型的預(yù)測準確性。在LPWNN-SNPOM(4，2)里面帶有不同的季節(jié)性。在這個例子中，季節(jié)性因素分別標記為1，3，6和12，分別代表月，季度，期和年。把1分配到季節(jié)性因素將會使預(yù)測超前一步，所以在太陽黑子時間序列中常常被使用。為了評價在測試數(shù)據(jù)基礎(chǔ)上的設(shè)定模型的一步前向預(yù)測結(jié)果和與在文獻中匯報的結(jié)果以及看到該模型的季節(jié)性

32、影響，均方差(MSE)、二次均方差(RMSE)和規(guī)范均方差(NMSE)作為性能指標。在文獻中提到的一步前向預(yù)測差，MSE，RMSE和NMSE的比較以及設(shè)定模型對1000個太陽黑子的測試例子表明:當設(shè)定方法用來預(yù)測太陽黑子時間序列的未來值時，與另一種提到的預(yù)測方法相比設(shè)定方法能產(chǎn)生更好的結(jié)果。在測試例子中，對于四個不同的季節(jié)性即月、季度、期和年的1000個太陽黑子時間序列的誤差指數(shù)，MSE，RMSE和NMSE的結(jié)果表明，當與月相比，季度、

33、期和年展示了一個巨大的跌幅。總之，可以看到期季度有一個更小的誤差指數(shù)，這說明太陽黑子有個強烈的期季度可以在預(yù)測過程中探索。
　　第四，提出了用一種稱為基于狀態(tài)相依AR模型的函數(shù)權(quán)重小波神經(jīng)網(wǎng)絡(luò)(FWWNN-AR)模型來對非線性時間序列進行建模和預(yù)測。這種模型利用改進的函數(shù)型權(quán)重小波神經(jīng)網(wǎng)絡(luò)(FWWNN)來逼近狀態(tài)相依AR模型的狀態(tài)相依系數(shù)，使其結(jié)合了狀態(tài)相依AR模型利用少量節(jié)點描述非線性動態(tài)特性和FWWNN對時域和頻域特性的函數(shù)逼

34、近能力的優(yōu)勢。FWWNN是包含有輸入層、輸出層、小波層、規(guī)劃層和多項式層的五層小波神經(jīng)網(wǎng)絡(luò)，其中多項式層是與輸入有關(guān)的函數(shù)，用以計算輸出的動態(tài)權(quán)重。該模型通過三個不同層次來學習非線性時間序列的動態(tài)特性，分別為AR層、小波網(wǎng)絡(luò)層和函數(shù)型權(quán)重層。函數(shù)型權(quán)重層可使用不同的基函數(shù)，本文選用標準的WNN為函數(shù)型權(quán)重層的函數(shù)變量，從而使得FWWNN-AR模型的性能總優(yōu)于WNN-AR模型，因此，F(xiàn)WWNN-AR模型可認為是基于WNN-AR模型的改進，

35、FWWNN-AR的線性形式可通過選擇極大平移因子來得到。對數(shù)值實驗和實際非線性時間序列的預(yù)測效果表明了該模型的有效性和優(yōu)越性。
　　1)扭曲長記憶AR時間序列;DLM繪制出市場或經(jīng)濟泡沫。為進行一次適當比較，我們采用在之前已發(fā)表的文章中所應(yīng)用的同一數(shù)據(jù)。此時間序列由500個數(shù)據(jù)點組成，其中的400個數(shù)據(jù)點用于訓練模型，而剩余的100個數(shù)據(jù)點用于檢驗所提出模型在未知情況下的性能。主要任務(wù)是利用含有3種不同權(quán)重基函數(shù)的FWWNN-AR

36、X(4，2，2)模型來得到DLM的一步前向預(yù)測。所得結(jié)果顯示出，作為最好模型出現(xiàn)的FWWNN-AR1模型而言，所提出的模型有更好的性能。并且所提出的模型能夠超越WNN-AR模型，這也證明了所提出的模型是基于WNN-AR模型的改進。這些性能一部分是因為所提出模型權(quán)重分擔非線性與小波間隔的能力。此外，對于擾動數(shù)據(jù)，所提出模型所獲得預(yù)測精確的水平顯示出其對于擾動數(shù)據(jù)的魯棒性。
　　2) Mackey-Glass時間序列;在這一部分，兩個

37、方案和如在(2)一樣的條件下進行研究，在第一種方案，通過利用不同的延遲得到的結(jié)果和那些在參考文獻中的模型得到的結(jié)果進行比較來計算這個模型的性能值。三種不同權(quán)值基函數(shù)用于進行比較。結(jié)果表明當考慮同一滯后時，和RBF, RBF-AR, WNN-AR以及LLRBF-AR模型比較，所提出模型不僅會有一個更小的預(yù)測誤差，而且有更小的AIC值。這也表明所提出模型比RBF, RBF-AR, WNN-AR以及LLRBF-AR模型需要更少的時間序列延遲來

38、使性能達到更好。此外，我們可以看出FWWNN-AR模型未知數(shù)據(jù)的預(yù)測精度會降低為標準WNN-AR模型未知數(shù)據(jù)預(yù)測精度的40，47％，38，78％和56，21％分別對于5，6和7個滯后。這也證實FWWNN-AR模型是基于WNN-AR模型的一個改進。在第二個方案，此項方案的任務(wù)是從一個固定的輸入中預(yù)測出y(t+6)。和其他例舉的方法相比較，所提出模型能夠得到更好的預(yù)測精度。在學習的過程中，通過SNPOM對基于3種權(quán)值基礎(chǔ)函數(shù)的FWWNN-A

39、R模型預(yù)測誤差的反復(fù)估算，使預(yù)測誤差會減小到一個很小的值。
　　3)洛倫茲時間序列:如(2)中使用的洛倫茲因子，本章節(jié)中，主要工作是通過FWWNN-ARX(5，2，2)三種不同的權(quán)重因子獲得非線性時間序列一步預(yù)測。NMSE用來訓練和測試參考文獻中的這些關(guān)于相同時間序列的模型，并且用來做對比。與別的模型對比可以看出FWWNN-ARX模型只需要更少的節(jié)點就能得到最小的方差。結(jié)果顯示了很好地統(tǒng)計特性也證明了處理動態(tài)原始數(shù)據(jù)更有效率。FW

40、WNN-AR模型優(yōu)于其他的模型，這個模型減少了98.90％檢驗誤差，而WNN-AR模型只減少了97.86％。
　　4)太陽黑子時間序列:如(3)中所描述的數(shù)據(jù)。在這個例子中一步向前預(yù)測使用FWWNN-ARX模型使用三種不同權(quán)重函數(shù)。 MSE，RMSE和NMSE測試前面模型得來的太陽黑子時間序列，用來與參考文獻中其他的一些經(jīng)典方法做對比。對照可以發(fā)現(xiàn)在模型中輸入層、隱含層、輸出層均只要一個神經(jīng)元，AR時間延遲為4。而第二個模型輸入層

41、需要五個神經(jīng)元，隱含層需要7個，輸出層需要5個神經(jīng)元和7個recurrent neurons。因此本模型只需要更少的非線性參數(shù)就可以得到比其他模型更好的結(jié)果。在例子中，提出的所有的模型得到了相似的結(jié)果，同時也比標準的WNN-AR和其他模型效果更好。
　　5)Australian sparkling wine time series:這個時間序列和章節(jié)(2)中提到一樣，在2.2.2 FWWNN-ARX中使用三種不同的權(quán)重的基函數(shù)。通

42、過連續(xù)五年的平均絕對誤差百分比(MAPE)和均方誤差(MSE)，并且按月，半年，一年得到平均值，以及與SARIMA的年平均作對比。從中得出本模型的半年平均和年平均有更好的效果，即使本模型中使用的是半年的數(shù)據(jù)值而SARIMA采用的年平均值。但是也有一些年份SRIMA模型有更好的效果。此外，所有模型中效果最好的年平均值，這是SARIMA作者的建議，數(shù)據(jù)按年來做計算。按照年數(shù)據(jù)FWWNN-AR1、FWWNN-AR4、FWWNN-AR5和SAR

43、IMA對比MAPE和MSE參數(shù)，F(xiàn)WWNN-AR5是效果最好的模型。該模型比標準的WNN-AR有著更好的效果，進一步證明了是比WNN-AR更好的模型。
　　6)煤氣爐時間序列:盡管煤氣爐的數(shù)據(jù)可以近似線性的輸入-輸出行為，然而很多非線性的建模方法用在對線性模型的建模和預(yù)測上。這種異常主要是由輸入結(jié)構(gòu)引起的。這個例子的主要目的是對于這些線性數(shù)據(jù)，本文提出的模型與其他的線性與非線性模型的效果對比。為了對比，這里使用圖3中的數(shù)據(jù)，同時列

44、出了一些比較所用到的條件?？偣灿玫搅宋褰M測試數(shù)據(jù)，五組數(shù)據(jù)的輸入及用來測試和檢驗的數(shù)據(jù)長度不同。模型的輸入包括過去的輸入及輸出。每一個例子使用本文提出的模型進行一步預(yù)測。第一個例子用y(t-1)和u(t-4)作為模型的輸入來計算y(t)，u1（x(t-q））=x(t-q)2用來衡量基函數(shù)的權(quán)重。
　　從AIC來看，本文提出的線性模型的AIC明顯大于非線性模型。這說明非線性模型對這些數(shù)據(jù)的建模效果更好。這里同樣列出了本文提出的非線性

45、模型與其他的非線性模型的對比結(jié)果。第二個例子使用，y(t-1)，u(t-3)及u(t-4)作為模型的輸入來獲得模型的輸出y(t)，u1(x(t-q))=x(t-q)2用來衡量基函數(shù)的權(quán)重。同樣可以看到線性模型的AIC大于非線性模型的AIC。從結(jié)果可以看出來，非線性模型的更加適合用于對煤氣爐的建模及預(yù)測。此外，與其他的非線性模型相比較，在獲得同樣的精度的條件下，本文提出的非線性模型使用了更少的神經(jīng)網(wǎng)絡(luò)節(jié)點。在第三個例子中使用y(t-1)，

46、u(t-3)，u(t-4)和u(t-5)作為模型的輸入，u1(x(t-q))=x(t-q)2用來衡量基函數(shù)的權(quán)重。同樣可以看出，本文提出的線性模型的AIC比本文所提出的非線性模型的AIC要大，非線性模型更加適合對煤氣爐模型進行建模和預(yù)測。同樣可以看到本文提出的非線性模型的MSE是0.086，而Nie所提出來的模型的MSE是57.98。在第四個例子中使用y(t-1)，u(t-2)，u(t-3)，u(t-5)和u(t-6)作為模型的輸入，u

47、1（x(t-q)）=x(t-q)2用來衡量基函數(shù)的權(quán)重。前200個數(shù)據(jù)用來訓練模型，后40個數(shù)據(jù)用來測試模型。獲得的線性模型的AIC與非線性模型比較，在訓練數(shù)據(jù)中線性模型的AIC較大，而訓練數(shù)據(jù)中的線性模型的AIC較小。這意味著線性模型比非線性模型更加適合。這是因為輸入和輸出有很強的線性結(jié)構(gòu)。因而在這個例子中提出的線性模型的MSE比非線性模型的MSE更小。最后一個例子中使用y(t-1)，y(t-2)，y(t-3)，y(t-4)，u(t-

48、1)，u(t-2)，u(t-3)，u(t-4)，u(t-5)和u（t-6）。這種結(jié)構(gòu)廣泛使用。u1（x(t-q)）=x(t-q)11用來衡量基函數(shù)的權(quán)重。為了跟以前的工作進行比較，使用的數(shù)據(jù)為290個，前145個數(shù)據(jù)用來訓練本文提出的模型。可以看出來本文提出的線性模型的AIC遠大于非線性模型的AIC。這意味著對于這一組輸入的煤氣爐的數(shù)據(jù)，非線性模型更加適合用來建模和預(yù)測。此外，本文提出的非線性模型因為只用到了一層隱含層，因而用到的參數(shù)比

49、其他的模型更少。與第二好的模型對比，F(xiàn)WWNN-AR1(1，1，10)模型在訓練數(shù)據(jù)上的MSE比第二好的模型小77.34％，在測試數(shù)據(jù)上比第二好的模型小36.74％。有這么好的結(jié)果，主要是因為本文提出的模型的權(quán)重是動態(tài)的。
　　最后，將提出的FWWNN-AR模型在控制中進行了應(yīng)用，一種基于ARX模型的擴展指數(shù)型小波神經(jīng)網(wǎng)絡(luò)(EW-WNN-ARX)模型作為模型預(yù)測控制的內(nèi)模用以對船舶進行控制。為了得到穩(wěn)定的系統(tǒng)，用航向偏離角角速度作

50、為模型輸出，建立EW-WNN-ARX模型來描述動態(tài)船舶航向偏離角和舵角之間的差異。為了描述船舶的動態(tài)非線性特征，滾動角作為狀態(tài)特征量用以引導(dǎo)模型參數(shù)變化以反映船舶的運動狀態(tài)。采用SNPOM離線辨識EW-WNN-ARX模型以避免在線優(yōu)化帶來的諸多問題，估計出的模型實質(zhì)是一個以航向偏離角描述船舶位置軌跡誤差特征的數(shù)學模型，這種模型是統(tǒng)計模型和數(shù)學模型的結(jié)合體，稱為E-EW-WNN-ARX-MM模型。通過該模型可建立起船舶運動的狀態(tài)空間模型并