基于遺傳算法的bp神經(jīng)絡(luò)氣象預(yù)報建模doc

1、基于遺傳算法的基于遺傳算法的BPBP神經(jīng)網(wǎng)絡(luò)氣象預(yù)報建模神經(jīng)網(wǎng)絡(luò)氣象預(yù)報建模wxyhome20世紀90年代以來，國內(nèi)外在大氣學(xué)科中開展了很多有關(guān)神經(jīng)網(wǎng)絡(luò)預(yù)報建模和氣候分析等應(yīng)用研究。然而隨著神經(jīng)網(wǎng)絡(luò)方法在大氣科學(xué)領(lǐng)域研究的不斷深入，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)方法在實際業(yè)務(wù)天氣預(yù)報應(yīng)用中存在一個重要的問題，即在利用神經(jīng)網(wǎng)絡(luò)方法進行氣象預(yù)報建模時，神經(jīng)網(wǎng)絡(luò)的初始權(quán)值、網(wǎng)絡(luò)結(jié)構(gòu)以及網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，動量因子難以確定，往往是通過反復(fù)訓(xùn)練來確定網(wǎng)絡(luò)的結(jié)構(gòu)

2、和各種參數(shù)，這樣會導(dǎo)致在應(yīng)用中出現(xiàn)過擬合問題，嚴重影響網(wǎng)絡(luò)的泛化能力，極大限制神經(jīng)網(wǎng)絡(luò)在實際天氣業(yè)務(wù)中的應(yīng)用([18])。該問題的研究不僅關(guān)系到在大氣學(xué)科中能否進一步深入開展有關(guān)人工神經(jīng)網(wǎng)絡(luò)方法的業(yè)務(wù)預(yù)報應(yīng)用，并且也是目前人工神經(jīng)網(wǎng)絡(luò)應(yīng)用理論研究中尚未得到很好解決的關(guān)鍵技術(shù)問題。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)如何有效提高神經(jīng)網(wǎng)絡(luò)的泛化能力，我簡單以下分析影響神經(jīng)網(wǎng)泛化能力的因素。首先我簡單介紹以下神經(jīng)人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralwk

3、sANN)，簡稱“神經(jīng)網(wǎng)絡(luò)”（NN），它是作為對人腦最簡單的一種抽象和模擬，是對人的大腦系統(tǒng)一定特性的描述。簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)或用計算機來模擬人的自然智能。其中BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，也是應(yīng)用最具有成效的神經(jīng)網(wǎng)絡(luò)模型之一。它在大氣科學(xué)預(yù)報集成、觀測資料優(yōu)化等方面都有應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)(BackpropagationNeutralwk)通常是指基于誤差反向傳播算法(BP算法)的多層前

4、向神經(jīng)網(wǎng)絡(luò)，采用由導(dǎo)師的訓(xùn)練方式。它是D.E.Rumelhart和J.L.McCell及其研究小組在1986年研究并設(shè)計出來的。BP算法已成為目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，絕大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP算法或它的變化形式，它也是前向神經(jīng)網(wǎng)絡(luò)的核心部分，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)最精華的部分。由于它可以實現(xiàn)輸入和輸出的任意非線性映射，這使得它在諸如函數(shù)逼近、模式識別、數(shù)據(jù)壓縮等領(lǐng)域有廣泛的應(yīng)用。BP網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程由兩部分組成，即網(wǎng)絡(luò)輸入信

5、號正向傳播和誤差信號反向傳播，按有導(dǎo)師學(xué)習(xí)方式進行訓(xùn)練。在正向傳播中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸在神經(jīng)網(wǎng)絡(luò)的應(yīng)用過程中，由于被逼近樣本的性質(zhì)不能精確知道，因此即使在網(wǎng)絡(luò)誤差為零的條件下，也未必能保證達到要求。往往會出現(xiàn)非常小，而卻無法1E2E1E2E滿足要求。這就是所謂的“過擬合”現(xiàn)象，“過擬合”現(xiàn)象直接影響網(wǎng)絡(luò)的泛化能力[77]，使得網(wǎng)絡(luò)最終失去實用價值。網(wǎng)絡(luò)的泛化能力由以下幾個因素影響：1取決樣本的特性，只有當(dāng)訓(xùn)練樣本足

6、以表征所研究問題的一些主要的或基本特性時，網(wǎng)絡(luò)通過合理的學(xué)習(xí)機制可以使其具有泛化能力，合理的采樣結(jié)構(gòu)是網(wǎng)絡(luò)具有泛化能力的必要條件（參考文獻78）。2網(wǎng)絡(luò)自身的因素影響，如網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)初始權(quán)值的設(shè)定和網(wǎng)絡(luò)的學(xué)習(xí)算法等。網(wǎng)絡(luò)的結(jié)構(gòu)主要包括：網(wǎng)絡(luò)的隱層數(shù)、各隱層節(jié)點的個數(shù)和隱節(jié)點激活函數(shù)的特性(本文主要從網(wǎng)絡(luò)的自身因素考慮如何有效提高網(wǎng)絡(luò)的泛化能力)，以下從這幾個方面說明原因：①Funahashi證明（參考文獻79），當(dāng)隱層節(jié)點函數(shù)為單調(diào)遞

7、增連續(xù)函數(shù)時，三層前向網(wǎng)絡(luò)具有以任意精度逼近定義在緊致子集上的任意非線性函數(shù)的能力，Hni（參考文獻80~81）和陳天平（參考文獻82）進一步證明隱層節(jié)點函數(shù)有界是必要的，單調(diào)遞增的條件是非必要。這說明采用三層BP網(wǎng)絡(luò)，隱節(jié)點函數(shù)為Sigmoid函數(shù)，輸出節(jié)點函數(shù)采用線性函數(shù)，完全可以達到網(wǎng)絡(luò)逼近的要求。文獻[77]認為，“過擬合”現(xiàn)象是網(wǎng)絡(luò)隱節(jié)點過多的必然結(jié)果，它的出現(xiàn)影響了網(wǎng)絡(luò)的泛化能力，同時文獻[83]也進一步提到，在滿足精度的要

8、求下，逼近函數(shù)的階數(shù)越少越好，低階逼近可以有效防止“過擬合”現(xiàn)象，從而提高網(wǎng)絡(luò)的預(yù)測能力，反映到多層前向神經(jīng)網(wǎng)絡(luò)中，就是在精度滿足的要求下，網(wǎng)絡(luò)的隱節(jié)點數(shù)越少越好。但是在實際應(yīng)用中，還沒有一套成熟的理論方法來確定網(wǎng)絡(luò)的隱節(jié)點，隱節(jié)點的確定基本上依賴經(jīng)驗，主要式采用遞增或遞減的試探方法來確定的網(wǎng)絡(luò)隱節(jié)點。②網(wǎng)絡(luò)的初始權(quán)值的選擇缺乏依據(jù)，具有很大的隨機性，這也在很大程度上影響網(wǎng)絡(luò)的泛化能力（參考文獻84~85）。神經(jīng)網(wǎng)絡(luò)連接權(quán)值的整體分布包

9、含著神經(jīng)網(wǎng)絡(luò)系統(tǒng)的全部知識，傳統(tǒng)的權(quán)值獲取方法都是隨機給定一組初始的權(quán)值，然后是采用某個確定的變化規(guī)則，在訓(xùn)練中逐步調(diào)整，最終得到一個較好權(quán)值分布。由于BP算法是基于梯度下降方法，不同的初始權(quán)值可能會導(dǎo)致完全不同的結(jié)果。一旦取值不當(dāng)，就會引起網(wǎng)絡(luò)振蕩或不收斂，即使收斂也會導(dǎo)致訓(xùn)練時間增長，再加之實際問題往往是極其復(fù)雜的多維曲面，存在多個局部極值點，使得BP算法極易陷入局部極值點。這些導(dǎo)致BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間過長而最終得不到適當(dāng)?shù)臋?quán)值分布

10、，從而影響網(wǎng)絡(luò)的泛化能力，極大的限制了神經(jīng)網(wǎng)絡(luò)在實際預(yù)報中的應(yīng)用。③BP神經(jīng)網(wǎng)絡(luò)算法收斂慢，即使一個相當(dāng)簡單的問題求解，其訓(xùn)練次數(shù)也要幾百或幾千次迭代。而且網(wǎng)絡(luò)對各種參數(shù)（包括初始權(quán)值、學(xué)習(xí)速率、動量參數(shù)）極為敏感，稍小的變動就會引起擬合和泛化能力的振蕩，在反復(fù)實驗中確定各種參數(shù)，這樣的過度訓(xùn)練會提高網(wǎng)絡(luò)的擬合能力，同時也擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣本中沒有代表行的特征，最終導(dǎo)致過擬合現(xiàn)象（參考文獻86），從而影響網(wǎng)絡(luò)的泛化能力，限制