前饋神經(jīng)網(wǎng)絡參數(shù)和結構的優(yōu)化策略研究.pdf

1、利用神經(jīng)網(wǎng)絡求解各種應用問題就是利用網(wǎng)絡中神經(jīng)元的協(xié)同并行計算能力將實際問題的優(yōu)化解與神經(jīng)網(wǎng)絡的穩(wěn)定狀態(tài)相對應,把對實際問題的優(yōu)化過程映射為神經(jīng)網(wǎng)絡系統(tǒng)的演化過程.但是隨著應用問題的規(guī)模和復雜度越來越大,單一的優(yōu)化算法效果往往不夠理想,而且其性能改進程度有限.基于這種現(xiàn)狀,算法混合的思想已經(jīng)發(fā)展成為提高算法優(yōu)化性能的一個重要且有效的途徑,其出發(fā)點就是使各種單一算法相互取長補短,以產(chǎn)生更好的優(yōu)化效率.通過這種方式可以大大提高神經(jīng)網(wǎng)絡解決實

2、際問題的能力和效率.本文系統(tǒng)地研究了前饋神經(jīng)網(wǎng)絡學習的誤差反向傳播算法、模擬退火算法和遺傳算法,分析了它們各自的特點,并對這些算法的優(yōu)化性能進行了分析和比較.給出了一種新型自適應遞階遺傳算法(HGA)的實現(xiàn)形式,從而為解決長期以來無法同時對神經(jīng)網(wǎng)絡拓撲結構進行優(yōu)化的問題提供了一個新思路.HGA模擬了自然界的生物結構和進化機制,具有很強的結構表示能力和全局尋優(yōu)能力.由于其采用了二進制編碼和浮點數(shù)編碼相結合的混合編碼方法,可以在對網(wǎng)絡權重(

3、包括節(jié)點閾值)優(yōu)化求解的同時對神經(jīng)網(wǎng)絡的拓撲結構進行優(yōu)化,具有較高的學習效率.而在遺傳過程中采用自適應的交叉和變異概率能有效加快遺傳速度和避免早熟現(xiàn)象的出現(xiàn).數(shù)值仿真研究結果表明,HGA確實具有良好的優(yōu)化性能.此外,本文還對BP+SA和HGA+BP兩種混合優(yōu)化策略進行了系統(tǒng)研究.在BP+SA混合優(yōu)化策略中,根據(jù)BP算法的梯度尋優(yōu)和SA算法概率突跳的特點,采用以BP算法為主框架并在學習過程中引入SA策略,這樣既利用了基于梯度下降的有指導學

4、習來提高局部搜索性能,也利用了SA的概率突跳性來實現(xiàn)最終的全局收斂.在HGA+BP混合優(yōu)化策略中,通過在HGA算法中融入BP操作可以在對網(wǎng)絡結構進行優(yōu)化的同時,充分利用GA的全局尋優(yōu)能力在大范圍內搜索可能的極值區(qū)域,并利用BP算法沿誤差最速下降方向在極值點附近快速搜索,從而達到全局最優(yōu)和快速搜索的有機結合.HGA+BP混合優(yōu)化策略在網(wǎng)絡的逼近精度、泛化能力和網(wǎng)絡模型復雜度方面得到了滿意的折衷.通過對混沌時序信號的預測,表明了混合優(yōu)化策略