32 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

1、3.2 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,概述,BP算法是人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的算法，但是存在著一些缺陷：一是學(xué)習(xí)收斂速度太慢；二是不能保證收斂到全局最小點(diǎn)；三是網(wǎng)絡(luò)結(jié)構(gòu)不易確定。 BP算法優(yōu)化后仍存在一定的問(wèn)題網(wǎng)絡(luò)結(jié)構(gòu)確定初始連接權(quán)值選取閾值的選擇遺傳算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)優(yōu)化人工神經(jīng)網(wǎng)絡(luò)(ANN)的結(jié)構(gòu)，學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的權(quán)值，也就是用遺傳算法取代一些傳統(tǒng)的學(xué)習(xí)算法。,概述,遺傳算法（Genetic Algorith

2、m， GA）是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過(guò)程的計(jì)算模型。由美國(guó)密執(zhí)根(Michigan)大學(xué)的J.Holland教授于1975年首先提出。,Hello,I’m John Holland,3.2.2 遺傳算法簡(jiǎn)介,算法原理首先將問(wèn)題求解表示成基因型（如常用的二進(jìn)制編碼串），從中選取適應(yīng)環(huán)境的個(gè)體，淘汰不好的個(gè)體，把保留下來(lái)的個(gè)體復(fù)制再生，通過(guò)交叉、變異等遺傳算子產(chǎn)生新一染色體群。依據(jù)各種收斂條件，從新老群體中選出適

3、應(yīng)環(huán)境的個(gè)體，一代一代不斷進(jìn)步，最后收斂到適應(yīng)環(huán)境個(gè)體上，求得問(wèn)題最優(yōu)解,3.2.2 遺傳算法簡(jiǎn)介,生物遺傳學(xué)概念與遺傳算法中概念的對(duì)應(yīng)關(guān)系,3.2.2 遺傳算法簡(jiǎn)介,算法步驟1.隨機(jī)產(chǎn)生一定數(shù)目的初始個(gè)體（染色體）這些隨機(jī)產(chǎn)生的染色體組成一個(gè)種群，種群中的染色體數(shù)目稱為種群的規(guī)?；虼笮。╬op-size）。2.用評(píng)價(jià)函數(shù)來(lái)評(píng)價(jià)每個(gè)染色體的優(yōu)劣 染色體對(duì)環(huán)境的適應(yīng)程度（稱為適應(yīng)度），并用作以后遺傳操作的依據(jù)。3.基于適應(yīng)

4、值的選擇策略 從當(dāng)前種群中選取一定的染色體作為新一代的染色體，染色體的適應(yīng)度越高，其被選擇的機(jī)會(huì)越大。4.對(duì)這個(gè)新生成的種群進(jìn)行交叉（交配）操作、變異操作。變異操作的目的使種群中的個(gè)體具有多樣性，防止陷入局部最優(yōu)解，這樣產(chǎn)生的染色體群（種群）稱為后代。5.判斷是否達(dá)到預(yù)定的迭代次數(shù)，是則結(jié)束，否則返回2進(jìn)入下一輪迭代操作,遺傳算法的流程圖,3.2.3 遺傳算法工具箱,編碼和種群生成指令格式：Function[pop]=i

5、nitializega(populationSize,variableBounds,evalFN,evalOps,options)參數(shù)說(shuō)明：pop：隨機(jī)生成的初始種群 populatoinSize：種群大小即種群中個(gè)體的數(shù)目variableBounds：表示變量邊界的矩陣evalFN：適應(yīng)度函數(shù)evalOps：傳給適應(yīng)度函數(shù)的參數(shù)options：選擇編碼形式：1為浮點(diǎn)編碼,0為二進(jìn)制編碼,3.2.3 遺傳算法工具箱,進(jìn)

6、行遺傳操作指令格式：function [x,endPop,bPop,traceInfo]=ga(bounds,evalFN,evalOps,startPop,opts, termFN,termOps,selectFN,selectOps,xOverFNs,xOverOps,mutFNs,mutOps)參數(shù)說(shuō)明：（1）輸出參數(shù)X：求得的最優(yōu)解 end

7、Pop：得到的最終種群bPop：最優(yōu)種群的搜索軌跡traceInfo：每代的最優(yōu)值和均值矩陣 （2）輸入?yún)?shù)Bounds：代表變量上下界的矩陣startPop：可以從初始化函數(shù)中得到的初始解矩陣evalFN：適應(yīng)度函數(shù)termFN：終止函數(shù)的名稱termOps：終止函數(shù)的參數(shù)selectFN：選擇函數(shù)名selectOpts：選擇參數(shù)xOverFNS：交叉函數(shù)名 xOverOps：交叉參數(shù)mutFNs：變異函數(shù)名

8、mutOps：變異參數(shù),3.2.4 用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)過(guò)程,以2.3.2中的BP網(wǎng)絡(luò)為例，其遺傳算法學(xué)習(xí)權(quán)值步驟如下1）初始化種群P 包括交叉規(guī)模、交叉概率Pc、突變概率Pm以及權(quán)值初始化 2）計(jì)算每一個(gè)個(gè)體評(píng)價(jià)函數(shù)，并將其排序，可按下式概率值選擇網(wǎng)絡(luò)個(gè)體 為個(gè)體 的適應(yīng)度，可用誤差平方和來(lái)衡量，即 以交叉概率Pc對(duì)個(gè)體 和 進(jìn)行交叉操作，產(chǎn)生新個(gè)體 和 ，沒(méi)有進(jìn)行交叉操作的個(gè)體直

9、接進(jìn)行復(fù)制。,,,,,,,,,3.2.4 用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)過(guò)程,4）利用變異概率Pm突變產(chǎn)生 的新個(gè)體 。5）將新個(gè)體插入到種群P中，并計(jì)算新個(gè)體的評(píng)價(jià)函數(shù)。6）判斷算法是否結(jié)束。如果找到了滿意的個(gè)體或已經(jīng)達(dá)到最大的迭代次數(shù)則結(jié)束，否則轉(zhuǎn)3）進(jìn)入下一輪迭代。算法結(jié)束，如達(dá)到預(yù)先設(shè)定的性能指標(biāo)后，將最終群體中的最優(yōu)個(gè)體解碼即可得到優(yōu)化后的網(wǎng)絡(luò)連接權(quán)值系數(shù)。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)請(qǐng)參閱4.5