BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題的分析研究.pdf

1、機(jī)器學(xué)習(xí)的任務(wù)是設(shè)計某種方法和模型,通過對已知數(shù)據(jù)的學(xué)習(xí),找到數(shù)據(jù)間內(nèi)在的相互依賴關(guān)系,從而對未知數(shù)據(jù)進(jìn)行預(yù)測和判斷。人工神經(jīng)網(wǎng)絡(luò)是重要的機(jī)器學(xué)習(xí)方法之一,其中BP神經(jīng)網(wǎng)絡(luò)是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一,本文以BP神經(jīng)網(wǎng)絡(luò)為研究對象,提出了一種新的學(xué)習(xí)率自適應(yīng)算法,并且對其學(xué)習(xí)問題進(jìn)行分析研究,把神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)作為研究重點(diǎn)。
　　BP算法實(shí)質(zhì)上是通過梯度下降法反復(fù)迭代得到神經(jīng)網(wǎng)絡(luò)權(quán)值的最終解,而神經(jīng)網(wǎng)絡(luò)權(quán)值的解存在某一解的區(qū)域

2、,如果訓(xùn)練樣本的誤差很大,說明神經(jīng)網(wǎng)絡(luò)權(quán)值的最終解通過梯度下降法的迭代并沒有達(dá)到解的區(qū)域,此時出現(xiàn)欠學(xué)習(xí)現(xiàn)象;如果訓(xùn)練樣本的誤差很小,神經(jīng)網(wǎng)絡(luò)權(quán)值的解到達(dá)了解區(qū),但是處于解區(qū)中央部分的權(quán)向量更可靠些,否則會出現(xiàn)過學(xué)習(xí)現(xiàn)象。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力與推廣能力之間有很大的關(guān)系,神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的影響可以從偏差與方置的觀點(diǎn)進(jìn)行解釋,而BP神經(jīng)網(wǎng)絡(luò)權(quán)值解的過程即神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程還與權(quán)值的初始值、樣本質(zhì)量、樣本數(shù)量、誤差函數(shù)、學(xué)

3、習(xí)步長這些因素有關(guān),對于影響學(xué)習(xí)能力各個因素耦合關(guān)系的定量描述,國內(nèi)外還尚未出現(xiàn),本文提出的觀點(diǎn)是從神經(jīng)網(wǎng)絡(luò)解的軌跡出發(fā),得到影響神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的各個因素關(guān)系式,進(jìn)而得到欠學(xué)習(xí)與過學(xué)習(xí)的定量描述,才能根本上解決欠學(xué)習(xí)與過學(xué)習(xí)問題。
　　BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)通常以均方誤差(MSE)函數(shù)為目標(biāo)函數(shù),它的應(yīng)用條件之一為目標(biāo)變量被限定服從高斯分布,否則其結(jié)果可能偏離真正最優(yōu)。零誤差密度最大(Z-EDM)算法利用非參數(shù)估計中的Parzen窗

4、法得到誤差在零點(diǎn)的概率密度函數(shù)(Z-ED),作為BP網(wǎng)絡(luò)的目標(biāo)函數(shù)。本文通過研究分析可知此目標(biāo)函數(shù)通過整定參數(shù)h,適用于目標(biāo)變量服從任何分布,是能夠模擬均方誤差函數(shù)及交叉熵函數(shù)性能的原因,更適合作為BP網(wǎng)絡(luò)的目標(biāo)函數(shù),仿真結(jié)果驗(yàn)證了這個結(jié)論。同時本文通過分析指出參數(shù)h的確定方向?yàn)橥ㄟ^調(diào)整參數(shù)h,零誤差函數(shù)準(zhǔn)則能夠準(zhǔn)確描述樣本誤差的概率密度函數(shù)。
　　均方誤差函數(shù)中每個樣本誤差所占的比重是相同的,過于重視誤差較大的點(diǎn),抗干擾能力弱,