前饋神經(jīng)網(wǎng)絡梯度訓練算法的幾個收斂性結(jié)果.pdf

1、近年來神經(jīng)網(wǎng)絡在許多領域都得到了廣泛的應用.前饋神經(jīng)網(wǎng)絡是一種構(gòu)造簡單而應用廣泛的神經(jīng)網(wǎng)絡模型，其主要的訓練算法是梯度法.為了提高算法的訓練性能，人們對梯度算法作了各種改進，例如：加入懲罰項來提高網(wǎng)絡的泛化能力，加入動量項來加快算法的訓練速度并幫助跳出局部極小，引入復數(shù)值神經(jīng)網(wǎng)絡和相應的梯度算法來處理復數(shù)值信號等.如何從理論上對這些改進算法的性質(zhì)(特別是收斂性)進行分析，成為神經(jīng)網(wǎng)絡領域的一個重要研究課題.本文主要研究了用于訓練前饋神經(jīng)

2、網(wǎng)絡的一些梯度算法的收斂性，并提出了一種自適應確定帶動量項BP算法中動量因子的方法.具體地，本論文包括以下內(nèi)容： 1.在現(xiàn)有的關于訓練前饋神經(jīng)網(wǎng)絡的在線梯度算法的文獻中，大部分收斂性結(jié)果需要假設網(wǎng)絡權(quán)值有界.而這一假設在網(wǎng)絡實際訓練中是難以驗證的.即使在沒有這一假設的文獻中，也需要額外的更加難以驗證的條件.一個自然的結(jié)果是：帶有懲罰項的前饋神經(jīng)網(wǎng)絡梯度訓練算法可以保證網(wǎng)絡權(quán)值有界.但是這一結(jié)果在相關文獻中并沒有嚴格的證明.為了填

3、補這一理論空白，本文首先嚴格證明了帶懲罰的在線梯度算法在訓練具有sigmoid輸出和線性輸出前饋神經(jīng)網(wǎng)絡時的權(quán)值有界性(同時利用隨機逼近理論，證明了相關算法的收斂性)，然后嚴格證明了帶懲罰項前饋神經(jīng)網(wǎng)絡批處理梯度訓練算法的權(quán)值有界性。 2.通過對訓練復數(shù)值神經(jīng)網(wǎng)絡的批處理梯度算法的研究，本文給出了一個保證誤差函數(shù)單調(diào)下降的學習率的上界，并由此證明了訓練算法的收斂性.這一結(jié)果為實際應用中學習率的合理選取提供了依據(jù).通過進一步研究訓