采用導(dǎo)數(shù)約束關(guān)系的前向神經(jīng)網(wǎng)絡(luò)學習優(yōu)化方法研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)以人的大腦工作模式為基礎(chǔ)，通過大量神經(jīng)元的相互作用來體現(xiàn)處理能力。人工神經(jīng)網(wǎng)絡(luò)最重要的特點就是學習能力。從本質(zhì)上講，人工神經(jīng)網(wǎng)絡(luò)的學習過程是一個優(yōu)化的過程，即根據(jù)具體的誤差信息來合理地選擇網(wǎng)絡(luò)的權(quán)重。 目前，人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化學習算法，僅利用網(wǎng)絡(luò)的輸出數(shù)據(jù)誤差作為指導(dǎo)信息來進行網(wǎng)絡(luò)訓練，而沒有有效引入樣本點數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系誤差來指導(dǎo)網(wǎng)絡(luò)訓練，導(dǎo)致網(wǎng)絡(luò)泛化能力差、實用性不大。單純將輸出數(shù)據(jù)誤差最小作為標準來指導(dǎo)網(wǎng)絡(luò)進

2、行訓練，其本質(zhì)只是對樣本數(shù)據(jù)精確插值，而這樣的插值是非光滑的，從而對非樣本數(shù)據(jù)產(chǎn)生較大誤差。因此，在網(wǎng)絡(luò)訓練過程中，除了考慮樣本數(shù)據(jù)所提供的信息外，還應(yīng)考慮樣本數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，并把這些關(guān)系轉(zhuǎn)化為約束形式引入到網(wǎng)絡(luò)學習優(yōu)化過程當中。 在網(wǎng)絡(luò)模型的輸入與輸出關(guān)系的建立中，最重要的指導(dǎo)信息是輸入與輸出之間的導(dǎo)數(shù)關(guān)系，只有正確建立了這種導(dǎo)數(shù)關(guān)系才能建立輸入與輸出之間正確的數(shù)值對應(yīng)關(guān)系。本文以神經(jīng)網(wǎng)絡(luò)學習優(yōu)化為主線，以提高神經(jīng)網(wǎng)絡(luò)訓練速