具有廣義分段線性激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性分析.pdf

1、隨著現(xiàn)代科學(xué)技術(shù)的飛速發(fā)展，人們對(duì)自動(dòng)控制、優(yōu)化計(jì)算等方面的要求日益增長(zhǎng)，對(duì)信息處理的低的智能化水平已經(jīng)不能適應(yīng)時(shí)代的發(fā)展。作為在圖像處理、模式識(shí)別、最優(yōu)化問(wèn)題等領(lǐng)域具有廣泛應(yīng)用背景的動(dòng)力學(xué)系統(tǒng)之一的遞歸神經(jīng)網(wǎng)絡(luò)，其動(dòng)力學(xué)研究是成功應(yīng)用與設(shè)計(jì)的前提。在基于遞歸神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶應(yīng)用中，記憶模式被設(shè)計(jì)為神經(jīng)網(wǎng)絡(luò)的穩(wěn)定平衡點(diǎn)。神經(jīng)網(wǎng)絡(luò)穩(wěn)定平衡點(diǎn)的數(shù)目反應(yīng)了聯(lián)想記憶的存儲(chǔ)容量，穩(wěn)定平衡點(diǎn)的吸引域的大小反應(yīng)了聯(lián)想記憶應(yīng)用中的容錯(cuò)能力。因此，針對(duì)

2、遞歸神經(jīng)網(wǎng)絡(luò)多穩(wěn)定性的研究具有重要的理論價(jià)值和實(shí)際意義。
　　本文針對(duì)幾類(lèi)遞歸神經(jīng)網(wǎng)絡(luò)模型，研究了多個(gè)平衡點(diǎn)的存在性和穩(wěn)定性，分析了穩(wěn)定平衡點(diǎn)的吸引域。本文的主要研究工作如下：
　　1.研究了由兩個(gè)實(shí)值神經(jīng)元組成的具有多階分段線性激活函數(shù)的時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性。首先依據(jù)激活函數(shù)的特性將狀態(tài)空間劃分成(2r+1)2個(gè)子域，提出了在每個(gè)子域中存在一個(gè)平衡點(diǎn)的充分條件。通過(guò)分析(r+1)2個(gè)子域的正不變性，得到了(r+1)2

3、個(gè)平衡點(diǎn)的局部指數(shù)穩(wěn)定性。利用超越方程的特性和Lyapunov直接法，得到了(2r+1)2-(r+1)2-r2個(gè)平衡點(diǎn)的不穩(wěn)定性。通過(guò)分析不穩(wěn)定平衡點(diǎn)所在子域中神經(jīng)元狀態(tài)的運(yùn)行軌跡，得到了穩(wěn)定平衡點(diǎn)的比不變子域更大的吸引域。
　　2.針對(duì)帶有常時(shí)滯和多階分段線性激活函數(shù)的實(shí)值環(huán)狀遞歸神經(jīng)網(wǎng)絡(luò)模型，通過(guò)劃分狀態(tài)空間和介值原理提出了神經(jīng)網(wǎng)絡(luò)存在多個(gè)平衡點(diǎn)的充分條件，研究了時(shí)滯環(huán)狀遞歸神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的特征方程的純虛根的數(shù)目和穿越方向，分

4、析了所有平衡點(diǎn)的穩(wěn)定性，其中(r+1)n個(gè)平衡點(diǎn)是局部穩(wěn)定的，(2r+1)n-(r+1)n個(gè)平衡點(diǎn)是不穩(wěn)定的。
　　3.考慮了右端不連續(xù)實(shí)值遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性。首先給出了時(shí)變時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的右端不連續(xù)微分系統(tǒng)在Filippov意義下解的定義，利用不動(dòng)點(diǎn)原理，提出了時(shí)滯神經(jīng)網(wǎng)絡(luò)存在rn個(gè)平衡點(diǎn)的充分條件，分析了這些平衡點(diǎn)的局部指數(shù)穩(wěn)定性，估計(jì)了穩(wěn)定平衡點(diǎn)的吸引域范圍。其次，針對(duì)無(wú)時(shí)滯的右端不連續(xù)實(shí)值遞歸神經(jīng)網(wǎng)絡(luò)，研究了平衡

5、點(diǎn)集的存在性和穩(wěn)定性。
　　4.對(duì)帶有常時(shí)滯的實(shí)值雙向聯(lián)想記憶遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性進(jìn)行了分析，其中激活函數(shù)為具有多個(gè)間斷點(diǎn)的右端不連續(xù)函數(shù)。首先給出了雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的右端不連續(xù)微分系統(tǒng)在Filippov意義下解的定義，提出了神經(jīng)網(wǎng)絡(luò)存在rn個(gè)平衡點(diǎn)的充分條件。利用指數(shù)穩(wěn)定性定義分析了這些平衡點(diǎn)的局部指數(shù)穩(wěn)定性，并指出了穩(wěn)定平衡點(diǎn)的吸引域。當(dāng)神經(jīng)網(wǎng)絡(luò)的外部輸入為周期輸入時(shí)，利用壓縮映射原理，提出了神經(jīng)網(wǎng)絡(luò)存在rn個(gè)局部指

6、數(shù)穩(wěn)定的周期解的充分條件。
　　5.針對(duì)n維復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)模型，提出了一類(lèi)實(shí)虛型分段線性激活函數(shù)。這類(lèi)激活函數(shù)的實(shí)部和虛部分別為α階分段線性激活函數(shù)和β階分段線性激活函數(shù)。首先將復(fù)數(shù)域劃分成[(2α+1)(2β+1)]n個(gè)子域，得到了每個(gè)子域中存在一個(gè)平衡點(diǎn)的充分條件。利用指數(shù)穩(wěn)定性定義和Lyapunov直接法分析了所有平衡點(diǎn)的穩(wěn)定性，其中[（α+1）（β+1）]n個(gè)平衡點(diǎn)是局部指數(shù)穩(wěn)定的，其他的平衡點(diǎn)是不穩(wěn)定的。利用狀態(tài)空間中

7、神經(jīng)網(wǎng)絡(luò)狀態(tài)運(yùn)行的軌跡估計(jì)了穩(wěn)定平衡點(diǎn)的吸引域。此外，針對(duì)具有一個(gè)復(fù)值神經(jīng)元的遞歸神經(jīng)網(wǎng)絡(luò)，分析了一維復(fù)數(shù)域中神經(jīng)元狀態(tài)的運(yùn)行軌跡，建立了穩(wěn)定平衡點(diǎn)的完整的吸引域。
　　6.研究了帶有右端不連續(xù)實(shí)虛型激活函數(shù)的復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性，其中激活函數(shù)的實(shí)部和虛部分別為具有α-1個(gè)間斷點(diǎn)的右端不連續(xù)函數(shù)和具有β-1個(gè)間斷點(diǎn)的右端不連續(xù)函數(shù)。給出了Filippov意義下復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的右端不連續(xù)系統(tǒng)的解的定義。通過(guò)劃分狀態(tài)空間