人工神經(jīng)網(wǎng)絡(luò)緒論

1、1,張　凱 副教授,武漢科技大學(xué) 計算機學(xué)院,人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network),2,第一章 神經(jīng)網(wǎng)絡(luò)概述,,1. 人工智能與神經(jīng)網(wǎng)絡(luò),,2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念,,3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史,,4. 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域,人工智能,人工智能（Artificial Intelligence，簡記為AI）最初在1956年被引入。它研究怎樣讓計算機模仿人腦從事推理、設(shè)計、思考、學(xué)習(xí)等思維

2、活動，以解決和處理較復(fù)雜的問題。,智能的概念,智能是個體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。人類個體的智能是一種綜合能力。研究人工智能的目的模擬人的智能，將人類從復(fù)雜的腦力勞動中解脫出來,4,,感覺器官,神經(jīng)系統(tǒng),認知,效應(yīng)器官,外部世界,,,,,,,,決策,神經(jīng)系統(tǒng),思維器官,典型的 “智力生成過程”,,信息獲取,信息傳遞,信息認知,信息執(zhí)行,外部世界,,,,,

3、,,,信息再生,信息傳遞,認識論信息,知識,智能策略,狹義智能,本體論信息,認識論信息,智能策略,智能行為,人類智力的信息本質(zhì),人工智能,7,1.感知與認識客觀事物、客觀世界和自我的能力2.通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力3.理解知識，運用知識和經(jīng)驗分析、解決問題的能力4.聯(lián)想、推理、判斷、決策的能力5.運用語言進行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測、洞察事物發(fā)

4、展變化的能力,人工神經(jīng)網(wǎng)絡(luò)的提出,智能可以包含8個方面感知與認識客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)——最基本的能力 通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識，運用知識和經(jīng)驗分析、解決問題的能力這一能力可以算作是智能的高級形式。是人類對世界進行適當?shù)母脑欤苿由鐣粩喟l(fā)展的基本能力。,2024/3/21,9,人工神經(jīng)網(wǎng)絡(luò)的提出,聯(lián)想、推理、判斷、決策語言的能力這是智能的高

5、級形式的又一方面。預(yù)測和認識“主動”和“被動”之分。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎(chǔ)。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力,2024/3/21,10,人工神經(jīng)網(wǎng)絡(luò)的提出,作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測、洞察事物發(fā)展、變化的能力,人工神經(jīng)網(wǎng)絡(luò)從以下四個方面去模擬人的智能行為,1. 物理結(jié)構(gòu)：人工神經(jīng)元將模

6、擬生物神經(jīng)元的功能2. 計算模擬 ：人腦的神經(jīng)元有局部計算和存儲的功能，通過連接構(gòu)成一個系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M行大規(guī)模并行處理3.存儲與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強度來實現(xiàn)記憶存儲功能，同時為概括、類比、推廣提供有力的支持4. 訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過程，自動從實踐中獲得相關(guān)知識,人工智能,生物神經(jīng)元及其網(wǎng)絡(luò),生物神經(jīng)元

7、及其網(wǎng)絡(luò),生物神經(jīng)元及其網(wǎng)絡(luò),人工神經(jīng)元及其網(wǎng)絡(luò),人工神經(jīng)元及其網(wǎng)絡(luò),2024/3/21,17,人工神經(jīng)網(wǎng)絡(luò)的概念,定義(1) Hecht—Nielsen（1988年）,人工神經(jīng)網(wǎng)絡(luò)的概念,人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PE—Processing Element）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)

8、的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化。,人工神經(jīng)網(wǎng)絡(luò)的概念,處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。,2024/3/21,20,人工神經(jīng)網(wǎng)絡(luò)的概念,強調(diào)：① 并行、分布處理結(jié)構(gòu)；② 一個處理單元的輸出可以被任意分枝，且

9、 大小不變；③ 輸出信號可以是任意的數(shù)學(xué)模型；④ 處理單元完全的局部操作,人工神經(jīng)網(wǎng)絡(luò)的概念,定義(2) Rumellhart，McClelland，Hinton,人工神經(jīng)網(wǎng)絡(luò)的概念,1）  一組處理單元（PE或AN）；2）  處理單元的激活狀態(tài)（ai）；3）  每個處理單元的輸出函數(shù)（fi）；4）  處理單元之間的聯(lián)接模式；5）  傳遞規(guī)則（∑wijoi）；6）&#

10、160; 把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激 活值的激活規(guī)則（Fi）；7）  通過經(jīng)驗修改聯(lián)接強度的學(xué)習(xí)規(guī)則；8）  系統(tǒng)運行的環(huán)境（樣本集合）。,2024/3/21,23,人工神經(jīng)網(wǎng)絡(luò)的概念,Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。,什么是神經(jīng)網(wǎng)絡(luò),由多個非常簡單的處理單元彼

11、此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。一種由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及其各單元的處理方式是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng),24,神經(jīng)網(wǎng)絡(luò)的計算能力有以下優(yōu)點：(1)大規(guī)模并行分布式結(jié)構(gòu)(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出,25,神經(jīng)網(wǎng)絡(luò)的優(yōu)點,

12、非線性 人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射 每個樣本由一個惟一的輸入信號和相應(yīng)期望響應(yīng)組成。從一個訓(xùn)練集中隨機選取一個樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號以適當?shù)慕y(tǒng)計準則產(chǎn)生的實際響應(yīng)之間的偏差。,神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力,適應(yīng)性　　神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。VLSI(超大規(guī)模集

13、成)實現(xiàn)　　神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于VLSI技術(shù)實現(xiàn)。神經(jīng)生物類比　　神經(jīng)網(wǎng)絡(luò)是由對人腦的類比引發(fā)的，可以用神經(jīng)生物學(xué)來作為解決復(fù)雜問題的新思路。,神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力,神經(jīng)網(wǎng)絡(luò)的分類,從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network) 反饋神經(jīng)網(wǎng)絡(luò)(Feedback Neural Network)從學(xué)習(xí)方式分類 有教師學(xué)

14、習(xí) 無教師學(xué)習(xí),28,,,有教師學(xué)習(xí),事先有一批正確的輸入輸出數(shù)據(jù)對，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(Back Propagation, 簡寫為BP)算法。,29,無教師學(xué)習(xí),自組織學(xué)習(xí)：使網(wǎng)絡(luò)具有某

15、種“記憶”能力，以至形成“條件反射”。當曾經(jīng)學(xué)習(xí)過的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(Self Organization Mapping, 簡寫為SOM)算法。無監(jiān)督競爭學(xué)習(xí)：將處理單元劃分為幾個競爭塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點之間有抑制連接，從而當外界對不同塊的一個單元施加刺激后，將激活不同塊中互聯(lián)最強的一組單元，得到對該刺激的一個整體回憶。,神經(jīng)網(wǎng)絡(luò)發(fā)展的四個時期啟蒙時期（18

16、90～1969）低潮時期（1969～1982）復(fù)興時期（1982～1986）高潮時期（1987～ ）,31,從19世紀末開始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計算機科學(xué)以及人工智能學(xué)之間的聯(lián)系。,人工神經(jīng)網(wǎng)絡(luò)的研究歷史,1890年，美國心理學(xué)家William James發(fā)表了第一部詳細論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(Principles of Psychology)，對相關(guān)學(xué)習(xí)、聯(lián)想記

17、憶的基本原理做了開創(chuàng)性研究。,32,啟蒙時期,33,啟蒙時期,1943，心理學(xué)家麥克洛奇(McCulloch)和數(shù)理邏輯學(xué)家皮茲(Pitts)從信息處理的角度出發(fā)，提出了形似神經(jīng)元的著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《Bulletin of Methematical Biophysics》，從此開創(chuàng)了神經(jīng)科學(xué)理論的新時代。,啟蒙時期,這種單個神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)可以實現(xiàn)邏輯運算，包括三種基本

18、運算：邏輯乘法(又稱“與”運算)、邏輯加法(又稱“或”運算)和邏輯否定(又稱“非”運算)。它開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。,2024/3/21,34,35,啟蒙時期,1949年，心理學(xué)家赫布（Hebb）在《行為構(gòu)成》（Organization of Behavior）一書中提出了連接權(quán)訓(xùn)練算法，即Hebb算法。,啟蒙時期,Hebb提出神經(jīng)元之間突觸聯(lián)系強度可變的假設(shè)。他認為學(xué)習(xí)過程是在突觸上

19、發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。根據(jù)這一假說提出了改變神經(jīng)元連接強度的Hebb規(guī)則。它對以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。Hebb的學(xué)習(xí)算法在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。,2024/3/21,36,啟蒙時期,1957年，羅森布蘭特(Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。,啟蒙時期,Rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實踐。這是一

20、種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機連接，這符合動物學(xué)習(xí)的自然環(huán)境。這是第一個真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。,啟蒙時期,1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng)線性單元（Adaline），這是一個連續(xù)取值的線性網(wǎng)絡(luò)。,Ted Hoff,Bernard Widrow,2024/3/2

21、1,40,啟蒙時期,Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器(Perceptron)?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。,低潮時期,1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了《感知器》一書，對感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)

22、的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。,低潮時期,60年代末，美國著名人工智能學(xué)者Minsky和Papart對Rosenblatt的工作進行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對于非線性或其他分類會遇到很大的困難。這時應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個有效的學(xué)習(xí)算法非常困難，Minsky斷言這種感知器無科學(xué)研究價值可言，包括多層的也沒有什么意義。,2

23、024/3/21,42,低潮時期,匯編語言中 xor eax, eax1   xor   1   =   0     因為1和1相同 0   xor   0   =   0     因為0和0相同 1   xor   0   = 

24、0; 1     因為1和0不同 0   xor   1   =   1     因為1和0不同初始化清 0。速度比賦值快。,低潮時期,一、交換兩個整數(shù)的值而不必用第三個參數(shù)二、奇偶判斷三、格雷碼(Gray code) 格雷碼(Gray code)是由貝爾實驗室的Frank Gray在1940年提出，用于在PCM(Pusle C

25、ode Modulation)方法傳送訊號時防止出錯。四、奇數(shù)分頻電路,低潮時期,這個結(jié)論對當時的神經(jīng)網(wǎng)絡(luò)研究無疑是一個沉重的打擊，客觀上對神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時當時的微電子技術(shù)也無法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。,2024/3/21,45,低潮時期,然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年Grossber

26、g等提出了自適應(yīng)共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展奠定了理論基礎(chǔ)。,2024/3/21,46,47,低潮時期,1969年，美國學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。,低潮時期,ART競爭神經(jīng)網(wǎng)絡(luò)見到一個人。如果我們認識這個人，我們馬上就能知道認識他！該怎么理解呢？其實，大腦已經(jīng)存在

27、了這個人的面孔的印象，看到這個人，我們的大腦有個搜索對比的過程或者說是回憶的過程，如果能夠搜索到（回憶），那么恭喜你，你認出這個人了…相反，如果這個人是陌生人，大腦慘了，搜索了半天，沒有搜到（回憶），罷工了，不認識，還是陌生人，不要生氣，大腦沒有罷工，它已默默將這個人的面孔存儲起來了！如果你后續(xù)跟這個人還有更多聯(lián)系的話，比如再見面或者一起說話、交往，大腦對這個人的記憶會逐漸加強！實際生活中，我們會有對某個人好像在哪兒見過面的感覺，其實這

28、種感覺正是大腦對這個人的記憶還不夠強烈所產(chǎn)生的！,49,低潮時期,1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。,50,低潮時期,腦科學(xué)的研究表明，人類大腦皮層中的細胞群存在著廣泛地自組織現(xiàn)象。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對不同感官輸入模式的輸入信號具有敏感性，從而形成大腦中各種不同的感知路徑。并且這種神經(jīng)元所具有的特性不是完全來自生物遺傳，而是很大程度上依賴于后天的

29、學(xué)習(xí)和訓(xùn)練。,低潮時期,自組織映射網(wǎng)絡(luò)(Self-Organizing Feature Maps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。Kohonen認為處于空間中不同區(qū)域的神經(jīng)元有不同的分工,當一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時,將會分為不同的反應(yīng)區(qū)域,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競爭型神經(jīng)網(wǎng)絡(luò)，采用無監(jiān)督學(xué)習(xí)算法進行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛

30、地應(yīng)用于樣本分類、排序和樣本檢測方面。,低潮時期,1979年，福島邦彥（Fukushima）提出了認知機（Necognitron）理論。,認知機(Neocognitron)由Fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過無導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點是參數(shù)不易選擇。主要用于字符識別。,低潮時期,1977，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB(Brain-State-

31、in-a-Box)模型。,BSB模型是一種結(jié)點之間存在橫向連接和結(jié)點自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲任何模擬向量模式。,低潮時期,1974，韋伯斯（Werbos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。,,,,復(fù)興時期,1982年，美國加州工程學(xué)院物理學(xué)家Hopfield在美國科學(xué)院院刊上發(fā)表論文，提出了一個用于聯(lián)想記憶及優(yōu)化計算的新途徑—Hopfield模型, 。,復(fù)興時期,1982年，J. Hopfield提

32、出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上,,復(fù)興時期,1984年對Hopfield模型進行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實現(xiàn)硬件奠定了基礎(chǔ)。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決TSP組合優(yōu)化問題。,復(fù)興時期,Hopfield模型

33、的動作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當給定的興奮模式下尚未達到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個必定減小的能量函數(shù)達到極小值時，狀態(tài)才達到穩(wěn)定而不再變化。,58,復(fù)興時期,1984年，Hopfield設(shè)計并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個神經(jīng)元可以用運算放大器來實現(xiàn)。他同時進行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問題，引起世人震驚。這些成果

34、使對神經(jīng)網(wǎng)絡(luò)的研究重新進入了一個新的興盛時期。,復(fù)興時期,1985年，UCSD的Sejnowsky、Rumelhart、Hinton等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。,復(fù)興時期,1986年，Rumelhart和McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。,歷史總結(jié),神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷

35、史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。,2024/3/21,62,歷史總結(jié),上世紀40年代興奮與抑制型神經(jīng)元模型（Mcculloch，Pitts）神經(jīng)元連接強度的修改規(guī)則（Hebb）上世紀50年代、60年代感知機（Rosenblatt）和自適應(yīng)性元件（Widrow）上世紀70年代Perceptron一書出版（Minsky和Papert）研究處于低潮上世紀80年代后Rumelhart，Mcc

36、lelland以及Hopfield等取得突破性進展,(1)開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。(2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法(3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。(4)進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。,新時期研究熱點問題,理論方面 支持向量機和核方法(SVM and Kernel Methods)

37、 圖模型(Graphical Models) 統(tǒng)計學(xué)習(xí)方法(Statistical Learning Algorithm) 高斯過程（Gaussian Process) 泛化問題和模型選擇(Generalization and Model Selection) 貝葉斯學(xué)習(xí)(Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks)等,65,新時期研究熱點

38、問題,66,實際應(yīng)用 圖象處理(Image Processing) 人臉識別(Face Recognition) 語音信號處理(Voice Processing) 時間序列分析(Time Series Analysis) 機器人控制(Robot Control)等,新時期研究熱點問題,國家自然科學(xué)基金資助,2006年有42項研究課題2005年有40項研究課題2004年有32項研究課題2003年有26項

39、研究課題2002年有26項研究課題2001年有18項研究課題2000年有20項研究課題1999年有22項研究課題,67,神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來越多的國內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個研究熱點和重點。,68,1988年，《Neural Networks》創(chuàng)刊1990年，《IEEE Transactions on Neural Networks》創(chuàng)刊,國際學(xué)術(shù)期刊,《IEEE Trans. on Neural

40、 Networks》,《Neural Networks》,主要內(nèi)容,第一章：引論 智能的概念、智能系統(tǒng)的特點及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點、發(fā)展歷史、及其應(yīng)用領(lǐng)域。,主要內(nèi)容,第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)　　生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓撲特性，存儲類型及映象。,主要內(nèi)容,第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可

41、分問題，要想解決這一問題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法,主要內(nèi)容,第四章 線性神經(jīng)網(wǎng)絡(luò)和LMS算法　　自適應(yīng)線性神經(jīng)元ADALINE(AdaptiveLinear Neuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表,其學(xué)習(xí)算法稱之為 LMS (least mean squares最小均方差)算法或Widrow-Hoff學(xué)習(xí)規(guī)則。,主要內(nèi)容,第五章 BP神經(jīng)網(wǎng)絡(luò) BP（Ｅrror B

42、ack propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進討論；BP網(wǎng)絡(luò)中的幾個重要問題。,主要內(nèi)容,第六章 Hopfield網(wǎng)絡(luò) 離散型Hopfield網(wǎng)絡(luò)和連續(xù)性Hopfield網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計算；用能量函數(shù)評價網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問題(T

43、SP問題) 。,主要內(nèi)容,第七章 Boltzmann機網(wǎng)絡(luò) Boltzmann機將模擬退火算法引入Hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點跳出局部最優(yōu)，而達到全局最優(yōu)化。學(xué)習(xí)以統(tǒng)計學(xué)和概率方法研究隨機神經(jīng)網(wǎng)絡(luò)。,2024/3/21,78,主要內(nèi)容,第八章 自適應(yīng)共振理論 人腦的穩(wěn)定性與可塑性問題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實

44、現(xiàn)；訓(xùn)練討論。,神經(jīng)網(wǎng)絡(luò)的基本特征,神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。1. 結(jié)構(gòu)特征——并行處理、分布式存儲與容錯性2. 能力特征——自學(xué)習(xí)、自組織與自適應(yīng)性,79,2024/3/21,80,學(xué)習(xí)能力(Learning),人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ堋２煌娜斯ど窠?jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練

45、算法,2024/3/21,81,基本特征的自動提取,由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。泛化（Generalization）能力與抽象能力,神經(jīng)網(wǎng)絡(luò)的基本功能,聯(lián)想記憶,82,由于神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是通過其突觸權(quán)值和連接結(jié)

46、構(gòu)來表達信息的記憶。這種分布式存儲使得神經(jīng)網(wǎng)絡(luò)能存儲較多的復(fù)雜模式和恢復(fù)記憶的信息。,聯(lián)想記憶,自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲（記憶）多種模式信息，當輸入某個已存儲模式的部分信息或帶有噪聲干擾的信息時，網(wǎng)絡(luò)能通過動態(tài)聯(lián)想過程回憶起該模式的全部信息。,神經(jīng)網(wǎng)絡(luò)的基本功能,異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲了多個模式對，每一對模式均由兩部分組成，當輸入某個模式對的一部分時，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對應(yīng)的另一部分。,聯(lián)想記憶,

47、神經(jīng)網(wǎng)絡(luò)的基本功能,85,神經(jīng)網(wǎng)絡(luò)的基本功能,86,神經(jīng)網(wǎng)絡(luò)的基本功能,非線性映射,設(shè)計合理的神經(jīng)網(wǎng)絡(luò)通過對系統(tǒng)輸入輸出樣本對進行自動學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。,87,神經(jīng)網(wǎng)絡(luò)的基本功能,非線性映射,88,神經(jīng)網(wǎng)絡(luò)的基本功能,分類與辨識,對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。,89,神經(jīng)網(wǎng)絡(luò)的基本功能,優(yōu)化計算,指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的

48、目標函數(shù)達到最小值。,90,神經(jīng)網(wǎng)絡(luò)的基本功能,知識處理,神經(jīng)網(wǎng)絡(luò)的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過自組織過程加強自身，構(gòu)建適合于表達所發(fā)現(xiàn)的規(guī)律。,信號處理 神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號處理（自適應(yīng)濾波、時間序列預(yù)測等）和非線性信號處理（非線性濾波、非線性預(yù)測等）模式識別 模式識別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神

49、經(jīng)網(wǎng)絡(luò)在這兩個方面都有許多成功的應(yīng)用，例如對圖象、語音的處理以及手寫字的識別等。,ANN應(yīng)用領(lǐng)域—信息領(lǐng)域,數(shù)據(jù)壓縮 神經(jīng)網(wǎng)絡(luò)可以對待傳送（或待存儲）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲），接收（或使用）時再將其轉(zhuǎn)換為原始模式。,92,ANN應(yīng)用領(lǐng)域—信息領(lǐng)域,汽車工程 神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機燃燒系統(tǒng)中。軍事工程 神經(jīng)網(wǎng)絡(luò)已

50、應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域?；瘜W(xué)工程 神經(jīng)網(wǎng)絡(luò)在制藥、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。,ANN應(yīng)用領(lǐng)域—工程領(lǐng)域,水利工程 水力發(fā)電過程辨識和控制、河川徑流預(yù)測、河流水質(zhì)分類、水資源規(guī)劃等實際問題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。,94,ANN應(yīng)用領(lǐng)域—工程領(lǐng)域,檢測數(shù)據(jù)分析 利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測系統(tǒng)可

51、用來提供腦電棘波的實時檢測和癲癇的預(yù)報。生物活性研究 用神經(jīng)網(wǎng)絡(luò)對生物學(xué)檢測數(shù)據(jù)進行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對分子致癌活性進行預(yù)報。醫(yī)學(xué)專家系統(tǒng) 利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來解決醫(yī)學(xué)專家系統(tǒng)中的知識表示、獲取和并行推理等問題。,ANN應(yīng)用領(lǐng)域—醫(yī)學(xué)領(lǐng)域,信貸分析 神經(jīng)網(wǎng)絡(luò)評價系統(tǒng)將公司

52、貸款申請表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實際的信用情況作為輸出評價，用數(shù)以千計的歷史數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練后，可給出準確的評價結(jié)果。市場預(yù)測 神經(jīng)網(wǎng)絡(luò)的市場預(yù)測已經(jīng)廣泛應(yīng)用于股票和期貨價格的預(yù)測中。,ANN應(yīng)用領(lǐng)域—經(jīng)濟學(xué)領(lǐng)域,自動控制是上世紀中形成和發(fā)展起來的一門新興學(xué)科，它是一門涉及到諸如數(shù)學(xué)、計算機、信息、電工、電子等眾多領(lǐng)域的交叉學(xué)科。它的應(yīng)用和影響，已經(jīng)遍及很多的技術(shù)和社會科學(xué)領(lǐng)域。在自動控制發(fā)展的過程中

53、，計算機科學(xué)一直對它產(chǎn)生著巨大的影響。隨著科學(xué)技術(shù)的發(fā)展，對控制系統(tǒng)智能化的要求也越來越高。,97,人工神經(jīng)網(wǎng)絡(luò)與自動控制,神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)滲透到自動化控制領(lǐng)域的各個方面，包括系統(tǒng)辨識、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯控制等。系統(tǒng)辨識 傳統(tǒng)的辨識方法，對于一般的非線性系統(tǒng)的辨識是很困難的，而神經(jīng)網(wǎng)絡(luò)卻為此提供了一個有力的工具。與傳統(tǒng)的基于算法的辨識方法相比，神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識具有如下特點：

54、(1) 由于神經(jīng)網(wǎng)絡(luò)可以任意精度逼近非線性函數(shù)，故它可以為非線性系統(tǒng)的辨識提供一個通用的模式,人工神經(jīng)網(wǎng)絡(luò)與自動控制,(2)神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識是非算法式的，神經(jīng)網(wǎng)絡(luò)本身就是辨識模型，其可調(diào)參數(shù)反映在網(wǎng)絡(luò)內(nèi)部的連接權(quán)上。不需要建立以實際系統(tǒng)數(shù)學(xué)模型為基礎(chǔ)的辨識格式，故可以省去辨識前對系統(tǒng)建模這一步驟。 (3)神經(jīng)網(wǎng)絡(luò)作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現(xiàn)，可應(yīng)用于在線控制。,99,人工神經(jīng)網(wǎng)絡(luò)與自動控制,神經(jīng)控制器

55、 控制器在實施控制系統(tǒng)中起著大腦的作用神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的等智能特點，非常適合做控制器。對于復(fù)雜的非線性系統(tǒng)，神經(jīng)控制器所能達到的控制效果往往明顯好于常規(guī)控制器。故障診斷與容錯控制 神經(jīng)網(wǎng)絡(luò)故障診斷與容錯控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經(jīng)網(wǎng)絡(luò)；另一種是用神經(jīng)網(wǎng)絡(luò)直接構(gòu)成具有容錯能力的控制器。,人工神經(jīng)網(wǎng)絡(luò)與自動控制,《機器學(xué)習(xí)》T. M. Mitchell,駕駛汽車的人工神經(jīng)網(wǎng)

56、絡(luò),人臉識別的人工神經(jīng)網(wǎng)絡(luò),手寫數(shù)字識別的人工神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問題在逼近非線性函數(shù)問題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實時控制的需要，必須予以解決對于控制器和辨識器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無理論指導(dǎo),難點問題,105,參考書目,參考書目,107,參考書目,Simon Haykin著, 葉世偉, 史忠植譯. 神經(jīng)網(wǎng)絡(luò)原理. 機械工業(yè)出版社, 2004

57、George F. Luger著,史忠植等譯. 人工智能——復(fù)雜問題求解的結(jié)構(gòu)和策略. 機械工業(yè)出版社, 中信出版社蔣宗禮. 人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 高等教育出版社，2001胡守仁，余少博，戴葵. 神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 國防科技大學(xué)出版社，1993韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用. 化學(xué)工業(yè)出版社，2002王旭，王宏，王文輝. 人工神經(jīng)元網(wǎng)絡(luò)原理與應(yīng)用. 東北大學(xué)出版社，2000徐麗娜. 神經(jīng)網(wǎng)絡(luò)控制. 哈爾濱工業(yè)大學(xué)出版社，1

58、999閻平凡，張長水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算. 清華大學(xué)出版社，,著名學(xué)者,108,Prof. Michael I. Jordan美國加州大學(xué)伯克利分校 獲加州大學(xué)博士學(xué)位研究方向: 圖模型、變分方法、機器學(xué)習(xí)等。曾在麻省理工學(xué)院工作11年。已發(fā)表200多篇科技論文。國際上許多神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)方面的專家都曾師從Jordan教授，包括香港中文大學(xué)的徐雷教授。,著名學(xué)者,109,Prof. Bernhard Schol

59、kopf德國Max Planck生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位研究方向: 機器學(xué)習(xí)、感知器、支持向量機和核方法。Scholkopf教授是國際著名雜志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machine Intelligence, 和International Journal of Computer V

60、ision編輯委員會成員。,著名學(xué)者,110,Prof. Lawrence Saul加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位研究方向：機器學(xué)習(xí)、模式識別、神經(jīng)網(wǎng)絡(luò)、語音處理等。Saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡已被應(yīng)用于很多實際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進入計算機科學(xué)的前1%，另外他也是著名國際期刊Journal of Machine Learning Research編委會成員

61、和發(fā)起人之一。,著名學(xué)者,111,Prof. Yoshua Bengio加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向: 多層感知機、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的編委。值得一提的是Bengio教授在1994年的一篇著名文

62、章中逆轉(zhuǎn)了遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的研究方向，極大地影響了該網(wǎng)絡(luò)的研究。,著名學(xué)者,112,Prof. Frank L. Lewis美國德克薩斯大學(xué)獲美國喬治亞技術(shù)學(xué)院博士學(xué)位研究方向: 反饋系統(tǒng)控制、神經(jīng)網(wǎng)絡(luò)和模糊智能控制等現(xiàn)任德克薩斯大學(xué)自動化與機器人研究院副院長、IEEE Fellow、International Journal of Control、Neural Computing and Applications等

63、期刊的編委。他共獲得超過6百萬美元的資助，發(fā)表174篇雜志論文，285篇會議論文，12本專著。,著名學(xué)者,113,Christopher M. Bishop微軟劍橋研究院研究方向: 模式識別，基于推理 的概率方法和學(xué)習(xí)Bishop教授是美國電子學(xué)會關(guān)于應(yīng)用神經(jīng)計算中心的帶頭人，是劍橋大學(xué)達爾文學(xué)院的會士(Fellow)，不列顛計算機協(xié)會的會士(Fellow)和英國計算研究委員會成員。200

64、4年當選英國皇家工程院會士(Fellow)。1995年曾出版著名專著《Neural Networks for Pattern Recognition》。,著名學(xué)者,114,Prof. Lei Xu (徐雷)香港中文大學(xué)研究方向: 模式識別、神經(jīng)網(wǎng)絡(luò)、 統(tǒng)計學(xué)習(xí)等現(xiàn)任香港中文大學(xué)講座教授、IEEE Fellow、國際模式識別學(xué)會Fellow、歐洲科學(xué)院院士。已發(fā)表的學(xué)術(shù)論文被引用總量逾130

65、0次，最大單篇被引用量達255(SCI)次。應(yīng)邀在國際主要學(xué)術(shù)大會做大會報告/特邀報告/學(xué)術(shù)講座40余次。曾任國際神經(jīng)網(wǎng)絡(luò)學(xué)會理事、亞太地區(qū)神經(jīng)網(wǎng)絡(luò)學(xué)會主席、IEEE神經(jīng)網(wǎng)絡(luò)學(xué)會計算金融學(xué)術(shù)委員會主任。,著名學(xué)者,115,劉德榮 教授伊利諾大學(xué)芝加哥分校1994年獲美國圣母大學(xué)博士學(xué)位研究方向: 非線性動態(tài)系統(tǒng)、 遞歸神經(jīng)網(wǎng)絡(luò)等。劉教授是該校電機與計算機工程系和計算機科學(xué)系的終身正教授

66、。2005年，他因在非線性動態(tài)系統(tǒng)和遞歸神經(jīng)網(wǎng)絡(luò)方面作出的貢獻而被選為IEEE Fellow。自1992年起, 共發(fā)表40多篇國際學(xué)術(shù)雜志論文、90多篇國際會議論文，合作出版五本學(xué)術(shù)專著；擔(dān)任多個國際期刊的編委。,著名學(xué)者,116,Prof. Jun Wang (王鈞)香港中文大學(xué)1991年 凱斯西儲大學(xué) 博士研究方向：遞歸神經(jīng)網(wǎng)絡(luò)和工程應(yīng)用現(xiàn)任香港中文大學(xué)自動化與計算機輔助工程系計算智能實驗室主任。已發(fā)表120多篇期刊論