突觸動(dòng)力學(xué)ⅱ有監(jiān)督學(xué)習(xí)-西安電子科技大學(xué)電子

1、chapter 5 突觸動(dòng)力學(xué)Ⅱ—— 有監(jiān)督學(xué)習(xí),學(xué)號(hào)：0622310213姓名： 余 景 景,本章內(nèi)容要點(diǎn),有監(jiān)督學(xué)習(xí)的理論解釋有監(jiān)督的函數(shù)估計(jì)有監(jiān)督的學(xué)習(xí)相當(dāng)于操作性條件反射有監(jiān)督的學(xué)習(xí)相當(dāng)于有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí)前饋網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法感知器最小均方誤差（LMS）算法反向傳播（BP） 算法,第一部分內(nèi)容,有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)有監(jiān)督的函數(shù)估計(jì)有監(jiān)督

2、學(xué)習(xí)相當(dāng)于操作性條件反射有監(jiān)督學(xué)習(xí)相當(dāng)于有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí),有監(jiān)督學(xué)習(xí),給定一系列訓(xùn)練樣本，其中每個(gè)樣本都做上了標(biāo)記，比如說(shuō)標(biāo)記出這個(gè)樣本來(lái)自對(duì)一個(gè)蘋(píng)果的一次觀測(cè)。學(xué)習(xí)的目的是從這些帶有標(biāo)記的樣本中學(xué)習(xí)到一些概念,比如說(shuō)什么樣的數(shù)據(jù)對(duì)應(yīng)蘋(píng)果而不是香蕉,并且在未來(lái)給出新的樣本時(shí),能夠正確預(yù)測(cè)新樣本的標(biāo)記。,無(wú)監(jiān)督學(xué)習(xí),給定一系列沒(méi)有任何標(biāo)記的訓(xùn)練樣本,學(xué)習(xí)的目的時(shí)發(fā)現(xiàn)隱藏在這些樣本中的某種結(jié)構(gòu),例如樣本的聚類情況 。,,有監(jiān)督的函

3、數(shù)估計(jì),給定觀察得到的隨機(jī)矢量樣本對(duì)：要估計(jì)一個(gè)未知函數(shù)： 使得期望誤差函數(shù)E[J]最小。誤差=期望輸出-實(shí)際輸出,有監(jiān)督的函數(shù)估計(jì),設(shè)N為一個(gè)神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)，那么可以定義瞬時(shí)誤差為 ，這是一個(gè)隨機(jī)向量，由于我們不知道聯(lián)合概率密度函數(shù)p(x,y)無(wú)法求出 ，一般用均方差 替代。 隨機(jī)逼近用觀測(cè)到的隨機(jī)量來(lái)估計(jì)期望值，然后在離散的近

4、似算法中使用這些估計(jì)量。用的比較多的近似算法是隨機(jī)梯度下降法。如本章將要講述的Widrow’s LMS算法中所用的就是隨機(jī)梯度。,,有監(jiān)督學(xué)習(xí)相當(dāng)于操作性條件反射,操作性條件反射強(qiáng)化響應(yīng)，如果輸入與期望的輸出不同，就調(diào)節(jié)權(quán)值m。,無(wú)監(jiān)督學(xué)習(xí)相當(dāng)于傳統(tǒng)條件反射,傳統(tǒng)條件反射強(qiáng)化刺激。這種神經(jīng)網(wǎng)絡(luò)直接把輸入x耦合到輸出y。,例如，一個(gè)生物體學(xué)會(huì)了一刺激響應(yīng)對(duì)： 那么在條件刺激 S中加一個(gè)條件B進(jìn)行學(xué)習(xí)，得到,不斷強(qiáng)化

5、刺激，直到輸入B時(shí)反應(yīng)為R。這樣就有：也就是學(xué)會(huì)了一條規(guī)則。如巴普洛夫條件反射試驗(yàn)。,,有監(jiān)督學(xué)習(xí)相當(dāng)于 有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí),模式：模式空間 上的點(diǎn)時(shí)變模式：定義在 中的軌跡線隨機(jī)模式學(xué)習(xí)由已知的樣本x(1)，x(2)…x(n)來(lái)估計(jì)x的概率密度函數(shù)p(x)模式類： 是 的子集，也叫決策類，滿足：,有監(jiān)督學(xué)習(xí)相當(dāng)于 有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí),類的

6、概率其中 ，是一個(gè)指示器函數(shù)，定義為指示函數(shù)指出了模式 x 的類隸屬關(guān)系。如果 S 是將映射到 而不是 。就稱模式 x 以不同的程度隸屬于不同的類。類的概率滿足,區(qū)分學(xué)習(xí)類型的標(biāo)準(zhǔn)：先驗(yàn)知識(shí),在有監(jiān)督和無(wú)監(jiān)督模式學(xué)習(xí)中，系統(tǒng)都不知道 它們的區(qū)別在于是否有先驗(yàn)知識(shí)以及學(xué)習(xí)系統(tǒng)如何利用貝葉斯學(xué)習(xí)中用到了指示器函數(shù)，是有監(jiān)督的學(xué)習(xí)