工程應(yīng)用中強(qiáng)化學(xué)習(xí)方法研究.pdf

1、適應(yīng)性計(jì)算是近年來(lái)與控制理論結(jié)合最緊密的一類機(jī)器學(xué)習(xí)方法。目前學(xué)術(shù)界一般將適應(yīng)性計(jì)算的研究范圍局限于兩個(gè)研究課題：其一是遺傳算法，其二是強(qiáng)化學(xué)習(xí)。本文的研究工作圍繞強(qiáng)化學(xué)習(xí)展開(kāi)研究。與多數(shù)研究強(qiáng)化學(xué)習(xí)的立足點(diǎn)不同，本文突出體現(xiàn)了以下兩個(gè)特點(diǎn)：一是以算法為中心；二是以解決工程問(wèn)題為目的，強(qiáng)調(diào)工程應(yīng)用，而不是偏向人工智能。 強(qiáng)化學(xué)習(xí)方法最大的特點(diǎn)是與系統(tǒng)模型無(wú)關(guān)，這個(gè)特點(diǎn)使得強(qiáng)化學(xué)習(xí)方法非常適合解決復(fù)雜大系統(tǒng)的最優(yōu)控制問(wèn)題。但是，強(qiáng)

2、化學(xué)習(xí)算法收斂速度慢在很大程度上限制了其更廣泛的應(yīng)用，本文研究了加快算法收斂速度的方法，并在理論上進(jìn)行了證明，包括以下兩方面研究?jī)?nèi)容： 在研究解決策略評(píng)價(jià)問(wèn)題的算法方面，本文所做工作為統(tǒng)一研究已有加快算法收斂速度的方法，在相同假設(shè)條件下，研究TD學(xué)習(xí)和基于最小二乘法的TD學(xué)習(xí)兩類算法的收斂精度和計(jì)算量，并證明它們的收斂性，得出不同算法收斂精度相同，不同的是算法收斂步數(shù)和單步計(jì)算量，從而清晰地表達(dá)出不同算法之間的異同之處。本文還得

3、出基于最小二乘法的TD學(xué)習(xí)算法執(zhí)行效果等價(jià)或接近等價(jià)于基于模型的算法的結(jié)論，據(jù)此可以解釋基于最小二乘法的TD學(xué)習(xí)算法收斂速度快、樣本利用率高的原因，并提出了在各種算法之間做選擇時(shí)，需要著重考慮的五個(gè)方面。 在研究解決搜索最優(yōu)策略問(wèn)題的算法方面，本文以工程應(yīng)用為目的，建立了基于工程領(lǐng)域知識(shí)的強(qiáng)化學(xué)習(xí)系統(tǒng)，將強(qiáng)化學(xué)習(xí)系統(tǒng)與先驗(yàn)知識(shí)(尤其是工程領(lǐng)域知識(shí))結(jié)合起來(lái)，達(dá)到縮小狀態(tài)空間，加快收斂速度的目的，并證明了該系統(tǒng)的收斂性問(wèn)題，分析了

4、收斂結(jié)果、先驗(yàn)知識(shí)和原始系統(tǒng)三者之間的關(guān)系。新系統(tǒng)的核心思想是由先驗(yàn)知識(shí)決策在先驗(yàn)知識(shí)可控態(tài)處的動(dòng)作，而強(qiáng)化學(xué)習(xí)算法被用來(lái)學(xué)習(xí)先驗(yàn)知識(shí)無(wú)法實(shí)現(xiàn)的最優(yōu)策略。一個(gè)關(guān)鍵結(jié)論是收斂結(jié)果與先驗(yàn)知識(shí)一致，即，在先驗(yàn)知識(shí)可控態(tài)處由先驗(yàn)知識(shí)決策動(dòng)作，在先驗(yàn)知識(shí)非可控態(tài)處的動(dòng)作由經(jīng)過(guò)學(xué)習(xí)獲取的策略決策。半馬爾可夫決策過(guò)程上的強(qiáng)化學(xué)習(xí)算法是本文提出的基于工程領(lǐng)域知識(shí)的強(qiáng)化學(xué)習(xí)系統(tǒng)的理論基礎(chǔ)，本文給出了半馬爾可夫決策過(guò)程上Q-學(xué)習(xí)算法的收斂性證明。

5、應(yīng)用基于工程領(lǐng)域知識(shí)的強(qiáng)化學(xué)習(xí)系統(tǒng)解決電梯群控問(wèn)題，設(shè)計(jì)了一個(gè)基于常規(guī)群控算法的強(qiáng)化學(xué)習(xí)群控系統(tǒng)，在電梯仿真試驗(yàn)臺(tái)上進(jìn)行了實(shí)驗(yàn)，與常規(guī)群控系統(tǒng)和常規(guī)強(qiáng)化學(xué)習(xí)群控系統(tǒng)進(jìn)行了詳細(xì)比較。結(jié)果表明，基于先驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)群控系統(tǒng)在性能上優(yōu)于常規(guī)群控系統(tǒng)，略差于常規(guī)強(qiáng)化學(xué)習(xí)群控系統(tǒng)，而基于先驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)群控系統(tǒng)在收斂速度上要遠(yuǎn)快于常規(guī)強(qiáng)化學(xué)習(xí)群控系統(tǒng)。實(shí)驗(yàn)結(jié)果還驗(yàn)證了基于工程領(lǐng)域知識(shí)的強(qiáng)化學(xué)習(xí)系統(tǒng)的收斂結(jié)果與先驗(yàn)知識(shí)一致的特性。其它所有關(guān)于強(qiáng)

6、化學(xué)習(xí)的研究都側(cè)重用強(qiáng)化學(xué)習(xí)算法解決問(wèn)題，而本文的工作側(cè)重用已有的工程領(lǐng)域知識(shí)解決問(wèn)題，強(qiáng)化學(xué)習(xí)算法作為輔助工具改進(jìn)工程領(lǐng)域知識(shí)的性能，更為難得的是這可以在工程領(lǐng)域知識(shí)無(wú)須做任何修改的情況下實(shí)現(xiàn)。 本文圍繞哈密頓-雅克比-貝爾曼方程，研究了連續(xù)時(shí)間系統(tǒng)最優(yōu)控制問(wèn)題的強(qiáng)化學(xué)習(xí)解決方法。建立了基于前饋神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法，進(jìn)一步分析了收斂結(jié)果與哈密頓-雅克比-貝爾曼方程的粘性解之間的關(guān)系，指出該算法逼近哈密頓-雅克比-貝爾曼方程的

7、廣義解，而這種解對(duì)于哈密頓-雅克比-貝爾曼方程來(lái)說(shuō)不是唯一的，造成學(xué)習(xí)結(jié)果對(duì)于學(xué)習(xí)系統(tǒng)的參數(shù)設(shè)定比較敏感。 提出一個(gè)精確收斂至粘性解的強(qiáng)化學(xué)習(xí)算法結(jié)構(gòu)，以收斂定理的形式給出，本文依據(jù)此定理證明了有限元強(qiáng)化學(xué)習(xí)算法。本文還研究了結(jié)合先驗(yàn)知識(shí)的連續(xù)時(shí)間強(qiáng)化學(xué)習(xí)系統(tǒng)，建立其數(shù)學(xué)模型，并且初步研究了在此數(shù)學(xué)模型上的價(jià)值函數(shù)和Q值函數(shù)的性質(zhì)和算法。這些都是研究結(jié)合先驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)方法的基礎(chǔ)性工作，在此基礎(chǔ)上進(jìn)一步設(shè)計(jì)各種強(qiáng)化學(xué)習(xí)算法是一