一類(lèi)非線性系統(tǒng)的強(qiáng)化學(xué)習(xí)自抗擾控制研究.pdf

1、未知非線性系統(tǒng)的控制一直以來(lái)都是控制領(lǐng)域內(nèi)的重要課題，由于系統(tǒng)動(dòng)態(tài)未知，許多需要機(jī)理模型的控制算法都難以實(shí)施，而強(qiáng)化學(xué)習(xí)方法由于能夠在未知的環(huán)境中通過(guò)與環(huán)境的交互自主學(xué)習(xí)，找到近似最優(yōu)控制策略且不需要系統(tǒng)結(jié)構(gòu)信息等先驗(yàn)知識(shí)，使其成為未知非線性系統(tǒng)控制的理想算法。近些年來(lái)，強(qiáng)化學(xué)習(xí)已在這一領(lǐng)域取得諸多成果，然而，現(xiàn)實(shí)中的非線性系統(tǒng)往往受到各種擾動(dòng)的影響，而強(qiáng)化學(xué)習(xí)的抗擾能力卻不夠強(qiáng)大，在大擾動(dòng)下系統(tǒng)輸出往往會(huì)大幅偏離設(shè)定值，系統(tǒng)性能?chē)?yán)重衰

2、退。針對(duì)這一問(wèn)題，本文研究了如何在具有強(qiáng)非仿射特性的未知非線性純反饋系統(tǒng)控制中提高強(qiáng)化學(xué)習(xí)的控制精度和抗擾能力。
　　由于傳統(tǒng)強(qiáng)化學(xué)習(xí)算法的動(dòng)作和狀態(tài)都是在有限集中，因而在非線性系統(tǒng)控制中應(yīng)用最多的是的連續(xù)強(qiáng)化學(xué)習(xí)算法，也就是動(dòng)作-評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)的強(qiáng)化學(xué)習(xí)。在應(yīng)用中，該類(lèi)算法存在這樣的一些問(wèn)題:
　　1.對(duì)擾動(dòng)的抑制能力十分有限。隨著擾動(dòng)逐漸增大，控制效果急劇衰退，直至發(fā)散。
　　2.當(dāng)參考軌跡連續(xù)變化時(shí)，尤其是變化軌跡

3、的彎曲程度較大時(shí)，追蹤誤差會(huì)變得很大。
　　針對(duì)強(qiáng)化學(xué)習(xí)在未知非線性系統(tǒng)控制中存在的問(wèn)題，本文首先建立了一套動(dòng)作-評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)的連續(xù)強(qiáng)化學(xué)習(xí)算法，它采用了一個(gè)特別的性能指標(biāo)函數(shù)以避免使用系統(tǒng)動(dòng)態(tài)函數(shù)，然后做了如下的改進(jìn):
　　1.為了提高控制系統(tǒng)追蹤連續(xù)軌跡的能力，尤其是在參考軌跡曲度較大時(shí)的控制效果。我們?cè)O(shè)計(jì)了一個(gè)與參考軌跡有關(guān)的因子，利用它動(dòng)態(tài)地調(diào)整執(zhí)行器網(wǎng)絡(luò)的權(quán)重更新速率，使得系統(tǒng)在參考軌跡曲度變大時(shí)能更加及時(shí)地調(diào)整控

4、制策略。
　　2.為了提高控制系統(tǒng)的抗擾能力，利用擴(kuò)張狀態(tài)觀測(cè)器將未知的外部擾動(dòng)和內(nèi)部參數(shù)攝動(dòng)等效為一個(gè)總擾動(dòng)，將其應(yīng)用在控制律中，抵消內(nèi)外擾動(dòng)的影響，削弱系統(tǒng)的不確定性，幫助強(qiáng)化學(xué)習(xí)提高其抑制擾動(dòng)能力。
　　3.最后，我們將強(qiáng)化學(xué)習(xí)算法與線性自抗擾相結(jié)合，用自抗擾控制器代替?zhèn)鹘y(tǒng)的神經(jīng)網(wǎng)絡(luò)執(zhí)行器，調(diào)整了控制器的權(quán)值更新方式，大幅提高了系統(tǒng)的抗擾能力和控制精度。同時(shí)，待調(diào)參數(shù)數(shù)目減少，大大調(diào)高了算法的訓(xùn)練速度。
　　為了

5、驗(yàn)證改進(jìn)強(qiáng)化學(xué)習(xí)算法的有效性，將它們應(yīng)用在未知非線性純反饋系統(tǒng)的追蹤控制上，并給出基于擴(kuò)張狀態(tài)觀測(cè)器的強(qiáng)化學(xué)習(xí)算法(reinforcement learning-extended state observer，RL-ESO，基于改進(jìn)1和2)和基于線性自抗擾的強(qiáng)化學(xué)習(xí)算法(reinforcement learning-active disturbance rejection control，RL-ADRC，基于改進(jìn)3)的原理與設(shè)計(jì)流程。在