強(qiáng)化學(xué)習(xí)算法的研究與實(shí)驗(yàn).pdf

1、近年來，射電望遠(yuǎn)鏡口徑的設(shè)計(jì)越來越大，觀測(cè)波段的寬度也越來越大，對(duì)其跟蹤精度和指向精度的要求也越來越高。因此，如何對(duì)天線的震動(dòng)問題進(jìn)行抑制，變的非常的重要。本文的目的就是設(shè)計(jì)控制器使得大口徑反射面天線底部良好跟蹤的同時(shí)還盡可能的減少末端的柔性振動(dòng)量。
　　通過對(duì)強(qiáng)化學(xué)習(xí)的深入研究，搭建了一種基于Q-learning算法的柔性結(jié)構(gòu)控制器，該控制器很好的解決了當(dāng)獎(jiǎng)賞函數(shù)和狀態(tài)轉(zhuǎn)移函數(shù)無法準(zhǔn)確知道的情況下價(jià)值函數(shù)的具體計(jì)算問題。

2、　　其次，搭建的基于Q-learning算法柔性結(jié)構(gòu)控制器，會(huì)存在連續(xù)狀態(tài)到離散狀態(tài)的轉(zhuǎn)換問題，因而會(huì)存在維數(shù)災(zāi)等問題。此外，考慮到強(qiáng)化學(xué)習(xí)是通過與環(huán)境的相互作用而學(xué)習(xí)，智能體可以利用的有效信息比較少。所以，本文中對(duì)基于Q-learning算法的柔性結(jié)構(gòu)控制器進(jìn)行了改進(jìn)，設(shè)計(jì)了一種PD+Q-learning型柔性結(jié)構(gòu)控制器，該控制器先通過PD控制，可以為智能體提供有效的先驗(yàn)知識(shí)，從而，使得算法加快收斂。
　　最后，通過 Matla