基于分層強化學習的多agent路徑規(guī)劃與編隊方法研究.pdf

1、多agent系統(tǒng)的研究是當今人工智能和自動化控制領域的最前沿方向。多agent系統(tǒng)在各行各業(yè)中都表現(xiàn)出了極大的應用性，其自身所具有的分布性、魯棒性強以及良好的協(xié)作性和適應性等優(yōu)點是單個agent系統(tǒng)所不具備的。在實際應用中，多agent一般工作在未知動態(tài)環(huán)境中，環(huán)境中各種動、靜態(tài)障礙物的狀況是agent所不知道的，在處理這些突發(fā)情況的時候就要求agent具有較強感知環(huán)境和適應環(huán)境的能力，強化學習的無環(huán)境模型學習能力使agent具有了自學

2、習和在線學習的能力，得到了越來越多研究者們的重視。但是，強化學習最大的缺陷就是遇到復雜任務的時候會出現(xiàn)“維數(shù)災難”的問題。為了解決強化學習的“維數(shù)災難”問題提出了分層強化學習算法，它以半馬爾科夫決策為基礎通過“抽象機制”把整個學習任務劃分成不同層次的子任務，對狀態(tài)空間降維，來解決“維數(shù)災難”問題。其經典的算法有HAM、MAXQ和Option。最后，本文運用分層強化學習的思想來解決多agent系統(tǒng)中路徑規(guī)劃和編隊控制問題，其主要工作概括如

3、下:
　　(1)從路徑規(guī)劃算法收斂速度慢及效率低、適應性差的角度出發(fā)，提出了一種基于分層強化學習及人工勢場的多agent路徑規(guī)劃算法。首先，對環(huán)境中的人工勢場進行離差標準化處理構建環(huán)境的先驗知識，以此可以得到一個目標點具有最大勢能，障礙物區(qū)域勢能值為零的單調遞增的曲面。最后，多agent以構建的先驗知識為基礎，利用分層強化學習的思想，使算法具有任務分層和良好的在線學習能力及自動劃分子任務的能力，從而更加適應未知動態(tài)環(huán)境中路徑規(guī)劃任

4、務。算法依次在出租車問題和中視典三維仿真平臺中進行了驗證，結果顯示多agent對未知環(huán)境適應性強，算法的收斂速度快且穩(wěn)定。
　　(2)針對現(xiàn)階段多agent編隊控制中常出現(xiàn)的環(huán)境適應性差、agent無自學習能力和收斂速度慢等問題，本文提出了一種基于分層強化學習及CMAC神經網(wǎng)絡的多agent動態(tài)編隊方法。首先，在多agent動態(tài)編隊中，引入“抽象機制”把整個任務分為根任務協(xié)作層，動作子任務選擇層和基本動作執(zhí)行層三個任務層次對狀態(tài)空