基于強(qiáng)化學(xué)習(xí)的足球機(jī)器人決策系統(tǒng)設(shè)計(jì).pdf

1、足球機(jī)器人是當(dāng)前機(jī)器人研究中的一個熱點(diǎn)，涉及機(jī)器人學(xué)、人工智能、智能控制、計(jì)算機(jī)視覺等多個領(lǐng)域。決策系統(tǒng)作為整個足球機(jī)器人系統(tǒng)的核心，決定了機(jī)器人間的協(xié)調(diào)協(xié)作，是機(jī)器人的“大腦”。因此，決策系統(tǒng)的研究在多機(jī)器人、多智能體領(lǐng)域具有十分重要的意義。 本論文以足球機(jī)器人Mirosot 5v5仿真比賽為研究對象，針對傳統(tǒng)的決策模型很難滿足足球機(jī)器人系統(tǒng)在反應(yīng)性、適應(yīng)性、智能性和學(xué)習(xí)能力等方面的要求，提出一種基于改進(jìn) Q 學(xué)習(xí)的足球機(jī)器人

2、兩層協(xié)作模型。該模型把整個決策系統(tǒng)分為上下兩層：協(xié)調(diào)層和運(yùn)動控制層。 上層協(xié)調(diào)層針對普通 Q 學(xué)習(xí)在環(huán)境狀態(tài)復(fù)雜的情況下收斂速度較慢的缺點(diǎn)，通過分析足球機(jī)器人比賽的特性，采用模糊聚類的方法把數(shù)量眾多的系統(tǒng)狀態(tài)轉(zhuǎn)化為為數(shù)不多的模糊狀態(tài)，從而大大減少了O學(xué)習(xí)的狀態(tài)空間，提高了算法的收斂速度；同時，針對普通Q學(xué)習(xí)算法易收斂到局部最優(yōu)，本文通過分析 Q 學(xué)習(xí)算法中三個關(guān)鍵參數(shù)(學(xué)習(xí)率α、折扣因子γ和溫度值T)的作用，提出一種自適應(yīng)Q學(xué)習(xí)

3、算法，動態(tài)地調(diào)整這三個參數(shù)，從而實(shí)現(xiàn)系統(tǒng)全局最優(yōu)動作。 下層運(yùn)動控制層，取代傳統(tǒng)的機(jī)器人作為上層意圖的簡單執(zhí)行方法，將下層機(jī)器人的控制設(shè)計(jì)成為一個智能體，主要設(shè)計(jì)了三個角色的智能體：防守隊(duì)員、進(jìn)攻隊(duì)員和助攻隊(duì)員，從而減輕協(xié)調(diào)層的決策任務(wù)，提高了系統(tǒng)的實(shí)時反應(yīng)性。 本文采用C++編程語言在Windows下編寫動態(tài)鏈接庫(DLL)程序來實(shí)現(xiàn)整個決策子系統(tǒng)的設(shè)計(jì)。通過在MiroSot足球機(jī)器人仿真平臺上進(jìn)行仿真比賽，驗(yàn)證了所設(shè)