基于模糊Q學(xué)習(xí)的Agent智能決策研究與實(shí)現(xiàn).pdf

1、強(qiáng)化學(xué)習(xí)是一種無監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)，能夠利用不確定的環(huán)境獎(jiǎng)賞發(fā)現(xiàn)最優(yōu)的行為序列，實(shí)現(xiàn)動(dòng)態(tài)環(huán)境下的在線學(xué)習(xí)，因此被廣泛用于Agent的智能決策。目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法，但Q學(xué)習(xí)本身存在一些問題。首先，Q學(xué)習(xí)算法不能適用于連續(xù)狀態(tài)空間和動(dòng)作空間的學(xué)習(xí)，其次，當(dāng)狀態(tài)空間很大時(shí)，Q表在內(nèi)存中的存儲(chǔ)以及查詢都變得十分困難。最后，Q學(xué)習(xí)算法的學(xué)習(xí)速度較慢。本文針對RoboCup中的具體問題，結(jié)合模糊推理系統(tǒng)對Q學(xué)習(xí)算法進(jìn)行了一些擴(kuò)充和改

2、進(jìn)，使其適用于復(fù)雜環(huán)境下的Agent智能決策。本文的主要研究工作如下： 1.提出一種模糊Q學(xué)習(xí)算法，通過模糊推理系統(tǒng)將連續(xù)的狀態(tài)空間映射到連續(xù)的動(dòng)作空間，然后通過學(xué)習(xí)得到一個(gè)完整的規(guī)則庫。這個(gè)規(guī)則庫可以為Agent的動(dòng)作選擇提供依據(jù)，通過這個(gè)規(guī)則庫可以實(shí)現(xiàn)動(dòng)態(tài)規(guī)劃。我們將這個(gè)算法應(yīng)用于RoboCup中，實(shí)現(xiàn)了踢球策略的優(yōu)化。 2.針對RoboCup中的截球問題，提出了一種多回報(bào)模糊Q學(xué)習(xí)算法。該算法采用模糊邏輯對狀態(tài)空間

3、進(jìn)行泛化，能夠?qū)崿F(xiàn)連續(xù)狀態(tài)空間和離散動(dòng)作序列的學(xué)習(xí)，通過學(xué)習(xí)得到一個(gè)完整的規(guī)則庫。為了實(shí)現(xiàn)Agent短期利益和長期回報(bào)間的平衡，算法從不同角度考慮動(dòng)作的回報(bào)值。我們應(yīng)用該算法成功的解決了RoboCup中的截球問題和2VS1高層決策問題。 3.提出了一種基于先驗(yàn)知識(shí)的模塊化FuzzyQ學(xué)習(xí)算法，用于解決連續(xù)狀態(tài)空間下的多Agent學(xué)習(xí)問題。該算法采用模糊推理系統(tǒng)進(jìn)行狀態(tài)空間的泛化，使用先驗(yàn)知識(shí)以提高算法在初始階段的性能。另外，為了