基于模糊近似的強(qiáng)化學(xué)習(xí)方法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種用于求解可以建模為馬爾科夫決策過(guò)程問(wèn)題的機(jī)器學(xué)習(xí)方法,其通過(guò)Agent與環(huán)境交互以獲得最大累計(jì)獎(jiǎng)賞的方式進(jìn)行學(xué)習(xí)。當(dāng)前強(qiáng)化學(xué)習(xí)面臨的主要挑戰(zhàn)和機(jī)遇是如何求解大規(guī)模狀態(tài)或動(dòng)作空間的問(wèn)題。本文將模糊推理作為近似方法用于強(qiáng)化學(xué)習(xí)算法中,針對(duì)當(dāng)前已有的基于模糊推理的強(qiáng)化學(xué)習(xí)算法的不足,提出幾種改進(jìn)的基于模糊推理和基函數(shù)優(yōu)化的值函數(shù)近似算法：
　?、裴槍?duì)傳統(tǒng)的基于查詢表或函數(shù)近似的；Q值迭代算法在處理連續(xù)空間問(wèn)題時(shí)收斂速度慢,

2、且不能求解連續(xù)行為策略的問(wèn)題,提出一種帶有資格跡的基于雙層模糊推理的時(shí)間差分算法(DFR-Sarsa(λ)),并從理論上分析其收斂性。算法的第一層推理使用模糊狀態(tài)集合以計(jì)算連續(xù)動(dòng)作,第二層推理使用模糊動(dòng)作集合以計(jì)算 Q值分量,最后結(jié)合兩層推理計(jì)算連續(xù)動(dòng)作空間中的Q值函數(shù)。
　?、漆槍?duì)傳統(tǒng)的基于模糊推理的強(qiáng)化學(xué)習(xí)算法存在收斂性能不足和對(duì)噪音干擾缺乏魯棒性的問(wèn)題,提出一種基于區(qū)間型二型模糊狀態(tài)劃分的；Sarsa(λ)算法(IT2FI-

3、Sarsa(λ)),并從理論上分析其收斂性。模糊規(guī)則的前件部分使用新穎的橢圓形二型模糊隸屬度函數(shù)來(lái)劃分連續(xù)狀態(tài)空間,且該隸屬度函數(shù)可以使降型存在閉合解。通過(guò)二型模糊推理獲得Q值函數(shù)后,使用梯度下降方法更新規(guī)則的后件參數(shù)。實(shí)驗(yàn)表明,IT2FI-Sarsa(λ)算法具有較好的收斂性能,且對(duì)噪聲干擾有魯棒性。
　?、轻槍?duì)當(dāng)前強(qiáng)化學(xué)習(xí)方法在使用線性函數(shù)近似時(shí),由于根據(jù)不準(zhǔn)確先驗(yàn)知識(shí)設(shè)定基函數(shù)而造成的泛化性能不高的問(wèn)題,提出一種帶有自適應(yīng)基