基于試錯學習的強化學習算法的研究.pdf

1、從行為心理學發(fā)展而來，介于監(jiān)督學習和非監(jiān)督學習的強化學習算法，目前是機器學習研究領域的熱點，越來越受到關注。現(xiàn)有的強化學習算法如Sarsa學習算法、Q學習算法等需要大量的存儲空間來存儲已有的知識，在大規(guī)模或連續(xù)狀態(tài)空間問題上，可能會引發(fā)“維數(shù)災難”;而基于非線性值函數(shù)逼近的的時間差分學習TD(λ)算法，易陷入局部極值，并且算法是發(fā)散的?？紤]到智能計算算法的全局尋優(yōu)能力、自適應性等特點，本文分別使用遺傳算法和免疫耐受機制對強化學習算法進行

2、優(yōu)化。
　　結合遺傳算法的全局搜索能力，本文提出了一種基于遺傳算法的強化學習算法，將強化學習算法中的權值整體看成是種群中的個體，仿生物“自然選擇”機理，對種群進行擇優(yōu)迭代，執(zhí)行選擇、交叉、變異等操作。其中，選擇操作是通過輪盤賭方法，采用精英保留策略，對種群中的個體以一定的概率隨機性進行較優(yōu)迭代;交叉是按照單點交叉，對隨機交叉點的兩個個體進行兩兩交互;變異是對個體的隨機基因位進行高斯變異。同時，在理論上進行了算法分析，在仿真實驗上對

3、新舊算法進行了對比，均表明新算法具有更好的性能。
　　為了記憶對環(huán)境的學習，從而在遇到相似環(huán)境時加快學習速度，本文接著提出了一種基于免疫耐受機制的強化學習算法。該算法以TD（λ）為前提，在免疫耐受機制的基礎上，對權值進行耐受調(diào)整。在學習中，用權值控制基于函數(shù)逼近的狀態(tài)值;當誤差大于一定閾值時，使用免疫耐受對權值進行優(yōu)化，否則直接根據(jù)系統(tǒng)狀態(tài)選擇最優(yōu)策略。經(jīng)過性能分析和仿真實驗，結果表明新算法能以更小的誤差、更快地進行全局搜索，并且