基于強(qiáng)化學(xué)習(xí)的自主式移動(dòng)機(jī)器人導(dǎo)航控制.pdf

1、自主式移動(dòng)機(jī)器人可以工作在復(fù)雜非結(jié)構(gòu)化環(huán)境中，無(wú)需人工干預(yù)，對(duì)環(huán)境無(wú)特定要求，具有高度自規(guī)劃和自適應(yīng)能力，這是一種有目的地自主式移動(dòng)和完成任務(wù)的智能系統(tǒng)。其中，導(dǎo)航技術(shù)是移動(dòng)機(jī)器人實(shí)現(xiàn)智能化的關(guān)鍵技術(shù)之一。在未知環(huán)境中，移動(dòng)機(jī)器人需要擁有快速的學(xué)習(xí)能力，以提高對(duì)環(huán)境的適應(yīng)能力，解決在自身不完備知識(shí)情況下的復(fù)雜問(wèn)題。強(qiáng)化學(xué)習(xí)具有通過(guò)自我學(xué)習(xí)來(lái)逐漸獲取智能行為的特征，在自主式移動(dòng)機(jī)器人導(dǎo)航應(yīng)用中受到廣泛關(guān)注。
　　強(qiáng)化學(xué)習(xí)模擬動(dòng)物學(xué)習(xí)

2、的過(guò)程，通過(guò)不斷試錯(cuò)尋求從狀態(tài)到動(dòng)作相適應(yīng)的映射關(guān)系，最終獲得最優(yōu)化的動(dòng)作狀態(tài)策略集。針對(duì)學(xué)習(xí)過(guò)程中傳統(tǒng)算法存在收斂慢，非即時(shí)報(bào)酬的估計(jì)存在時(shí)間約束，占用較多內(nèi)存資源和計(jì)算時(shí)間的問(wèn)題，本文通過(guò)對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)理論的研究，結(jié)合了相對(duì)值迭代理論和最優(yōu)化理論，通過(guò)合理變形，提出了一種相對(duì)值迭代強(qiáng)化學(xué)習(xí)(RVI-RL)算法，這是基于離散馬爾科夫決策過(guò)程(MDP)環(huán)境下的無(wú)需估計(jì)平均報(bào)酬的強(qiáng)化學(xué)習(xí)算法。
　　RVI-RL算法是一種無(wú)模型算法，

3、免除了對(duì)整個(gè)任務(wù)平均報(bào)酬的估計(jì)，也免除了因不斷修正平均報(bào)酬估計(jì)所帶來(lái)的偏差。本論文的實(shí)驗(yàn)環(huán)境為經(jīng)典的出租車(chē)問(wèn)題，初始化為柵格型地圖，相對(duì)于出租車(chē)為未知或動(dòng)態(tài)環(huán)境，出租車(chē)自主行駛過(guò)程中，通過(guò)試錯(cuò)技術(shù)來(lái)獲取環(huán)境狀態(tài)信息，最終尋求狀態(tài)與動(dòng)作的最佳映射。
　　實(shí)驗(yàn)表明，在單自主移動(dòng)機(jī)器人導(dǎo)航過(guò)程中，RVI-RL算法比Q學(xué)習(xí)算法和R學(xué)習(xí)算法更快更穩(wěn)地收斂于最優(yōu)策略集；在多自主移動(dòng)機(jī)器人導(dǎo)航環(huán)境中，新算法表現(xiàn)出誘發(fā)兩個(gè)機(jī)器人協(xié)作規(guī)劃行為的特征