基于增強(qiáng)學(xué)習(xí)的移動(dòng)機(jī)器人動(dòng)態(tài)路徑規(guī)劃算法研究.pdf

1、近年來，隨著機(jī)器人技術(shù)的發(fā)展，路徑規(guī)劃和多機(jī)器人系統(tǒng)逐漸成為機(jī)器人學(xué)的研究熱點(diǎn)。移動(dòng)機(jī)器人路徑規(guī)劃主要分為點(diǎn)到點(diǎn)的路徑規(guī)劃和完全覆蓋路徑規(guī)劃。靜態(tài)環(huán)境中的點(diǎn)到點(diǎn)路徑規(guī)劃經(jīng)過多年的發(fā)展，算法相對(duì)成熟，而動(dòng)態(tài)環(huán)境中由于環(huán)境信息的不確定性以及移動(dòng)障礙物等因素，算法還有較大的發(fā)展空間。另一方面，單個(gè)機(jī)器人完全覆蓋路徑規(guī)劃經(jīng)過多年的發(fā)展已經(jīng)取得一定進(jìn)展，由于多機(jī)器人系統(tǒng)的任務(wù)分配和移動(dòng)機(jī)器人動(dòng)態(tài)路徑規(guī)劃方法研究還不夠成熟導(dǎo)致多機(jī)器人系統(tǒng)完全覆蓋路

2、徑規(guī)劃還有許多問題有待解決。
　　增強(qiáng)學(xué)習(xí)方法可以有效地解決不確定序貫決策問題，目前已經(jīng)成為機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的研究熱點(diǎn)。由于增強(qiáng)學(xué)習(xí)方法對(duì)環(huán)境信息依賴少，因此，它在移動(dòng)機(jī)器人路徑規(guī)劃方面的應(yīng)用也受到廣泛關(guān)注。
　　本文對(duì)基于增強(qiáng)學(xué)習(xí)的移動(dòng)機(jī)器人動(dòng)態(tài)路徑規(guī)劃進(jìn)行了深入研究，并與其它方法相結(jié)合用于解決多機(jī)器人系統(tǒng)完全覆蓋路徑規(guī)劃問題。取得的研究成果包括：
　　1.提出了基于神經(jīng)網(wǎng)絡(luò)的改進(jìn)Q學(xué)習(xí)算法（Neural ne

3、twork based Improved Q-learning，NIQL），仿真結(jié)果表明NIQL算法在收斂速度方面相比于其它改進(jìn)Q學(xué)習(xí)算法有很大提高；除此之外，通過將NIQL算法與三次 B樣條曲線相結(jié)合，提出了一種動(dòng)態(tài)路徑規(guī)劃方法，該方法可以解決某些傳統(tǒng)規(guī)劃方法難以解決的問題，并在多種動(dòng)態(tài)環(huán)境中進(jìn)行了仿真實(shí)驗(yàn)，驗(yàn)證了該方法的有效性。
　　2.通過將Q學(xué)習(xí)引入到傳統(tǒng)RRT算法中，并對(duì)節(jié)點(diǎn)擴(kuò)展函數(shù)以及隨機(jī)節(jié)點(diǎn)生成函數(shù)進(jìn)行改進(jìn)，提出了基

4、于Q學(xué)習(xí)的改進(jìn)RRT算法（Q-learning based RRT， QRRT），仿真結(jié)果表明QRRT在擴(kuò)展節(jié)點(diǎn)數(shù)、路徑最優(yōu)性和規(guī)劃時(shí)間等方面相比于其它改進(jìn)RRT算法具有較大優(yōu)勢(shì)；除此之外，通過將滾動(dòng)規(guī)劃、QRRT算法以及三次 B樣條相結(jié)合，提出了一種動(dòng)態(tài)路徑規(guī)劃方法，并通過模擬公路超車仿真實(shí)驗(yàn)驗(yàn)證了該方法的有效性。
　　3.通過將改進(jìn)遺傳算法、最小二乘策略迭代算法以及動(dòng)態(tài)路徑規(guī)劃方法相結(jié)合，提出了一種多機(jī)器人系統(tǒng)完全覆蓋路徑規(guī)劃