馬爾可夫決策過程在送餐機(jī)器人路徑規(guī)劃上的研究與應(yīng)用.pdf

1、送餐機(jī)器人代替人工服務(wù)員送餐，給餐館節(jié)省了不少開支。但餐館的環(huán)境過于復(fù)雜，例如椅子被臨時(shí)挪動(dòng)到通道上，顧客在餐館中動(dòng)態(tài)出現(xiàn)等，送餐機(jī)器人可能會(huì)進(jìn)行多次避障，送餐效率不高。如果送餐機(jī)器人能夠預(yù)測(cè)一條不出現(xiàn)或者少出現(xiàn)意外椅子或者駐足顧客的路徑，那么送餐機(jī)器人的送餐效率將大大提高。本文應(yīng)用馬爾可夫決策過程(MDP)算法對(duì)送餐機(jī)器人的路徑進(jìn)行規(guī)劃，以提高機(jī)器人的送餐效率。
　　本文在研究餐館送餐機(jī)器人路徑規(guī)劃算法的基礎(chǔ)上，以馬爾可夫決策過

2、程為主要算法，通過引入懲罰函數(shù) F、狀態(tài)立即獎(jiǎng)勵(lì)值更新規(guī)則以及狀態(tài)轉(zhuǎn)移概率更新規(guī)則，進(jìn)行送餐機(jī)器人的路徑規(guī)劃，以提高送餐機(jī)器人的安全性以及全程送餐效率。本文基于MDP構(gòu)建了一個(gè)餐館送餐機(jī)器人路徑規(guī)劃系統(tǒng)。該系統(tǒng)有5個(gè)組成模塊：地圖模塊，任務(wù)模塊，數(shù)據(jù)采集模塊，路徑規(guī)劃模塊和控制模塊。地圖模塊用來構(gòu)建餐館環(huán)境二維柵格地圖。任務(wù)模塊用來下達(dá)送餐任務(wù)。數(shù)據(jù)采集模塊用來采集MDP初始化信息。路徑規(guī)劃模塊是路徑規(guī)劃系統(tǒng)的核心模塊，它用來為送餐機(jī)器

3、人規(guī)劃高效的送餐路徑。控制模塊用來控制送餐機(jī)器人送餐。具體做法是：首先對(duì)餐館環(huán)境進(jìn)行建模即構(gòu)建二維柵格地圖，初始化一個(gè)MDP模型。然后應(yīng)用MDP為送餐機(jī)器人規(guī)劃一條全局送餐路徑，控制送餐機(jī)器人沿著此路徑進(jìn)行送餐。當(dāng)送餐機(jī)器人在送餐的過程中對(duì)地圖以及MDP模型進(jìn)行實(shí)時(shí)更新。對(duì)地圖的更新主要是標(biāo)注桌椅以及駐足顧客的位置，對(duì)MDP模型的更新主要是更新狀態(tài)立即獎(jiǎng)勵(lì)值函數(shù)R以及狀態(tài)轉(zhuǎn)移概率P。對(duì)P的更新應(yīng)用了如下一個(gè)分式：分母是在狀態(tài)s下采取動(dòng)作

4、a的總次數(shù)，分子是在狀態(tài)s下采取動(dòng)作a而到達(dá)狀態(tài)s’的次數(shù)。對(duì)R的更新具體做法是：當(dāng)傳感器探測(cè)到前方狀態(tài)無(wú)障礙物時(shí)，需要判斷一下是否要更新前方狀態(tài)的立即獎(jiǎng)勵(lì)值，如果前方狀態(tài)的立即獎(jiǎng)勵(lì)值等于初始獎(jiǎng)勵(lì)值，則不更新，否則增大其狀態(tài)立即獎(jiǎng)勵(lì)值；當(dāng)傳感器探測(cè)到前方有障礙物時(shí)，以當(dāng)前位置為起始點(diǎn)規(guī)劃出一條能夠避障的全局路徑并判斷其獎(jiǎng)勵(lì)值是否為最小值，若等于最小值，則不變，否則減小其立即獎(jiǎng)勵(lì)值。以此進(jìn)行下去，直到到達(dá)目標(biāo)。如果機(jī)器人與障礙物相撞，機(jī)器