基于邏輯馬爾可夫決策過程的關(guān)系強(qiáng)化學(xué)習(xí)研究.pdf

1、目前普遍認(rèn)為智能主體應(yīng)當(dāng)具有學(xué)習(xí)能力，能夠把握和適應(yīng)動(dòng)態(tài)環(huán)境的變化。在沒有任何老師指導(dǎo)的情況下，強(qiáng)化學(xué)習(xí)讓主體嘗試行動(dòng)，在與環(huán)境交互過程中試錯(cuò)，根據(jù)收集到的環(huán)境反饋，對(duì)嘗試的行動(dòng)進(jìn)行評(píng)價(jià)，最終把握環(huán)境并學(xué)會(huì)行動(dòng)決策以適應(yīng)環(huán)境。以馬爾可夫決策過程為基礎(chǔ)，近年來提出了很多強(qiáng)化學(xué)習(xí)方法，獲得了很大的進(jìn)展，對(duì)以特性向量表示的狀態(tài)也有了充分的研究。 然而特性向量這種命題表示法，很難表示環(huán)境中的關(guān)系信息，特別是有大量物體，物體之間又有很多關(guān)

2、系的領(lǐng)域。為了把強(qiáng)化學(xué)習(xí)方法應(yīng)用到這些復(fù)雜的環(huán)境，最近提出了以關(guān)系表示為基礎(chǔ)的關(guān)系強(qiáng)化學(xué)習(xí)，研究在用關(guān)系邏輯表示環(huán)境的狀態(tài)和主體的行動(dòng)時(shí)，如何進(jìn)行學(xué)習(xí)，以及如何對(duì)環(huán)境狀態(tài)進(jìn)行抽象以把握環(huán)境。用常原子表示的環(huán)境基本狀態(tài)空間巨大，需要使用適當(dāng)?shù)挠凶兞康某橄鬆顟B(tài)表示方法來把握環(huán)境。 最近提出了一些關(guān)系強(qiáng)化學(xué)習(xí)的方法和模型，但對(duì)關(guān)系強(qiáng)化學(xué)習(xí)問題本身還缺乏透徹的理解，關(guān)系強(qiáng)化學(xué)習(xí)的理論也很不充分。本文在簡(jiǎn)單的僅用原子表示的邏輯馬爾可夫決策

3、過程LOMDP的基礎(chǔ)上，提出了帶否定詞的邏輯馬爾可夫決策過程nLMDP，并基于該模型，提出了替換學(xué)習(xí)方法及狀態(tài)演化方法。 在邏輯馬爾可夫決策過程nLMDP中，首次引入了邏輯否定，用來準(zhǔn)確的描述環(huán)境和任務(wù)。然后又提出了抽象狀態(tài)空間的生成方法和擴(kuò)展方法，從一個(gè)準(zhǔn)確描述的的目標(biāo)抽象狀態(tài)開始，使用一次生成方法和多次擴(kuò)展方法，可以讓設(shè)計(jì)者很容易的得到一個(gè)規(guī)模適度的互補(bǔ)抽象狀態(tài)空間，即每個(gè)基本狀態(tài)只有一個(gè)抽象狀態(tài)來表示，所有的抽象狀態(tài)又能表

4、示所有的基本狀態(tài)。 本文也提出了原型行動(dòng)，以表示環(huán)境內(nèi)主體的基本行動(dòng)方式，是抽象行動(dòng)上的更高抽象。原型行動(dòng)中同樣引入了邏輯否定表示行動(dòng)的執(zhí)行條件，根據(jù)原型行動(dòng)和互補(bǔ)的抽象狀態(tài)空間，可以很容易得到抽象狀態(tài)上的可執(zhí)行抽象行動(dòng)。 邏輯馬爾可夫決策過程nLMDP基于互補(bǔ)的抽象狀態(tài)空間和原型行動(dòng)集構(gòu)建。基于nLMDP，本文提出了替換學(xué)習(xí)(θ(λ))方法，實(shí)現(xiàn)了主體在線自動(dòng)獲得抽象行動(dòng)，并完成對(duì)原型行動(dòng)到抽象狀態(tài)上有效替換的評(píng)價(jià)估計(jì)

5、。試驗(yàn)顯示替換學(xué)習(xí)是一個(gè)高效的學(xué)習(xí)方法。 對(duì)于復(fù)雜的領(lǐng)域，設(shè)計(jì)者很難給出完善的互補(bǔ)抽象狀態(tài)空間，也很難對(duì)給出的互補(bǔ)抽象狀態(tài)空間進(jìn)行評(píng)價(jià)。本文提出了狀態(tài)演化的方法，基于邏輯馬爾可夫決策過程nLMDP和替換學(xué)習(xí)，僅需要設(shè)計(jì)者提供任務(wù)的目標(biāo)抽象狀態(tài)和主體的原型行動(dòng)集，主體在學(xué)習(xí)中自己組織抽象狀態(tài)空間，并對(duì)他們進(jìn)行評(píng)價(jià)，完成策略的學(xué)習(xí)。試驗(yàn)顯示狀態(tài)演化過程中，主體能夠抓住任務(wù)的本質(zhì)，獲得的自組織互補(bǔ)抽象狀態(tài)空間也是合理的。 本文

6、的主要貢獻(xiàn)與創(chuàng)新： 1.引入邏輯否定描述抽象狀態(tài)，準(zhǔn)確表述環(huán)境和任務(wù)；提出抽象狀態(tài)空間的生成和擴(kuò)展方法，為關(guān)系強(qiáng)化學(xué)習(xí)提供了一個(gè)構(gòu)建互補(bǔ)抽象狀態(tài)空間的簡(jiǎn)單方法。 2.提出引入邏輯否定的原型行動(dòng)，并形式定義了可執(zhí)行抽象行動(dòng)空間，為關(guān)系強(qiáng)化學(xué)習(xí)中主體自動(dòng)獲得抽象行動(dòng)提供了基礎(chǔ)。 3.基于互補(bǔ)抽象狀態(tài)空間和原型行動(dòng)集，提出邏輯馬爾可夫決策過程nLMDP，成為關(guān)系強(qiáng)化學(xué)習(xí)的一個(gè)理論模型。 4.提出替換學(xué)習(xí)，實(shí)現(xiàn)抽