基于交替跟蹤的分布式多智能體合作學(xué)習(xí)算法研究.pdf

1、本文以合作式多智能體系統(tǒng)為研究對(duì)象，研究應(yīng)用強(qiáng)化學(xué)習(xí)對(duì)多智能體系統(tǒng)的合作策略進(jìn)行優(yōu)化，其中關(guān)鍵問題主要包括學(xué)習(xí)降維、信度分配與收斂證明三個(gè)方面。本文研究的思路來(lái)源于強(qiáng)化學(xué)習(xí)理論，其相關(guān)定義以離散環(huán)境為基礎(chǔ)展開，由于其良好的自學(xué)習(xí)性質(zhì)廣泛應(yīng)用于合作式的多智能體系統(tǒng)。同時(shí)，隨著多智能體系統(tǒng)理論研究的進(jìn)展，對(duì)理論在實(shí)際中的應(yīng)用要求進(jìn)一步提高。然而，“維數(shù)災(zāi)”問題突出、學(xué)習(xí)效率低下以及無(wú)收斂性理論保證等阻礙了其在合作式多智能體系統(tǒng)的推廣和應(yīng)用。

2、
　　本文針對(duì)合作式多智能體強(qiáng)化學(xué)習(xí)中的降維、信度分配以及收斂理論三個(gè)關(guān)鍵問題進(jìn)行研究。在分布式強(qiáng)化學(xué)習(xí)的降維手段基礎(chǔ)上，提出一種新的多智能體合作學(xué)習(xí)框架——交替跟蹤學(xué)習(xí)。一方面通過降維的Q學(xué)習(xí)緩解維數(shù)災(zāi)，另一方面基于交替跟蹤學(xué)習(xí)框架提高學(xué)習(xí)效率的同時(shí)保證合作策略的收斂，并實(shí)現(xiàn)學(xué)習(xí)智能體的信度分配。此外，針對(duì)分布式的多智能體同時(shí)學(xué)習(xí)進(jìn)行了初步的探討。
　　首先，以強(qiáng)化學(xué)習(xí)基本理論框架為對(duì)比基礎(chǔ)，結(jié)合分布式多智能體合作學(xué)習(xí)環(huán)境

3、，定義了新型的降維的獎(jiǎng)勵(lì)以及值函數(shù)。從適應(yīng)性角度分析了最佳響應(yīng)學(xué)習(xí)的合理性，假設(shè)非學(xué)習(xí)智能體策略穩(wěn)定環(huán)境下，提出了降維的最佳響應(yīng)學(xué)習(xí)算法，并證明了其收斂性。
　　其次，在定義降維跟蹤學(xué)習(xí)值函數(shù)的基礎(chǔ)之上，提出一種交替跟蹤的分布式多智能體合作學(xué)習(xí)框架，并重點(diǎn)分析了框架的策略搜索、降維、同時(shí)學(xué)習(xí)等特點(diǎn)。并針對(duì)實(shí)際應(yīng)用，給出了框架下多智能體進(jìn)行交替學(xué)習(xí)的切換機(jī)制。此外，在個(gè)體獎(jiǎng)勵(lì)已知情況下，將現(xiàn)有的最佳響應(yīng)算法融入交替跟蹤框架，形成一種

4、完全合作式的分布式多智能體強(qiáng)化學(xué)習(xí)算法。個(gè)體獎(jiǎng)勵(lì)相同條件下，多智能體合作推箱子作為仿真對(duì)象，驗(yàn)證了所提算法的正確性和有效性。
　　再次，為進(jìn)一步擴(kuò)展算法的應(yīng)用范圍，針對(duì)一般的合作式多智能體系統(tǒng)，個(gè)體獎(jiǎng)勵(lì)未知情況下，提出采用隨機(jī)逼近方式獲取學(xué)習(xí)智能體的個(gè)體獎(jiǎng)勵(lì)以實(shí)現(xiàn)信度分配。同樣，建立在交替跟蹤的交替學(xué)習(xí)框架下，結(jié)合基于信度分配的最佳響應(yīng)學(xué)習(xí)算法，克服了個(gè)體獎(jiǎng)勵(lì)的逼近問題，提出了一般合作式多智能體系統(tǒng)的強(qiáng)化學(xué)習(xí)算法。以多智能體合作推