基于圖模型的分布式協(xié)同學習.pdf

1、多智能體系統(tǒng)（Multi-Agent System，MAS）是分布式人工智能（Distributed Artificial Intelligence，DAI）的一個重要分支。多智能體系統(tǒng)是多個智能體組成的集合，它的目標是將大而復雜的系統(tǒng)建設成小的、彼此互相通信和協(xié)調的，易于管理的系統(tǒng)，從而實現(xiàn)個體之間的沖突消解與協(xié)同合作。分布式控制方法具有個體局部交互、成本低、魯棒性強的優(yōu)點，因而多智能體系統(tǒng)通常采用分布式控制的方式來實現(xiàn)系統(tǒng)協(xié)同功能。

2、另一方面，圖模型可以簡潔有效地表示多智能體系統(tǒng)中復雜的依賴關系。將每個節(jié)點代表多智能體系統(tǒng)中的個體，圖模型可以有效地表征局部狀態(tài)觀察、行為選擇與獎賞接收（系統(tǒng)的目標是最大化所有節(jié)點的獎賞之和），因此基于圖模型的分布式控制對于多智能體系統(tǒng)研究具有重要的意義。
　　基于試錯的學習行為是智能體與環(huán)境進行交互的主要方式之一，本文主要研究基于圖模型的分布式協(xié)同學習，將圖模型的關系表征能力與個體的局部學習交互有效的結合起來，從而以最小的計算代

3、價實現(xiàn)最優(yōu)或者近似最優(yōu)的系統(tǒng)功能。本文主要包括以下兩個研究內容：
　　本文首先研究了基于分布式值函數(shù)（Distributed Value Function，DVF）的多智能體協(xié)同學習方法。該方法允許每個智能體將自己的值函數(shù)（所有節(jié)點未來獎賞的權重和的預估）發(fā)送給其鄰居節(jié)點，這樣不僅考慮了直接鄰居節(jié)點對智能體行為選擇的影響，同時還考慮了其他節(jié)點對智能體的間接影響；由于每個節(jié)點在系統(tǒng)中的位置重要性不同以及在學習過程中表現(xiàn)的好壞都會對其

4、鄰居節(jié)點產(chǎn)生不同的影響。本文提出了自適應權重函數(shù)的DVF，并將此方法與現(xiàn)有的分布式強化學習方法在電力系統(tǒng)電壓分配問題中進行比較，驗證了該方法的有效性。
　　本文的第二個工作是研究了基于回報傳播的分布式協(xié)同學習方法。該方法將稀疏協(xié)同學習方法與協(xié)同圖中的消息傳遞算法相結合，利用相應的協(xié)同圖將全局值函數(shù)分解為局部值函數(shù)的線性結合，并通過變量消除算法或者Max-Plus算法來計算最優(yōu)聯(lián)合行為，從而快速地找到使系統(tǒng)整體獎賞最高的最優(yōu)策略或近