基于平均型強化學習算法的動態(tài)調(diào)度方法的研究.pdf

1、論文主要研究了基于平均型強化學習算法的動態(tài)調(diào)度方法。 實際的動態(tài)調(diào)度問題往往呈現(xiàn)出很大的復雜性：動態(tài)調(diào)度是一類信息不完全的調(diào)度，在環(huán)境不確定和擾動因素的影響下，需要不斷的改變調(diào)度策略，是調(diào)度策略優(yōu)化的過程；動態(tài)調(diào)度通常是對多約束下多目標的綜合考慮；動態(tài)調(diào)度處理的問題常常帶有隨機性。解決動態(tài)調(diào)度的方法也有很多，因此論文首先對解決動態(tài)調(diào)度問題的方法進行了歸納總結(jié)，大致分為基于運籌學理論的傳統(tǒng)調(diào)度方法和基于人工智能的智能調(diào)度方法。強化

2、學習作為機器學習的一種，它組合了動態(tài)規(guī)劃、隨機逼近和函數(shù)逼近的思想，智能體學習從環(huán)境到行為的映射，以使獎勵信號函數(shù)值最大。因為強化學習與以往調(diào)度方法相比，無需建立精確的問題模型，也有著堅實的數(shù)學基礎(chǔ)，很適合解決動態(tài)調(diào)度問題，因此論文把基于強化學習的調(diào)度方法特地歸為一類。 目前有多種強化學習算法，各算法性能存在著差異，在各算法中也有相應(yīng)的參數(shù)，這些參數(shù)對算法有著重要的影響。因此在將強化學習算法應(yīng)用于具體的實際調(diào)度問題前，應(yīng)首先對學

3、習算法本身做深入的研究。論文針對一個比較典型的強化學習算法實驗環(huán)境Grid-World，采用面向?qū)ο蟮乃枷牒图夹g(shù)用Visual C++6.0搭建可視化的仿真軟件。在該環(huán)境中，強化學習算法單元暴露固定的算法函數(shù)接口，對平均型算法R學習、折扣型算法Q學習、Sarsa 學習編制動態(tài)鏈接庫形式的算法，形成多種強化學習的算法包，針對參數(shù)對強化學習算法性能的影響進行仿真實驗分析，并比較不同的強化學習算法性能的差異。該軟件的搭建與得出的關(guān)于強化學習算

4、法的定性結(jié)論為后續(xù)的研究打下基礎(chǔ)。 論文的最后針對一個實際的復雜動態(tài)調(diào)度系統(tǒng)——電梯群組調(diào)度，采用基于平均型強化學習R學習算法來進行仿真實驗。分析電梯群組調(diào)度問題的特點，把它抽象為平均型的馬氏決策過程，定義對應(yīng)于平均型強化學習算法中的狀態(tài)、行為、報酬等元素，采用隨機選擇策略防止求解陷入局部最優(yōu)，應(yīng)用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)解決行為值函數(shù)的存儲和泛化問題，使基于平均型的強化學習算法順利應(yīng)用于電梯群組調(diào)度。結(jié)合電梯群控仿真環(huán)境進行調(diào)度算法