基于強化學習的劣化系統(tǒng)維修策略研究.pdf

1、工業(yè)生產(chǎn)中，受到運行時間和所處環(huán)境的影響，生產(chǎn)系統(tǒng)的狀態(tài)不斷劣化，工作效率和性能都逐漸下降。當下降到無法滿足工作要求時，即使系統(tǒng)還能工作，仍將其視為失效，系統(tǒng)失效會造成經(jīng)濟上的巨大損失。事前維修是指利用一種或一系列的維修作業(yè)，發(fā)現(xiàn)或排除某一隱蔽或潛在故障，使系統(tǒng)保持在良好的工作狀態(tài)，避免系統(tǒng)失效，這對于減少生產(chǎn)成本以及工業(yè)生產(chǎn)有著重要的影響。因此，如何對生產(chǎn)系統(tǒng)的維修進行調(diào)配，避免系統(tǒng)在一個生產(chǎn)成本較高的狀態(tài)下運行，以及對提高系統(tǒng)的可靠

2、性和安全性是一個重要的研究課題。
　　 論文以強化學習為基礎(chǔ)，首先針對離散狀態(tài)下的劣化系統(tǒng)維修問題，建立了連續(xù)時間的半馬爾可夫決策過程(Semi-Markov Decision Process,SMDP)模型。為了避免結(jié)果陷入局部最優(yōu)值，使用了Q 學習與模擬退火(Simulated Annealing，SA)相結(jié)合的算法對該問題進行求解，得到系統(tǒng)較優(yōu)的維修策略。通過仿真得出平均和折扣性能準則下的優(yōu)化結(jié)果，并討論了檢測間隔時間對結(jié)

3、果的影響。
　　 同時，論文還考慮了部分可觀的劣化系統(tǒng)，也即檢測存在誤差觀測者不能完全確定系統(tǒng)的狀態(tài)，而只能通過不完整的信息來對系統(tǒng)進行決策的情況，針對離散狀態(tài)連續(xù)時間下的問題建立了部分可觀半馬爾可夫決策過程(Partially Observed Semi-Markov Decision Process，POSMDP)模型，利用了強化學習中的()Sara λ學習算法以及NSM 算法，分別從無記憶和基于記憶的角度來對問題進行求解，