半Markov切換空間控制過程及其應用.pdf

1、隨著信息科學技術的迅猛發(fā)展和廣泛應用，出現(xiàn)了大量反映現(xiàn)代科學技術發(fā)展方向的網(wǎng)絡通信系統(tǒng)。在應用需求的推動下，網(wǎng)絡通信系統(tǒng)的功能日益強大，結構日趨復雜，加上多種控制策略與隨機變化的應用環(huán)境頻繁交互，使得系統(tǒng)的動態(tài)行為更加復雜。網(wǎng)絡通信系統(tǒng)的性能分析和優(yōu)化為系統(tǒng)的設計提供依據(jù)，為系統(tǒng)的運行提供控制決策方案，在提高系統(tǒng)的運行效率和服務能力并提供服務質量保證方面發(fā)揮著關鍵的作用。在諸如系統(tǒng)與控制、運籌學、計算機科學及人工智能等領域，出現(xiàn)了眾多用

2、于研究隨機動態(tài)系統(tǒng)性能與優(yōu)化的方法。實際網(wǎng)絡通信系統(tǒng)的復雜性與現(xiàn)有優(yōu)化方法的局限性，是該研究領域所面臨的挑戰(zhàn)。如何更好地描述系統(tǒng)的特征并加以有效利用，探索新的優(yōu)化方法，解決實際網(wǎng)絡通信系統(tǒng)中存在的關鍵技術問題，是當前面臨的重要理論和應用課題。 本文研究旨在面向現(xiàn)代網(wǎng)絡通信系統(tǒng)中的全新控制對象，探索有效的性能分析與優(yōu)化方法。系統(tǒng)地提出事件驅動的具有層次化動態(tài)結構的半Markov切換空間控制過程，涉及到系統(tǒng)的建模、性能分析、基于事件

3、的優(yōu)化方法。通過對事件靈活定義和分類，并根據(jù)系統(tǒng)的動態(tài)特征，從狀態(tài)空間上將系統(tǒng)劃分為多個層級，使得模型的構建具有很高的靈活性、普適性和可擴展性，提高對實際系統(tǒng)的描述能力。采用事件驅動的控制策略，以減小策略空間，大幅度降低優(yōu)化算法的計算復雜度，提高算法的實時性。利用事件驅動的策略特性及層次化的動態(tài)結構信息，來降低優(yōu)化算法對系統(tǒng)參數(shù)信息的依賴，提高算法的自適應性。探索網(wǎng)絡通信系統(tǒng)中一類關鍵技術問題的解決途徑，如無線多媒體通信網(wǎng)的適應帶寬配置

4、、動態(tài)電源管理的策略優(yōu)化、新一代網(wǎng)絡媒體服務系統(tǒng)的建模與優(yōu)化，為現(xiàn)代信息服務業(yè)提供低代價、高性能、可擴展、易管理的控制決策方案。 通過對不同層級事件的定義，構造在事件驅動控制策略下系統(tǒng)的半Markov核和擬無窮小矩陣，定義了性能函數(shù)、切換代價以及優(yōu)化的性能測度，提出了半Markov切換空間控制過程的模型?；诎隡arkov性能勢，推導半Markov切換空間過程的Poisson方程，進而構造出事件驅動策略的靈敏度公式，包括性能梯度

5、和性能差公式。對于確定型策略的優(yōu)化，充分利用切換過程半。Markov核和擬無窮小矩陣中包含的層次化動態(tài)結構信息，推導了事件驅動的切換控制策略的比較定理，擺脫策略迭代算法對轉移概率信息的依賴，實現(xiàn)算法的自適應性；利用事件驅動的策略特性，放寬了策略迭代算法的適用性條件即行動不相關的前提，拓展了策略迭代算法的適用范圍；通過依據(jù)事件進行性能勢聚集，減少需要計算或估計的性能勢數(shù)量，有效降低計算的復雜度和提高算法的實時性。在此基礎上，提出了基于單樣

6、本軌道的在線自適應策略迭代算法，證明了算法的收斂性。對于隨機型策略的優(yōu)化，在性能梯度公式的基礎上，結合性能勢基于單樣本軌道的表示形式，推導出平均性能測度關于事件驅動的切換控制策略的性能梯度基于單樣本軌道的估計式，進而結合隨機逼近算法，提出了基于策略梯度的在線自適應優(yōu)化算法。利用事件驅動的策略特性，有效減小優(yōu)化算法的計算量，擺脫對系統(tǒng)參數(shù)的依賴，提高算法的自適應性。系統(tǒng)的層次化動態(tài)結構使得基于梯度的算法能夠收斂到全局最優(yōu)。研究無線多媒體通

7、信網(wǎng)的適應帶寬配置，通過構建事件驅動的隨機分析模型，將適應帶寬配置問題轉化為一個帶約束的隨機優(yōu)化問題。在模型中，適應帶寬配置和呼叫準入控制構成一個統(tǒng)一整體，考慮了各類業(yè)務的不同優(yōu)先級，區(qū)分了新到達呼叫與越區(qū)切換呼叫。考慮三種重要的QoS指標作為約束，提出一種結合策略梯度估計和隨機逼近的在線自適應優(yōu)化算法。該算法充分利用事件驅動的策略特性，計算和評估只需在事件發(fā)生的時刻進行，并且不依賴于系統(tǒng)參數(shù)的信息，對環(huán)境的變化具有良好的適應性，能夠保

8、證收斂到全局最優(yōu)值，有效求解多種QoS指標約束下的適應帶寬配置問題。 考慮動態(tài)電源管理的隨機型策略和超時策略的優(yōu)化問題，構建事件驅動的半Markov隨機切換模型，通過刻畫隨機環(huán)境中動態(tài)電源管理系統(tǒng)所表現(xiàn)出的典型的層次化動態(tài)，對實時系統(tǒng)的動態(tài)提供了精確的描述。對應于隨機型策略和超時策略，提出了兩種在線自適應優(yōu)化算法，充分利用事件驅動的策略特性及系統(tǒng)的層次化動態(tài)結構信息，實現(xiàn)了實際應用對算法的自適應性、計算實時性和有效性的需求。通過

9、分析在隨機型策略和超時策略控制下動態(tài)電源管理系統(tǒng)的穩(wěn)態(tài)特性，揭示了這兩種類型的電源管理策略在性能與功耗均衡上的等效性，推導出二者之間的等效關系。 針對新一代網(wǎng)絡媒體服務系統(tǒng)采用分層控制機制的特點，提出了一個三層級的半Markov切換空間控制過程的系統(tǒng)分析模型，為自適應資源部署、動態(tài)服務組合和用戶請求調(diào)度提供了一個綜合的性能分析和策略優(yōu)化框架。提出一種基于動態(tài)文件分組的流媒體服務器集群負載均衡策略，充分利用流化服務器的緩存來緩解存