數(shù)據(jù)中心能耗約束的資源管理技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，大量的網(wǎng)絡(luò)應(yīng)用集中部署在數(shù)據(jù)中心內(nèi)運(yùn)行。網(wǎng)絡(luò)應(yīng)用和用戶數(shù)量的飛速增長，導(dǎo)致數(shù)據(jù)中心的規(guī)模不斷擴(kuò)大，甚至達(dá)到了百萬量級(jí)。能耗成為數(shù)據(jù)中心資源管理亟需解決的重要問題，也是近年來學(xué)術(shù)界、工業(yè)界研究的熱點(diǎn)。數(shù)據(jù)中心資源管理面臨高能耗、異構(gòu)性和可擴(kuò)展性等問題，如何在滿足應(yīng)用服務(wù)質(zhì)量的前提下，優(yōu)化同構(gòu)型、異構(gòu)型數(shù)據(jù)中心的能耗，是本文主要研究的能耗受限資源管理問題。
　　針對(duì)以上問題，本文介紹了數(shù)據(jù)中心能耗優(yōu)化、資源調(diào)

2、度等發(fā)展現(xiàn)狀，在深入分析谷歌數(shù)據(jù)中心真實(shí)負(fù)載記錄的基礎(chǔ)上，提出了面向同構(gòu)型和異構(gòu)型數(shù)據(jù)中心的規(guī)模動(dòng)態(tài)供應(yīng)技術(shù)，該技術(shù)能夠依據(jù)資源使用的歷史信息，準(zhǔn)確預(yù)測下一時(shí)間段內(nèi)所需的資源量，并求解出數(shù)據(jù)中心的最佳規(guī)模，有效優(yōu)化系統(tǒng)能耗；在數(shù)據(jù)中心規(guī)模確定的情況下，提出一種能耗與SLA懲罰代價(jià)感知的資源調(diào)度算法，通過資源的優(yōu)化配置，算法能夠降低數(shù)據(jù)中心的能耗；提出一種系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度算法，優(yōu)化多種優(yōu)先級(jí)業(yè)務(wù)的平均調(diào)度延遲和響應(yīng)時(shí)間。

3、r>　　本文主要貢獻(xiàn)包括以下四個(gè)方面：
　　1、提出一種同構(gòu)型數(shù)據(jù)中心的規(guī)模動(dòng)態(tài)供應(yīng)技術(shù)(Homogeneous Datacenter Dynamic Capacity Provisioning, HmD-DCP)，通過動(dòng)態(tài)控制活躍的服務(wù)器數(shù)量來優(yōu)化數(shù)據(jù)中心的能耗開銷。首先通過分析谷歌數(shù)據(jù)中心負(fù)載工作記錄，得到數(shù)據(jù)中心承載的應(yīng)用特征等信息，作為后續(xù)研究的基礎(chǔ)。針對(duì)大規(guī)模數(shù)據(jù)中心存在的能耗巨大的問題，設(shè)計(jì)了一種規(guī)模動(dòng)態(tài)供應(yīng)體系結(jié)構(gòu)，

4、該體系結(jié)構(gòu)基于以下三個(gè)因素實(shí)現(xiàn)數(shù)據(jù)中心的規(guī)模調(diào)節(jié)：隨時(shí)間變化的應(yīng)用業(yè)務(wù)資源需求、動(dòng)態(tài)變化的電能價(jià)格、動(dòng)態(tài)配置數(shù)據(jù)中心規(guī)模所帶來的開銷（開/關(guān)服務(wù)器可能會(huì)導(dǎo)致服務(wù)器故障）?；谠擉w系結(jié)構(gòu)，本文提出一種基于ARIMA（Auto-Regressive Integrated Moving Average,自回歸差分滑動(dòng)平均模型）的計(jì)算資源預(yù)測算法，該算法借助于MPC控制框架，求解出數(shù)據(jù)中心最佳規(guī)模，平衡數(shù)據(jù)中心的能耗開銷、違反SLA的懲罰開銷和

5、重配置規(guī)模帶來的開銷，最后使用谷歌數(shù)據(jù)中心負(fù)載記錄數(shù)據(jù)進(jìn)行模擬實(shí)驗(yàn)，說明HmD-DCP方法可以降低多達(dá)18％的能耗開銷，且能滿足SLA要求。
　　2、提出一種異構(gòu)型數(shù)據(jù)中心的規(guī)模動(dòng)態(tài)供應(yīng)技術(shù)(Heterogeneous Datacenter Dynamic Capacity Provisioning, HtD-DCP)。主要解決在異構(gòu)型數(shù)據(jù)中心環(huán)境下，如何動(dòng)態(tài)地配置數(shù)據(jù)中心的規(guī)模，使得該數(shù)據(jù)中心能夠在保證服務(wù)質(zhì)量(Quality

6、of Services, QoS)的前提下有效地降低能耗開銷。首先分析谷歌數(shù)據(jù)中心負(fù)載工作記錄，得出數(shù)據(jù)中心具有服務(wù)器異構(gòu)性、應(yīng)用對(duì)資源需求異構(gòu)、應(yīng)用對(duì)性能要求異構(gòu)等特性。設(shè)計(jì)了一種規(guī)模動(dòng)態(tài)供應(yīng)體系結(jié)構(gòu)，該體系結(jié)構(gòu)基于以下因素實(shí)現(xiàn)數(shù)據(jù)中心的規(guī)模調(diào)節(jié)：未來一段時(shí)間的資源使用量、違反SLA的懲罰代價(jià)。綜合考慮能耗開銷和服務(wù)質(zhì)量兩方面，對(duì)異構(gòu)型數(shù)據(jù)中心的規(guī)模動(dòng)態(tài)供應(yīng)問題進(jìn)行建模，將異構(gòu)型數(shù)據(jù)中心劃分為多個(gè)子系統(tǒng)（每個(gè)子系統(tǒng)由相同類型的服務(wù)器組

7、成），從而將異構(gòu)型數(shù)據(jù)中心規(guī)模動(dòng)態(tài)供應(yīng)問題轉(zhuǎn)化成多個(gè)同構(gòu)型數(shù)據(jù)中心規(guī)模供應(yīng)問題，通過問題轉(zhuǎn)化求解出各子系統(tǒng)需要配置的最優(yōu)活躍服務(wù)器數(shù)量。模擬實(shí)驗(yàn)表明HtD-DCP方法可以有效地降低數(shù)據(jù)中心的整體能耗，并保證數(shù)據(jù)中心對(duì)外提供的服務(wù)質(zhì)量。
　　3、提出一種能耗與SLA(Service Level Agreement,服務(wù)等級(jí)協(xié)定)懲罰代價(jià)感知的計(jì)算資源動(dòng)態(tài)調(diào)度算法（CA算法）。系統(tǒng)功耗、SLA懲罰代價(jià)是組成異構(gòu)型數(shù)據(jù)中心計(jì)算資源動(dòng)態(tài)調(diào)

8、度問題的主要因素，功耗是單位時(shí)間內(nèi)的能耗，直接反映能耗，本文分別對(duì)系統(tǒng)功耗和SLA懲罰代價(jià)建立數(shù)學(xué)模型，并通過理論分析和推導(dǎo)證明異構(gòu)型數(shù)據(jù)中心計(jì)算資源動(dòng)態(tài)調(diào)度問題是NP完全的。針對(duì)該問題，本文基于貪心算法的思想，提出一種能耗與SLA懲罰代價(jià)感知的資源動(dòng)態(tài)調(diào)度算法，并通過實(shí)驗(yàn)與兩種典型的調(diào)度算法（首次適應(yīng)算法和能耗感知算法）進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明:(1)在負(fù)載較輕情況下，CA算法能夠在保證服務(wù)質(zhì)量的情況下，相比于首次適應(yīng)算法和能耗感知算法

9、，使系統(tǒng)能耗進(jìn)一步下降3.3%;(2)在負(fù)載較重情況下，CA算法在能耗和性能上與這兩種典型的調(diào)度算法相當(dāng)。
　　4、提出一種適用于系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度算法。由于能耗難以精確度量，本文基于功耗對(duì)系統(tǒng)能耗受限的數(shù)據(jù)中心資源調(diào)度問題進(jìn)行描述和建模，提出一種基于公平調(diào)度的資源調(diào)度算法，F(xiàn)S（Fair Scheduling）算法。該算法通過引入調(diào)度權(quán)值和放置權(quán)值兩個(gè)參數(shù)，優(yōu)化多種優(yōu)先級(jí)業(yè)務(wù)的調(diào)度。實(shí)驗(yàn)結(jié)果表明，在輕負(fù)載場景和重負(fù)載