云計(jì)算大規(guī)模彈性資源的性能優(yōu)化技術(shù)研究.pdf

1、云計(jì)算的興起與發(fā)展徹底改變了人們對(duì)計(jì)算資源的使用方式，促生了以計(jì)算為中心向以業(yè)務(wù)和服務(wù)為中心的一次變革性轉(zhuǎn)化。基礎(chǔ)設(shè)施即服務(wù)（Infrastructure-as-a-Service， IaaS）模式在云計(jì)算的服務(wù)模式中占據(jù)了重要的地位，同時(shí)也是當(dāng)前云計(jì)算市場上主要組成部分。IaaS云服務(wù)將硬件基礎(chǔ)設(shè)施，包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等，作為一種可計(jì)量可伸縮的資源提供給客戶，我們稱之為彈性虛擬資源。彈性虛擬資源的服務(wù)性能決定了云服務(wù)的經(jīng)

2、濟(jì)成本與服務(wù)質(zhì)量，因而成為提供商和用戶共同關(guān)注的核心問題。優(yōu)化彈性資源的性能面臨著許多挑戰(zhàn)，解決這些問題不僅具有重要的學(xué)術(shù)價(jià)值，而且具有廣闊的應(yīng)用前景。
　　針對(duì)當(dāng)前IaaS云計(jì)算大規(guī)模虛擬機(jī)群部署時(shí)間較長的問題，本文提出了一種基于分布式塊設(shè)備的點(diǎn)對(duì)點(diǎn)虛擬機(jī)集群快速部署方法VMThunder，實(shí)現(xiàn)了10秒到20秒時(shí)間級(jí)的百臺(tái)數(shù)量級(jí)虛擬機(jī)集群快速部署，有效提高了部署效率。該方法的核心思想是：基于虛擬機(jī)啟動(dòng)過程中的按需性、多虛擬機(jī)啟動(dòng)

3、行為相似性等特點(diǎn)，利用塊設(shè)備系統(tǒng)的靈活映射和配置，通過虛擬機(jī)按需獲取啟動(dòng)數(shù)據(jù)、在中繼節(jié)點(diǎn)緩存數(shù)據(jù)并對(duì)外提供與原始鏡像服務(wù)器等價(jià)服務(wù)的方法，減少了單機(jī)載入數(shù)據(jù)量，減少了存儲(chǔ)服務(wù)器總負(fù)載，從而達(dá)到加快部署時(shí)間的目標(biāo)。在此基礎(chǔ)上，本文針對(duì)用戶需要在虛擬機(jī)啟動(dòng)后快速啟動(dòng)應(yīng)用程序的需求，提出了一種基于虛擬機(jī)休眠恢復(fù)的虛擬機(jī)集群快速部署方法VMThunder+，可以在VMThunder相近時(shí)延下啟動(dòng)并攜帶指定的應(yīng)用狀態(tài)。VMThunder和VMTh

4、under+在國家超算天津中心得到了實(shí)際大規(guī)模的部署和測試，實(shí)驗(yàn)表明，實(shí)測160臺(tái)虛擬機(jī)的啟動(dòng)總耗時(shí)與單機(jī)上啟動(dòng)一臺(tái)虛擬機(jī)耗時(shí)相似，同時(shí)兩種方法均可以保證虛擬機(jī)運(yùn)行態(tài)的性能。
　　在傳統(tǒng)存儲(chǔ)系統(tǒng)中，預(yù)讀機(jī)制對(duì)提高存儲(chǔ)I/O性能發(fā)揮著巨大的作用；而在分布式多虛擬抽象層存儲(chǔ)結(jié)構(gòu)中，預(yù)讀機(jī)制則表現(xiàn)出預(yù)讀傳遞、預(yù)讀疊加、以及預(yù)讀窗口激進(jìn)展開等現(xiàn)象，帶來了網(wǎng)絡(luò)數(shù)據(jù)流量增加、阻礙序列后續(xù)請(qǐng)求等問題。針對(duì)該問題，本文通過實(shí)驗(yàn)證實(shí)了多層預(yù)讀機(jī)制中

5、的預(yù)讀傳遞與疊加現(xiàn)象對(duì)維持整個(gè)虛擬存儲(chǔ)的性能是必要的；同時(shí)，本文提出了一種扇形預(yù)讀窗口展開機(jī)制來克服激進(jìn)窗口展開機(jī)制帶來的數(shù)據(jù)流量陡增現(xiàn)象。該機(jī)制的主要思想是：通過建立讀請(qǐng)求的深度信息維護(hù)機(jī)制，使每層虛擬抽象層感知自身在整個(gè)I/O路徑上的位置，進(jìn)而協(xié)同完成整體預(yù)讀窗口的展開；協(xié)同式的窗口展開方式平滑且幅度小，可以有效避免過于激進(jìn)的、阻塞后續(xù)讀請(qǐng)求的初始預(yù)讀窗口；該協(xié)同預(yù)讀窗口的展開機(jī)制是適應(yīng)性的，可以根據(jù)不同的網(wǎng)絡(luò)延時(shí)調(diào)節(jié)窗口展開的粒度

6、。通過實(shí)驗(yàn)，我們將多層體系結(jié)構(gòu)下的讀數(shù)據(jù)訪問性能提升了20％到50%。并且，讀請(qǐng)求中序列數(shù)量越多，激進(jìn)的預(yù)讀窗口展開機(jī)制帶來的性能損耗越大，該機(jī)制發(fā)揮的作用也越大。
　　雖然在線遷移使得虛擬機(jī)的可用率可以高于物理機(jī)的可用率，但當(dāng)前虛擬機(jī)的遷移性能尚不理想。針對(duì)該問題，本文提出了面向存儲(chǔ)遷移問題的解耦合在線存儲(chǔ)遷移方法DLSM和面向內(nèi)存遷移問題的塊設(shè)備化解耦合在線遷移方法BDLM。其核心技術(shù)點(diǎn)是：DLSM通過塊設(shè)備系統(tǒng)的靈活映射與配

7、置，實(shí)現(xiàn)了先遷后拷（Post-Copy）技術(shù)，有效的避免了迭代拷貝臟數(shù)據(jù)與遷移收斂問題；DLSM由于在存儲(chǔ)層實(shí)現(xiàn)，對(duì)虛擬機(jī)透明，因此輕量地解決了已有先遷后拷方法中復(fù)雜的修改虛擬機(jī)管理器和其引發(fā)的內(nèi)存數(shù)據(jù)崩潰等衍生問題。BDLM通過氣球過充的方法來完成內(nèi)存數(shù)據(jù)的塊設(shè)備化，從而復(fù)用DLSM方法完成輕量級(jí)的內(nèi)存在線遷移，有效的減小了內(nèi)存遷移中對(duì)內(nèi)存缺頁等問題進(jìn)行維護(hù)的復(fù)雜度。實(shí)驗(yàn)證明：較KVM原生CSI存儲(chǔ)遷移方法，DLSM相比縮短了50%至