面向大規(guī)模圖數(shù)據(jù)處理的虛擬機(jī)管理系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著電子商務(wù)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的進(jìn)一步發(fā)展，數(shù)據(jù)的規(guī)模、產(chǎn)生速度、復(fù)雜性均日益增長(zhǎng)，標(biāo)志著人類社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。隨著數(shù)據(jù)之間的聯(lián)系變得更加緊密、依賴關(guān)系更加復(fù)雜，部分?jǐn)?shù)據(jù)的分布模式逐漸具有圖的特征。傳統(tǒng)的大數(shù)據(jù)處理技術(shù)，如MapReduce批處理框架不適用于關(guān)系復(fù)雜、需要多次迭代的圖數(shù)據(jù)。谷歌的Pregel系統(tǒng)通過(guò)并行化的思想，并行地進(jìn)行頂點(diǎn)計(jì)算，大大提高了計(jì)算性能，為大規(guī)模圖數(shù)據(jù)處理提供了新的思路?，F(xiàn)有大規(guī)模圖數(shù)據(jù)處理

2、的研究工作均基于Pregel的思想，部分解決了大規(guī)模圖數(shù)據(jù)處理的問(wèn)題，但仍存在如下的問(wèn)題:一方面忽略了未隔離應(yīng)用間的資源競(jìng)爭(zhēng)而造成的性能衰減;另一方面則忽略了應(yīng)用各階段對(duì)資源的彈性需求而造成的性能下降或者資源浪費(fèi)問(wèn)題。為了解決以上的問(wèn)題，本碩士論文將虛擬化技術(shù)引入圖數(shù)據(jù)處理中，通過(guò)深入分析圖數(shù)據(jù)處理過(guò)程的執(zhí)行特性，并結(jié)合虛擬化良好的進(jìn)程隔離性以及靈活的資源彈性可管理性，提出面向應(yīng)用的圖劃分以及資源分配與調(diào)度機(jī)制，實(shí)現(xiàn)根據(jù)應(yīng)用的具體執(zhí)行模

3、式來(lái)進(jìn)行資源的彈性供給，以提高圖數(shù)據(jù)處理系統(tǒng)的整體執(zhí)行效率。綜上所述，本論文從以下四個(gè)方面開(kāi)展研究工作:
　　首先，研究大規(guī)模圖數(shù)據(jù)處理應(yīng)用執(zhí)行模式的抽取和分析機(jī)制。基于開(kāi)源類Pregel系統(tǒng)進(jìn)行二次開(kāi)發(fā)，完成對(duì)應(yīng)用執(zhí)行模式的抽取，并建立執(zhí)行模式與底層資源需求間的映射關(guān)系，為后續(xù)虛擬資源的分配與調(diào)度提供可靠的理論依據(jù)，是本文研究工作的基礎(chǔ)。
　　其次，研究應(yīng)用感知的大規(guī)模圖數(shù)據(jù)劃分方法。大規(guī)模圖數(shù)據(jù)劃分是并行計(jì)算的前提。本文

4、在虛擬化環(huán)境中，根據(jù)應(yīng)用的執(zhí)行模式，對(duì)圖數(shù)據(jù)進(jìn)行合理地劃分，從而減少網(wǎng)絡(luò)通訊并且實(shí)現(xiàn)負(fù)載均衡。對(duì)圖數(shù)據(jù)進(jìn)行合理地劃分一方面有助于更好地進(jìn)行資源分配與調(diào)度，另一方面可以提升應(yīng)用的執(zhí)行性能。
　　再次，研究面向應(yīng)用執(zhí)行模式的虛擬資源分配與調(diào)度機(jī)制。基于執(zhí)行模式與底層資源需求的映射關(guān)系，設(shè)計(jì)面向應(yīng)用的虛擬資源分配與調(diào)度機(jī)制，根據(jù)上層應(yīng)用執(zhí)行模式對(duì)資源進(jìn)行細(xì)粒度的分配與調(diào)度，在保證上層應(yīng)用性能的前提下提高資源利用率。
　　最后，通過(guò)

5、部署Openstack軟件以實(shí)現(xiàn)虛擬化環(huán)境，在此基礎(chǔ)上，實(shí)現(xiàn)了相關(guān)理論的研究工作，設(shè)計(jì)并開(kāi)發(fā)了大規(guī)模圖數(shù)據(jù)處理平臺(tái)nutcat以集成應(yīng)用特征抽取模塊，應(yīng)用感知的超塊劃分模塊以及面向應(yīng)用執(zhí)行模式的虛擬資源分配與調(diào)度模塊，并部署于東南大學(xué)云計(jì)算中心(SEU CLOUD)真實(shí)環(huán)境中。
　　通過(guò)在真實(shí)的東南大學(xué)云計(jì)算中心環(huán)境中的實(shí)驗(yàn)結(jié)果表明，本文提出的應(yīng)用感知的大規(guī)模圖數(shù)據(jù)劃分方法以及面向應(yīng)用執(zhí)行模式的虛擬資源分配與調(diào)度機(jī)制可以顯著地提高