云環(huán)境下能量高效的副本管理及任務(wù)調(diào)度技術(shù)研究.pdf

1、能量高效的數(shù)據(jù)管理方法已經(jīng)受到學(xué)術(shù)界和商業(yè)界的廣泛關(guān)注，能耗已經(jīng)成為制約IT技術(shù)進(jìn)一步發(fā)展的重要因素。從數(shù)據(jù)中心的生命周期來看，能耗已經(jīng)超過硬件成本成為數(shù)據(jù)中心運(yùn)行僅次于人力資源成本的主要代價(jià)。大規(guī)模海量數(shù)據(jù)的爆發(fā)的推動(dòng)了云計(jì)算技術(shù)的發(fā)展，云可以看作是一個(gè)集中式管理的具有海量數(shù)據(jù)存儲(chǔ)和計(jì)算能力的超大規(guī)模分布式計(jì)算系統(tǒng)。隨著云計(jì)算技術(shù)的發(fā)展計(jì)算集群的規(guī)模不斷擴(kuò)大，也帶來了能量的巨大消耗問題和熱量快速散發(fā)的迫切需求，使得能量高效的云計(jì)算研究

2、越來越受到重視。
　　本文針對(duì)云環(huán)境下的能量高效的需求，對(duì)云系統(tǒng)中數(shù)據(jù)副本管理方法和任務(wù)調(diào)度策略進(jìn)行了研究，提出了一種基于節(jié)點(diǎn)編號(hào)的低能耗數(shù)據(jù)存儲(chǔ)方法及任務(wù)調(diào)度策略和基于關(guān)鍵核心區(qū)模型的低能耗數(shù)據(jù)存儲(chǔ)方法及任務(wù)調(diào)度策略，并在Yahoo的云計(jì)算開放原型系統(tǒng)Hadoop中實(shí)現(xiàn)了上述兩種方法，實(shí)驗(yàn)結(jié)果表明本文提出的兩種方法在一定條件下節(jié)約了系統(tǒng)的能量消耗，達(dá)到了總體的能量高效，為后續(xù)研究工作的開展奠定了基礎(chǔ)。本文的主要工作和創(chuàng)新點(diǎn)如下：

3、
　?、欧治霎?dāng)前能量高效數(shù)據(jù)處理技術(shù)的研究現(xiàn)狀，以及云計(jì)算技術(shù)的發(fā)展?fàn)顩r和傳統(tǒng)的能量高效研究方法。設(shè)計(jì)分布式云環(huán)境下節(jié)點(diǎn)編號(hào)的方法，提出一種基于節(jié)點(diǎn)編號(hào)的能量高效的副本管理方法，并在這種分布式副本存儲(chǔ)的基礎(chǔ)上實(shí)現(xiàn)能耗節(jié)約的任務(wù)調(diào)度方法。該方法根據(jù)計(jì)算節(jié)點(diǎn)所在路由環(huán)境對(duì)云環(huán)境下無序的計(jì)算節(jié)點(diǎn)賦于唯一全局編號(hào)，由其代替節(jié)點(diǎn)IP地址參與系統(tǒng)任務(wù)分配，節(jié)點(diǎn)編號(hào)的相互映射滿足了副本存儲(chǔ)的完備性要求，結(jié)合DVS技術(shù)的任務(wù)調(diào)度方法節(jié)約了系統(tǒng)中空

4、閑節(jié)點(diǎn)的能量消耗，從而達(dá)到了整個(gè)系統(tǒng)的能量高效。
　?、铺岢龌陉P(guān)鍵核心區(qū)模型的低能耗數(shù)據(jù)存儲(chǔ)方法，從云環(huán)境下默認(rèn)的數(shù)據(jù)副本分布方式出發(fā)，在不改變默認(rèn)數(shù)據(jù)分布方法的基礎(chǔ)上，根據(jù)數(shù)據(jù)塊與數(shù)據(jù)節(jié)點(diǎn)的映射匹配關(guān)系，抽象選取出數(shù)據(jù)完備的全匹配節(jié)點(diǎn)集即“核心區(qū)域關(guān)鍵節(jié)點(diǎn)集”。在核心區(qū)模型的基礎(chǔ)之上實(shí)現(xiàn)能量高效的副本管理方法和任務(wù)調(diào)度策略。選取出的核心區(qū)關(guān)鍵區(qū)域節(jié)點(diǎn)集包含了當(dāng)前系統(tǒng)中的所有數(shù)據(jù)副本至少一個(gè)備份，即滿足了數(shù)據(jù)的完備性。同時(shí)，關(guān)閉