云計(jì)算環(huán)境下基于MapReduce的資源調(diào)度模型和算法研究.pdf

1、MapReduce作為一種新興起來的云計(jì)算編程模型,在大規(guī)模密集型數(shù)據(jù)的應(yīng)用方面,如網(wǎng)頁檢索,科學(xué)計(jì)算與數(shù)據(jù)挖掘等,得到了廣泛的應(yīng)用。MapReduce庫為設(shè)計(jì)者提供了一種硬件透明的開發(fā)壞境,使其方便存儲和使用,簡化了以往并行計(jì)算架構(gòu)對底層操作困難等問題,基于MapReduce的系統(tǒng)自身有著獨(dú)立的存儲,高擴(kuò)展性以及良好的容錯處理機(jī)制等優(yōu)點(diǎn)。盡管MapReduce自身有著以上優(yōu)勢,但由于現(xiàn)階段的機(jī)制并沒有成熟,資源調(diào)度一直以來成為限制其執(zhí)

2、行效率的最大問題之一。
　　 面向異構(gòu)環(huán)境下的設(shè)備和應(yīng)用情況,采用Hadoop開源實(shí)現(xiàn),本文主要針對MapReduce機(jī)制中存在的不合理資源調(diào)度問題進(jìn)行了歸總,并提出相應(yīng)的改進(jìn)思想。主要研究內(nèi)容如下:
　　 (1)在MapReduce原始的同構(gòu)環(huán)境資源調(diào)度方式基礎(chǔ)上,提出了動態(tài)資源比例分配算法(DPRS),動態(tài)監(jiān)控節(jié)點(diǎn)的負(fù)載情況,合理分配任務(wù)相應(yīng)的資源,改進(jìn)了原始機(jī)制處理異構(gòu)環(huán)境下的Reduce任務(wù)調(diào)度不均衡的問題。

3、r>　　 (2)為了讓輸入數(shù)據(jù)盡可能本地化執(zhí)行,采用了局部能力優(yōu)化分配模型(LCPO),省去了原始備份冗余所帶來的開銷,減少了網(wǎng)絡(luò)傳輸流量,提高了Map任務(wù)的執(zhí)行效率。
　　 (3)為了提高異構(gòu)環(huán)境中Reduce落后節(jié)點(diǎn)的備份執(zhí)行效率,并解決原始機(jī)制中的落后節(jié)點(diǎn)誤判的問題,提出了快速長任務(wù)備份算法(FLTB)。
　　 (4)對于輸入文件分割的數(shù)據(jù)塊分布到各個(gè)Map任務(wù)中產(chǎn)生的不均衡問題,本文用預(yù)處理方式來實(shí)現(xiàn)啟發(fā)式的數(shù)