提高任務(wù)并行度以優(yōu)化MapReduce集群資源的利用.pdf

1、作為一種編程模型，MapReduce已經(jīng)成為處理大規(guī)模數(shù)據(jù)處理問題的一個(gè)重要手段。目前，MapReduce已被廣泛地應(yīng)用于Web搜索，機(jī)器學(xué)習(xí)，電子商務(wù)等領(lǐng)域。Hadoop,作為MapReduce的一種開源實(shí)現(xiàn)，已經(jīng)被廣泛地用到離線大數(shù)據(jù)處理。目前因?yàn)閷?duì)處理海量數(shù)據(jù)的要求持續(xù)增長，Hadoop集群的規(guī)模也變的越來越大。為了管理大規(guī)模集群，人們?cè)噲D去提高集群的效率水平，用更強(qiáng)大的計(jì)算節(jié)點(diǎn)和水平擴(kuò)展去構(gòu)建的集群。這時(shí)高效地利用集群資源將變得

2、更有挑戰(zhàn)性。在研究Hadoop的過程中，發(fā)現(xiàn)在Hadoop的數(shù)據(jù)處理的并行粒度是比較大的，同時(shí)它不能充分利用多核系統(tǒng)的優(yōu)勢。這些問題會(huì)降低整個(gè)集群資源利用率和集群效率。為此，本文提出一種更加細(xì)粒度的數(shù)據(jù)處理策略，在增加系統(tǒng)負(fù)擔(dān)的情況下，對(duì)HDFS的數(shù)據(jù)塊進(jìn)一步地進(jìn)行分片，同時(shí)，在MapReduce的任務(wù)下產(chǎn)生多線程，充分利用多核系統(tǒng)，進(jìn)一步地進(jìn)行以提高任務(wù)執(zhí)行的并行度，從而優(yōu)化集群資源利用率和提升作業(yè)執(zhí)行的速度。我們把這個(gè)策略作為一個(gè)功