基于Maxdiff直方圖的MapReduce負(fù)載均衡研究.pdf

1、近年來，隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和物理信息系統(tǒng)等技術(shù)漸趨成熟，物聯(lián)網(wǎng)領(lǐng)銜的云計(jì)算、混合云計(jì)算和自然語言問答等新興技術(shù)突飛猛進(jìn)，科學(xué)研究、電子商務(wù)和醫(yī)療保健等領(lǐng)域累積的數(shù)據(jù)已達(dá) TB級(jí)以上，大數(shù)據(jù)已經(jīng)普遍存在于各個(gè)領(lǐng)域。傳統(tǒng)數(shù)據(jù)處理技術(shù)在性能擴(kuò)展方面遭遇瓶頸，已經(jīng)不能滿足大數(shù)據(jù)的分析需求，以MapReduce為代表的批處理計(jì)算技術(shù)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。MapReduce計(jì)算模型充分利用分布式計(jì)算和存儲(chǔ)資源，把數(shù)據(jù)

2、和計(jì)算任務(wù)分配到數(shù)以千計(jì)的廉價(jià)物理節(jié)點(diǎn)上，提供海量存儲(chǔ)能力和并行計(jì)算能力。作為處理海量數(shù)據(jù)的分布式大規(guī)模集群計(jì)算框架，MapReduce性能好、性價(jià)比高、穩(wěn)定性強(qiáng)，因此成為大數(shù)據(jù)環(huán)境下備受關(guān)注的數(shù)據(jù)處理技術(shù)，MapReduce負(fù)載均衡問題作為影響集群吞吐率的關(guān)鍵因素成為學(xué)術(shù)界的研究熱點(diǎn)。分布式計(jì)算環(huán)境下，數(shù)據(jù)分布的均勻程度很大程度上影響著集群的性能。然而，當(dāng)前MapReduce在數(shù)據(jù)混洗階段多采用哈希隨機(jī)劃分為Reduce階段分配數(shù)據(jù)，

3、當(dāng)數(shù)據(jù)分布傾斜時(shí)，會(huì)造成Reduce階段各節(jié)點(diǎn)負(fù)載不均衡，從而導(dǎo)致集群吞吐率降低。
　　本文提出一種基于Maxdiff直方圖的負(fù)載均衡方法 MHLB(Maxdiff Histogram Load Balance)。MHLB首先基于預(yù)處理技術(shù)，采用Maxdiff直方圖估計(jì)Map階段輸出中間結(jié)果的數(shù)據(jù)分布情況；然后基于貪心策略提出改進(jìn)的數(shù)據(jù)劃分方法，實(shí)現(xiàn)數(shù)據(jù)混洗過后數(shù)據(jù)記錄的均衡劃分。實(shí)驗(yàn)結(jié)果證明，在同構(gòu)集群下，較之標(biāo)準(zhǔn)MapRedu