MapReduce計算模型下數(shù)據(jù)傾斜處理方法的研究.pdf

1、“大數(shù)據(jù)”時代的到來，眾多涉及海量數(shù)據(jù)處理的應(yīng)用蓬勃涌現(xiàn)，傳統(tǒng)的分布式數(shù)據(jù)庫、并行數(shù)據(jù)庫和數(shù)據(jù)倉庫等系統(tǒng)的數(shù)據(jù)管理和處理技術(shù)，由于在可擴展性、高可用性和容錯性等方面的限制，已無法適應(yīng)海量數(shù)據(jù)的存儲和處理。在大規(guī)模數(shù)據(jù)分析和處理中，云計算平臺建設(shè)都需要數(shù)據(jù)密集型計算模型的支撐。MapReduce數(shù)據(jù)密集型計算模型最早由Google提出，主要用于處理和分析大規(guī)模數(shù)據(jù)集，充分利用分布式計算和存儲資源，把數(shù)據(jù)處理和計算任務(wù)分配到數(shù)以千計的廉價物

2、理節(jié)點上，提供海量存儲能力和并行計算能力。然而，MapReduce計算模型會在任務(wù)執(zhí)行過程中出現(xiàn)不均衡問題，進而影響任務(wù)運行效率。Map任務(wù)或Reduce任務(wù)應(yīng)盡量避免發(fā)生輸入數(shù)據(jù)傾斜，這將導(dǎo)致某些子任務(wù)運行緩慢，嚴(yán)重地影響MapReduce的產(chǎn)能。此外，在數(shù)據(jù)連接中,當(dāng)某些數(shù)值的出現(xiàn)次數(shù)遠(yuǎn)遠(yuǎn)髙于其他數(shù)值出現(xiàn)的次數(shù)時,就會發(fā)生數(shù)據(jù)傾斜問題。
　　本文針對MapReduce計算模型Hash分區(qū)策略易引發(fā)Reduce階段輸入數(shù)據(jù)傾斜問

3、題，提出基于Hash虛擬平衡重分區(qū)的數(shù)據(jù)傾斜處理算法 HVBR-SH(Hash Virtual Balance Repartitioning based Skew Handling)。HVBR-SH在Map階段采用虛擬分區(qū)，使得鍵值對分散存儲，為后續(xù)重分區(qū)提供更優(yōu)分區(qū)組合；在 Reduce階段，HVBR-SH利用連續(xù)虛擬分區(qū)平衡重組的方法將收集到的虛擬分區(qū)重新劃分成與Reduce任務(wù)數(shù)相同分區(qū)，并確保重分區(qū)后最大

4、分區(qū)的數(shù)據(jù)量最小，加快整個 Reduce階段的執(zhí)行速度。對比實驗結(jié)果表明，HVBR-SH算法能有效平衡各個Reduce任務(wù)的輸入規(guī)模并控制運行時間，有效改善了Reduce輸入傾斜問題，提高了MapReduce任務(wù)的執(zhí)行效率。針對現(xiàn)有MapReduce在大規(guī)模集群上進行海量數(shù)據(jù)連接處理操作時的效率問題，提出一種基于預(yù)散列和索引技術(shù)的MapReduce數(shù)據(jù)連接處理機制。該機制對 Map結(jié)果數(shù)據(jù)先進行預(yù)散列處理，建立對應(yīng)