Spark計算環(huán)境中的種間數(shù)據(jù)均衡放置算法研究.pdf

1、隨著網(wǎng)絡信息技術(shù)的不斷發(fā)展，全球使用互聯(lián)網(wǎng)的人數(shù)在持續(xù)的增加，互聯(lián)網(wǎng)已經(jīng)在很多行業(yè)進行實踐和應用，帶來了互聯(lián)網(wǎng)數(shù)據(jù)的批量式增加，分析處理這些海量的互聯(lián)網(wǎng)數(shù)據(jù)是一個至關(guān)重要的現(xiàn)實問題，同時也給分布式計算提供了新的發(fā)展機遇。Google提出的MapReduce，它的特點是可靠性高、編程簡單、能自動并行處理作業(yè)，是一種用于處理大數(shù)據(jù)的分布式并行編程模型。Spark是基于內(nèi)存計算的分布式并行計算框架，Spark通過引入RDD數(shù)據(jù)模型及基于內(nèi)存的

2、運算模式，使其能很好地適應大數(shù)據(jù)的數(shù)據(jù)挖掘這中場景，并且在迭代計算方面優(yōu)于Hadoop，迅速成為了廣大企業(yè)、學者的研究重點。此外，很多科研單位和企業(yè)開始在海量數(shù)據(jù)的處理和研究中開始應用Spark。
　　自MapReduce變成一個高效的和流行的并行數(shù)據(jù)處理編程框架，中間數(shù)據(jù)key值的偏斜成為影響系統(tǒng)性能的一個重要瓶頸。當MapReduce處理的數(shù)據(jù)分布不均勻時，會造成有些任務比其他任務運行較慢的情況，而整個作業(yè)的執(zhí)行時間是由最慢的

3、那個任務決定的，當處理數(shù)據(jù)存在傾斜會導致處理數(shù)據(jù)分布不平衡從而產(chǎn)生“短腿”作業(yè)，最終影響整體的運行效果。因此增加了整個作業(yè)的完成時間，使系統(tǒng)性能下降。MapReduce中數(shù)據(jù)傾斜問題可以通過統(tǒng)計key值頻率提前制定分配方案的方法來解決。
　　為解決在Spark計算框架下shuffle過程中的buckets容器負載不平衡問題。本文提出了對中間數(shù)據(jù)塊分割和組合算法SCID(segmentation and combinationalg

4、orithm for skew intermediate data)。由于keys值的數(shù)量不可統(tǒng)計，除非輸入數(shù)據(jù)被map任務處理，因此本文基于蓄水池的采樣算法以得到中間key值的分布數(shù)據(jù)。對比原始buckets中數(shù)據(jù)加載機制，SCID根據(jù)每個map任務的鍵/值元組的數(shù)據(jù)大小進行排序，并有序的填充到相關(guān)buckets中。如果一個cluster超過當前的buckets容量將被分割。在填充滿這個buckets后，其余clusters將進入下一

5、次迭代，通過這種方式，數(shù)據(jù)的總大小在每個bucket大約是相等的。對于每一個map任務，每個reduce任務會從一個特定的buckets獲取到中間結(jié)果，這樣每個bucket中map的任務數(shù)量在reduce任務端達到負載均衡。我們在Spark1.1.0上運行SCID算法并通過廣泛使用的標準Benchmark評估其性能，比如:Sort，TextSearch，Word Count。實驗結(jié)果表明，我們的算法不僅可以實現(xiàn)更高的總體平均負載平衡性能