基于Key值解決MapReduce中Reduce負載不均衡算法.pdf

1、MapReduce計算框架以其簡潔的編程模型處理日志、文檔、報表和其他復雜的數(shù)據(jù)集分析，可是由于MapReduce計算框架采用的是默認的哈希一次分區(qū)機制，在處理數(shù)據(jù)量很大的時候，就容易導致數(shù)據(jù)劃分不均勻出現(xiàn)數(shù)據(jù)傾斜的問題。雖然開源Hadoop系統(tǒng)為用戶提供了自定義分區(qū)的方法，但是在數(shù)據(jù)復雜而且沒有規(guī)律的情況下，是不清楚輸入的數(shù)據(jù)是怎么分布的，這樣也就不能夠寫出用戶自己定義的分區(qū)方法，所以MapReduce計算過程中數(shù)據(jù)傾斜問題還是很難被

2、避免的。
　　為了解決數(shù)據(jù)劃分的不均衡，本文提出了一種將分區(qū)向Reducer指派時按照鍵值對中的key的種類進行分區(qū)的方法。這種分區(qū)的思想是:
　?、賹鹘y(tǒng)分區(qū)的分區(qū)號與Reducer任務號一對一的關系轉換為多對一的關系;
　　②通過分區(qū)篩選算法和分配算法確定分區(qū)號和Reducer的對應關系。以達到解決MapReduce任務中數(shù)據(jù)分布傾斜導致reduce負載不均衡的問題。
　　通過實驗，對比