異構(gòu)環(huán)境下MapReduce的算法重建與性能優(yōu)化.pdf

1、隨著個(gè)人計(jì)算機(jī)和互聯(lián)網(wǎng)革命，云計(jì)算被看做第三次IT浪潮，這將改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)嵏舱麄€(gè)行業(yè)格局。它會(huì)在人們的生活，生產(chǎn)方式和商業(yè)模式上帶來(lái)根本性的變化。
　　作為開(kāi)放的云計(jì)算平臺(tái)Hadoop的重要組件，MapReduce是用于處理和生成大量數(shù)據(jù)集的一種分布式和并行計(jì)算模型。MapReduce從實(shí)現(xiàn)細(xì)節(jié)中抽象出業(yè)務(wù)邏輯，并提供功能強(qiáng)大的接口供程序員使用。它可以屏蔽底層的具體實(shí)現(xiàn)過(guò)程，有效地降低了分布式和并行計(jì)算難度，且具備

2、高可靠性，高擴(kuò)展性，高效率，高容錯(cuò)性的特點(diǎn)。然而，由于MapReduce機(jī)制本身的不完美和不成熟，其有必要進(jìn)一步提高效率。根據(jù)對(duì)MapReduce的原理和性能指標(biāo)進(jìn)行分析，在異構(gòu)環(huán)境中，資源調(diào)度存在不合理的問(wèn)題，數(shù)據(jù)傳輸機(jī)制有待改進(jìn)，系統(tǒng)參數(shù)可以進(jìn)一步優(yōu)化。
　　為了提高異構(gòu)環(huán)境下MapReduce處理大數(shù)據(jù)集的效率，本文提出了三方面的優(yōu)化策略:自適應(yīng)的可移動(dòng)窗口調(diào)度算法，變更數(shù)據(jù)傳輸協(xié)議(從HTTP到UDT)和優(yōu)化系統(tǒng)配置參數(shù)。

3、其中，自適應(yīng)的可移動(dòng)窗口調(diào)度算法具備以下優(yōu)點(diǎn):(1)基于優(yōu)先級(jí)的任務(wù)調(diào)度，根據(jù)優(yōu)先級(jí)分配執(zhí)行時(shí)間和系統(tǒng)資源;(2)考慮到集群的異構(gòu)性，基于不同節(jié)點(diǎn)的性能分配不同的任務(wù);(3)根據(jù)每個(gè)節(jié)點(diǎn)的負(fù)載水平，自動(dòng)調(diào)整負(fù)載平衡，動(dòng)態(tài)調(diào)整在TaskTracker上運(yùn)行的任務(wù)數(shù)目;(4)改進(jìn)了數(shù)據(jù)本地化調(diào)度算法，提出了基于節(jié)點(diǎn)等待時(shí)間的數(shù)據(jù)本地化策略;(5)改進(jìn)了推測(cè)執(zhí)行策略和識(shí)別掉隊(duì)者(straggler)，特別是對(duì)于慢節(jié)點(diǎn)可以區(qū)分是Map慢節(jié)點(diǎn)還是

4、Reduce慢節(jié)點(diǎn);(6)控制后備隊(duì)列中的任務(wù)數(shù)，以防止任務(wù)抖動(dòng)。對(duì)于數(shù)據(jù)傳輸協(xié)議變更，UDT減少了數(shù)據(jù)傳輸過(guò)程中建立連接的次數(shù)，解決了HTTP擁塞控制機(jī)制在高帶寬長(zhǎng)距離環(huán)境下的低效率問(wèn)題。對(duì)于系統(tǒng)配置參數(shù)的優(yōu)化，通過(guò)對(duì)Map任務(wù)輸出的數(shù)據(jù)壓縮，減少文件傳輸?shù)臄?shù)量和降低帶寬成本;減少Reduce任務(wù)對(duì)內(nèi)存需求，并設(shè)置更多的內(nèi)存空間，可用于存儲(chǔ)更多的Map任務(wù)的輸出;調(diào)整的Map/Reduce任務(wù)數(shù)量比例，使任務(wù)分配更加合理和高效;在Sh