基于Agent-aid的Map-Reduce架構(gòu)負(fù)載平衡優(yōu)化研究與設(shè)計.pdf

1、Map-Reduce架構(gòu)為大數(shù)據(jù)集云計算中復(fù)雜任務(wù)的分解和子任務(wù)的管理提供了一種新穎的計算模式。然而，系統(tǒng)中數(shù)據(jù)集的分布狀況會對云計算的效率產(chǎn)生極大的影響。在本文中，我們針對諸如分布式數(shù)據(jù)挖掘等數(shù)據(jù)密集型的云計算運(yùn)用，提出了一個新穎的模型，用于平衡分布式系統(tǒng)數(shù)據(jù)集的分布，從而提高整個云計算的效率。
　　本文在經(jīng)典的Map-Reduce結(jié)構(gòu)模型之上增加了一個Agent層對其進(jìn)行擴(kuò)展，并將數(shù)據(jù)塊的負(fù)載調(diào)節(jié)請求抽象為 Token表示。文

2、中對系統(tǒng)的負(fù)載調(diào)節(jié)分為兩個部分：負(fù)載遷移調(diào)節(jié)和數(shù)據(jù)塊副本數(shù)調(diào)節(jié)。在負(fù)載遷移調(diào)節(jié)中，Agent可以根據(jù)以往收到的資源請求 Token推測出系統(tǒng)的局部狀態(tài)，從而為后續(xù)的 Token制定更加合理的路由策略，使其能夠快速到達(dá)目標(biāo)節(jié)點(diǎn)，從而高效的實(shí)現(xiàn)系統(tǒng)負(fù)載的均衡。在數(shù)據(jù)塊副本數(shù)調(diào)節(jié)中，Agent可以根據(jù)系統(tǒng)中一段時期內(nèi)數(shù)據(jù)塊的訪問熱度狀態(tài)，動態(tài)的對各個數(shù)據(jù)塊副本數(shù)進(jìn)行調(diào)整，從而分擔(dān)高熱數(shù)據(jù)節(jié)點(diǎn)的負(fù)載，實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。
　　本文的主要貢

3、獻(xiàn)在于提出了一個Agent-aid系統(tǒng)對經(jīng)典Map-Reduce結(jié)構(gòu)進(jìn)行擴(kuò)展，輔助其進(jìn)行系統(tǒng)負(fù)載的調(diào)節(jié)。針對 Map-Reduce結(jié)構(gòu)中子任務(wù)分配的特點(diǎn)，本文提出了負(fù)載遷移算法，對高負(fù)載節(jié)點(diǎn)進(jìn)行負(fù)載的調(diào)節(jié)，并提出了一種高效的啟發(fā)式路由算法對 Token的路由決策進(jìn)行支持。另一方面，針對系統(tǒng)中數(shù)據(jù)的訪問特點(diǎn)，本文提出了數(shù)據(jù)塊副本數(shù)調(diào)整算法，對訪問熱度不同的數(shù)據(jù)塊進(jìn)行副本數(shù)的調(diào)整，平衡各個節(jié)點(diǎn)的負(fù)載。在本文的最后，我們制定了詳盡的實(shí)驗(yàn)，從多