Hadoop通信心跳的優(yōu)化研究.pdf

1、Hadoop系統(tǒng)作為分布式系統(tǒng)的典型代表之一，廣泛應(yīng)用于處理具有大數(shù)據(jù)量的應(yīng)用問題。該系統(tǒng)分為兩層:分布式數(shù)據(jù)處理層、分布式文件系統(tǒng)層。兩層中都包含兩種節(jié)點(diǎn)，節(jié)點(diǎn)之間采用發(fā)送心跳信息的方式來進(jìn)行交流，從而完成整個系統(tǒng)的管理、運(yùn)行。其中，分布式數(shù)據(jù)處理層主要用于完成用戶提交給系統(tǒng)的應(yīng)用程序?，F(xiàn)有的Hadoop系統(tǒng)中，采用固定大小的心跳間隔。這種方式?jīng)]有考慮到集群規(guī)模、任務(wù)大小、集群資源等因素，不能很好的發(fā)揮系統(tǒng)的整體性能。
　　通過

2、分析Hadoop系統(tǒng)中的分布式數(shù)據(jù)處理層的心跳機(jī)制，并分析與心跳相關(guān)的影響因素對心跳大小設(shè)置的影響，本文提出了系統(tǒng)中心跳間隔設(shè)置的評價(jià)標(biāo)準(zhǔn)。同時，根據(jù)心跳值與子任務(wù)的計(jì)算時間之間的三種大小關(guān)系來在概率上分析出系統(tǒng)最優(yōu)的心跳值應(yīng)為每個子任務(wù)的計(jì)算時間，此時，假設(shè)每個子任務(wù)的計(jì)算時間是相同的。同時，根據(jù)評價(jià)標(biāo)準(zhǔn)驗(yàn)證此理論分析值的正確性。
　　本文在Hadoop平臺上，提出心跳間隔最優(yōu)值的設(shè)置值后，通過四組實(shí)驗(yàn)來驗(yàn)證理論分析值的正確性。