基于調(diào)度器的Hadoop性能優(yōu)化方法研究.pdf

1、云計(jì)算是繼上世紀(jì)80年代大型計(jì)算機(jī)到客戶端-服務(wù)器的轉(zhuǎn)變后的又一種巨變，近年來在全世界廣泛普及。它將大量網(wǎng)絡(luò)連接的普通計(jì)算資源整合起來，構(gòu)成一個(gè)更大的計(jì)算資源池向用戶提供服務(wù)。在云計(jì)算平臺(tái)中，Hadoop憑借其開源的優(yōu)勢(shì)得到眾多公司以及云計(jì)算愛好者的青睞。Hadoop具有可擴(kuò)展，經(jīng)濟(jì)，可靠，高效等特點(diǎn)，能充分利用集群的高速運(yùn)算和存儲(chǔ)能力來計(jì)算指數(shù)級(jí)增長的海量數(shù)據(jù)。隨著Hadoop研究和應(yīng)用的逐步深入以及人們對(duì)日新月異的信息化社會(huì)生活效率

2、和工作效率的提高，優(yōu)化Hadoop的性能以提高任務(wù)的整體響應(yīng)時(shí)間成為廣大學(xué)者關(guān)注的重要課題。
　　 為了提高Hadoop的任務(wù)整體響應(yīng)時(shí)間，從各個(gè)方面優(yōu)化Hadoop的集群性能，使得在更短的時(shí)間內(nèi)完成更多的任務(wù)，本文基于任務(wù)信息反饋機(jī)制的設(shè)計(jì)方法，對(duì)Hadoop平臺(tái)的性能優(yōu)化方法進(jìn)行了改進(jìn)與實(shí)現(xiàn)。
　　 首先對(duì)目前流行的Hadoop平臺(tái)性能優(yōu)化方法進(jìn)行比較，探討其存在的優(yōu)勢(shì)和劣勢(shì)。深入研究Hadoop任務(wù)調(diào)度和執(zhí)行流程。

3、然后基于Hadoop調(diào)度模型作動(dòng)態(tài)（調(diào)度）負(fù)載均衡的研究，對(duì)Hadoop默認(rèn)調(diào)度器進(jìn)行改進(jìn)，使每個(gè)節(jié)點(diǎn)盡可能快地完成任務(wù)，從而使集群整體響應(yīng)時(shí)間縮短。
　　 運(yùn)用任務(wù)信息反饋機(jī)制的設(shè)計(jì)方法，提出了一種基于CPU占用率的動(dòng)態(tài)調(diào)度改進(jìn)算法。本算法以CPU占用率作為負(fù)載指標(biāo)，在循環(huán)分配任務(wù)時(shí)根據(jù)反饋的負(fù)載指標(biāo)判斷節(jié)點(diǎn)負(fù)載情況，動(dòng)態(tài)適應(yīng)負(fù)載變化。在Eclipse平臺(tái)上編譯Hadoop jar包，構(gòu)建Hadoop集群，在Hadoop-0.