Hadoop平臺(tái)任務(wù)調(diào)度算法的研究與改進(jìn).pdf

1、云計(jì)算是一種新興的并行計(jì)算技術(shù)，在學(xué)術(shù)界和商業(yè)界都取得了巨大的發(fā)展，已有大量的云計(jì)算系統(tǒng)被投入使用?，F(xiàn)有的Hadoop平臺(tái)在異構(gòu)環(huán)境下的調(diào)度效率低下，任務(wù)響應(yīng)時(shí)間長(zhǎng)，浪費(fèi)系統(tǒng)資源。因此，通過研究現(xiàn)有的Hadoop平臺(tái)的任務(wù)調(diào)度算法，發(fā)現(xiàn)其不足并改進(jìn)，對(duì)改善Hadoop平臺(tái)的整體性能和提高系統(tǒng)資源利用率有著很重要的意義。
　　本文首先介紹了云計(jì)算的發(fā)展背景及現(xiàn)狀、Hadoop平臺(tái)的基本架構(gòu)和核心技術(shù)。然后對(duì)Hadoop平臺(tái)的任務(wù)調(diào)度

2、技術(shù)進(jìn)行了深入研究，在詳細(xì)分析了四種現(xiàn)有的任務(wù)調(diào)度算法，包括FIFO算法、公平調(diào)度算法(Fair Scheduler)、計(jì)算能力調(diào)度算法(Capacity scheduler)和推測(cè)式任務(wù)調(diào)度算法(Speculative Task)的主要思想、設(shè)計(jì)思路、優(yōu)點(diǎn)以及不足之處的基礎(chǔ)上，給出了一種改進(jìn)的推測(cè)式任務(wù)調(diào)度算法。在改進(jìn)算法中，通過統(tǒng)計(jì)在工作節(jié)點(diǎn)上記錄的信息來得到Map和Reduce任務(wù)各個(gè)階段的時(shí)間比例，并對(duì)慢的工作節(jié)點(diǎn)詳細(xì)區(qū)分，考慮