MapReduce環(huán)境下周期性批處理作業(yè)調(diào)度方法.pdf

1、作業(yè)調(diào)度是影響面向大數(shù)據(jù)應(yīng)用分布式計(jì)算的MapReduce框架性能的重要因素，成為近年來的研究熱點(diǎn)。相互獨(dú)立的周期性執(zhí)行批處理作業(yè)是MapReduce環(huán)境下的重要作業(yè)類型。本文研究MapReduce環(huán)境下周期性批處理作業(yè)調(diào)度方法，具有重要的理論意義和應(yīng)用前景。
　　依據(jù)歷史信息使用離線分析技術(shù)得到周期性批處理作業(yè)的屬性;分析MapReduce周期性批處理作業(yè)的Map、Reduce等操作的特點(diǎn);通過合理的假設(shè)和抽象，將所考慮問題轉(zhuǎn)化

2、成帶調(diào)度相關(guān)準(zhǔn)備時(shí)間的泛化兩階段混合流水作業(yè)調(diào)度問題;考慮Map和Reduce任務(wù)讀取輸入數(shù)據(jù)的準(zhǔn)備時(shí)間，以最大完工時(shí)間為優(yōu)化目標(biāo)，建立該泛化兩階段混合流水作業(yè)調(diào)度問題的整數(shù)規(guī)劃模型;提出兩種面向作業(yè)的啟發(fā)式方法和一種面向任務(wù)的啟發(fā)式方法;進(jìn)一步提出帶改進(jìn)策略的兩種啟發(fā)式方法;分析得到所提出方法最大完工時(shí)間下界。
　　隨機(jī)生成150個(gè)實(shí)例，作業(yè)和任務(wù)的歷史信息來自實(shí)際生產(chǎn)集群（Yahoo! M45）。分析和評(píng)價(jià)算法的參數(shù)合理取值;