帶安全約束的批處理MapReduce任務(wù)調(diào)度方法.pdf

1、任務(wù)調(diào)度是影響面向大數(shù)據(jù)應(yīng)用分布式計(jì)算的MapReduce框架性能的重要因素，成為近年來(lái)的MapReduce調(diào)度研究熱點(diǎn)。相互獨(dú)立的周期性執(zhí)行批處理任務(wù)是MapReduce環(huán)境下的重要任務(wù)處理類(lèi)型。在涉及公安數(shù)據(jù)或金融數(shù)據(jù)的大數(shù)據(jù)處理時(shí)，安全性要求成為不可忽視的重要約束。本文研究MapReduce環(huán)境下帶安全約束的批處理任務(wù)調(diào)度方法，具有重要的理論意義和應(yīng)用前景。
　　本文考慮帶安全約束的批處理MapReduce任務(wù)調(diào)度問(wèn)題，考慮

2、Map和Reduce階段安全性和數(shù)據(jù)本地化約束，以最小化最大完工時(shí)間為優(yōu)化目標(biāo)，兼顧作業(yè)公平性和集群負(fù)載均衡。建立帶安全約束的Map、Reduce兩階段任務(wù)調(diào)度數(shù)學(xué)模型;基于此模型提出帶安全約束的批處理MapReduce任務(wù)調(diào)度方法，該方法由三部分組成:Map任務(wù)調(diào)度、Reduce任務(wù)調(diào)度、調(diào)度序列調(diào)整。在Map任務(wù)調(diào)度階段提出兩種帶安全約束以及負(fù)載均衡控制的Map任務(wù)調(diào)度算子，得到Map任務(wù)調(diào)度序列;在Reduce任務(wù)調(diào)度階段提出兩種

3、帶安全約束的數(shù)據(jù)本地化感知的Reduce任務(wù)調(diào)度算子，得到Map和Reduce任務(wù)調(diào)度的序列;為了優(yōu)化調(diào)度序列以達(dá)到進(jìn)一步縮短作業(yè)最大完工時(shí)間的目的，設(shè)計(jì)基于插入和交換的四種鄰域結(jié)構(gòu)，將Map和Reduce調(diào)度算子得到的調(diào)度序列作為初始序列，進(jìn)一步提出基于不同鄰域結(jié)構(gòu)的局部搜索調(diào)度序列調(diào)整方法。
　　為驗(yàn)證所提出算法的效率和有效性，采用方差分析技術(shù)對(duì)算法的相關(guān)參數(shù)和組件進(jìn)行測(cè)試和分析，得到最適合求解該問(wèn)題的相關(guān)參數(shù)值和組件;將提出