基于人工蜂群算法的Hadoop調(diào)度算法研究與改進(jìn).pdf

1、群智能優(yōu)化算法在解決NP類問題具有較高的效率和收斂速度，已經(jīng)得到國內(nèi)外越來越多的研究者和工程技術(shù)人員的關(guān)注，群智能優(yōu)化算法已經(jīng)成為解決云計(jì)算資源調(diào)度問題主要研究方向之一。目前對(duì)群智能優(yōu)化算法的研究主要有兩個(gè)方向，一是對(duì)某一群智能算法進(jìn)行深入研究，通過改善自身缺點(diǎn)，吸收引進(jìn)其他智能優(yōu)化算法的特性進(jìn)行改進(jìn)和優(yōu)化，二是將多種群智能算法通過不同的方式進(jìn)行結(jié)合，取長補(bǔ)短，產(chǎn)生新的智能算法。本文也分別從這兩個(gè)方向上入手進(jìn)行研究，目的是優(yōu)化云計(jì)算平臺(tái)

2、資源調(diào)度，具體選擇Hadoop云計(jì)算平臺(tái)，改進(jìn)Hadoop集群的資源調(diào)度效率。
　　本文的目的是通過改進(jìn)智能優(yōu)化算法或結(jié)合多個(gè)優(yōu)化算法的生成新的算法對(duì)Hadoop的資源調(diào)度給多個(gè)任務(wù)，找出任務(wù)總完成時(shí)間的極小值。首先對(duì)幾種較成熟的優(yōu)化算法進(jìn)行對(duì)比，通過對(duì)各智能優(yōu)化算法各優(yōu)缺點(diǎn)的分析發(fā)現(xiàn)，人工蜂群算法與其他算法相比對(duì)問題維數(shù)不太敏感，適合于求解高維問題，并且具有控制參數(shù)少、魯棒性強(qiáng)、收斂速度快等優(yōu)點(diǎn)，對(duì)于解決云資源調(diào)度問題具有十分明

3、顯的優(yōu)勢。因此本文針對(duì)人工蜂群算法提出了以下2種算法改進(jìn)思路:
　　(1)基于改進(jìn)的人工蜂群算法的hadoop作業(yè)調(diào)度研究
　　針對(duì)人工蜂群算法易于陷入局部極值的問題，首先引進(jìn)高斯變異思想，提升人工蜂群的局部搜索能力，然后引進(jìn)自適應(yīng)因子，動(dòng)態(tài)調(diào)整蜂群的尋優(yōu)策略，加快搜索速度，提高搜索能力，優(yōu)化了云計(jì)算資源的調(diào)度策略，提高了資源利用率，減少了任務(wù)的完成時(shí)間。
　　(2)基于差分-蜂群混合調(diào)度算法的hadoop作業(yè)調(diào)度研究

4、
　　將群智能優(yōu)化算法中的兩個(gè)或多個(gè)算法進(jìn)行按照一定策略進(jìn)行融合，會(huì)發(fā)揮各自的特點(diǎn)，實(shí)際效果超過任何一個(gè)單獨(dú)的優(yōu)化算法。因此本文提出了一種差分-蜂群混合作業(yè)調(diào)度算法，用于大規(guī)模并行計(jì)算時(shí)進(jìn)行資源調(diào)度，發(fā)揮兩個(gè)算法各自的優(yōu)勢，可以減少算法的收斂時(shí)間和迭代次數(shù)，取得穩(wěn)定有效的最優(yōu)解，最大限度地提云計(jì)算資源調(diào)度的效率。
　　最后通過搭建Hadoop集群，在集群上實(shí)現(xiàn)并驗(yàn)證了改進(jìn)的人工蜂群調(diào)度算法和差分-蜂群混合調(diào)度算法，通過多次實(shí)