基于比例份額準(zhǔn)則的Symphony系統(tǒng)資源調(diào)度的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的信息量呈指數(shù)型增長(zhǎng)的趨勢(shì)，未來(lái)在龐大的數(shù)據(jù)量中提取對(duì)我們有用的信息將越來(lái)越難，因此目前對(duì)大數(shù)據(jù)的處理能力要求越來(lái)越高。分布式計(jì)算框架的計(jì)算能力是否優(yōu)秀，其最主要的一個(gè)因素就是它所設(shè)計(jì)的調(diào)度策略是否高效。為了使Symphony分布式計(jì)算軟件在計(jì)算多作業(yè)并行處理時(shí)具有更高效的計(jì)算能力，設(shè)計(jì)一種針對(duì)多作業(yè)并行計(jì)算的新型調(diào)度策略使得集群資源能夠得到更合理的分配和高效的利用。
　　本文主要設(shè)計(jì)一種基于比例份額準(zhǔn)則的資源調(diào)度策略

2、，這種資源調(diào)度策略在多作業(yè)并行計(jì)算時(shí)能夠?yàn)槊總€(gè)作業(yè)分配一定比例的集群資源，這個(gè)比例值是根據(jù)用戶為每個(gè)作業(yè)設(shè)定的優(yōu)先級(jí)而制定的，并且在此調(diào)度策略上對(duì)資源的合理分配和資源的高效利用進(jìn)行了優(yōu)化和改進(jìn)。設(shè)計(jì)這種資源調(diào)度策略的目標(biāo)是為了使多作業(yè)并行計(jì)算時(shí)能夠讓每個(gè)作業(yè)按其優(yōu)先級(jí)高低分配不同大小的集群資源并行計(jì)算，同時(shí)使有限的集群資源能夠得到更加合理的利用，從而提高集群計(jì)算能力。
　　本文主要分為集群資源分配模塊、集群資源調(diào)度模塊、集群資源借

3、用模塊，并且對(duì)每個(gè)模塊進(jìn)行詳細(xì)的分析并加以實(shí)現(xiàn)。其中集群資源分配模塊首先將原有的一個(gè)資源池改成了兩種不同類型的資源池然后按照一定的算法規(guī)則計(jì)算每種類型池中應(yīng)該分配多少的slots并實(shí)際進(jìn)行分配資源；集群資源調(diào)度模塊主要是根據(jù)每個(gè)作業(yè)的優(yōu)先級(jí)值的不同制定出每個(gè)作業(yè)應(yīng)該在每個(gè)資源池中占用多少比例的資源，并且對(duì)作業(yè)中的任務(wù)進(jìn)行實(shí)際的調(diào)度；集群資源借用模塊是采取了資源雙向借用技術(shù)對(duì)不同類型資源池中的空閑作業(yè)進(jìn)行利用，使某種類型的資源數(shù)不夠的情況