面向iVCE云平臺(tái)的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，對(duì)數(shù)據(jù)的處理能力要求也越來(lái)越高。云計(jì)算作為一種高效的計(jì)算模式，在處理海量數(shù)據(jù)時(shí)有著得天獨(dú)厚的優(yōu)勢(shì)。各大IT巨頭紛紛推出了自己的云計(jì)算平臺(tái)，為人們提供高效、快速的服務(wù)。此外，很多機(jī)構(gòu)組織也開(kāi)始搭建私有云平臺(tái)，用于處理對(duì)安全性有較高要求的數(shù)據(jù)。因此，如何對(duì)任務(wù)進(jìn)行合理、高效地調(diào)度，成為如今云計(jì)算領(lǐng)域亟待解決的問(wèn)題。
　　本文提出了以應(yīng)用評(píng)測(cè)結(jié)果為依據(jù)，對(duì)任務(wù)進(jìn)行劃分以及資源匹配的任務(wù)調(diào)度策略，設(shè)計(jì)并實(shí)現(xiàn)了面向iV

2、CE云平臺(tái)的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)可對(duì)平臺(tái)上的數(shù)據(jù)分析任務(wù)進(jìn)行更加合理地切分，并選擇資源類型與任務(wù)資源需求最匹配的節(jié)點(diǎn)來(lái)執(zhí)行任務(wù)。
　　首先，本文介紹了云計(jì)算任務(wù)調(diào)度的相關(guān)理論，包括云計(jì)算概述、云計(jì)算任務(wù)調(diào)度的特點(diǎn)以及經(jīng)典的調(diào)度算法。
　　其次，本文設(shè)計(jì)并實(shí)現(xiàn)了面向iVCE云平臺(tái)的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)分為應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度三個(gè)子系統(tǒng)。其中應(yīng)用管理子系統(tǒng)包括應(yīng)用注冊(cè)以及應(yīng)用評(píng)測(cè)，分別負(fù)責(zé)應(yīng)用的添加以及對(duì)

3、應(yīng)用的資源消耗和運(yùn)行狀況進(jìn)行評(píng)測(cè)。任務(wù)管理子系統(tǒng)包括任務(wù)提交、任務(wù)劃分、任務(wù)隊(duì)列管理以及任務(wù)狀態(tài)監(jiān)測(cè)，任務(wù)提交負(fù)責(zé)用戶添加任務(wù)，任務(wù)劃分在功能和數(shù)據(jù)兩個(gè)級(jí)別分別對(duì)任務(wù)進(jìn)行劃分，將大任務(wù)變?yōu)楦菀渍{(diào)度和執(zhí)行的小任務(wù)，任務(wù)隊(duì)列管理可以滿足調(diào)度過(guò)程中任務(wù)不同狀態(tài)的需求，包括等待任務(wù)隊(duì)列、就緒任務(wù)隊(duì)列、掛起任務(wù)隊(duì)列和重調(diào)度任務(wù)隊(duì)列，任務(wù)狀態(tài)監(jiān)測(cè)負(fù)責(zé)實(shí)時(shí)監(jiān)測(cè)任務(wù)所處的調(diào)度狀態(tài)。任務(wù)調(diào)度子系統(tǒng)包括資源匹配、任務(wù)分配以及任務(wù)重調(diào)度，資源匹配負(fù)責(zé)為任務(wù)

4、選取合適的執(zhí)行節(jié)點(diǎn)，任務(wù)分配負(fù)責(zé)將任務(wù)下發(fā)至執(zhí)行節(jié)點(diǎn)并回收結(jié)果，任務(wù)重調(diào)度負(fù)責(zé)任務(wù)在調(diào)度過(guò)程中出現(xiàn)異常之后進(jìn)行再次調(diào)度。
　　最后，本文對(duì)iVCE云平臺(tái)的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)從應(yīng)用評(píng)估、任務(wù)劃分、任務(wù)狀態(tài)監(jiān)測(cè)等方面進(jìn)行測(cè)試，并以DNS源IP異常檢測(cè)作為數(shù)據(jù)分析任務(wù)的實(shí)例在整體上對(duì)系統(tǒng)進(jìn)行測(cè)試，結(jié)果表明該系統(tǒng)達(dá)到設(shè)計(jì)目標(biāo)。
　　綜上所述，本文設(shè)計(jì)并實(shí)現(xiàn)了面向iVCE云平臺(tái)的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)，具備應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度