分布式數(shù)據(jù)處理系統(tǒng)中配置及任務(wù)管理模塊的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)行業(yè)正在以難以置信的速度發(fā)展并成為日常生活中不可或缺的一部分，迅速搶占著傳統(tǒng)服務(wù)行業(yè)的市場。隨著業(yè)務(wù)和技術(shù)的飛速發(fā)展和用戶量的激增而來的就是指數(shù)級膨脹的數(shù)據(jù)量。在互聯(lián)網(wǎng)行業(yè)習以為常的TB甚至PB級別的數(shù)據(jù)壓力下，傳統(tǒng)的單節(jié)點數(shù)據(jù)處理方式已難以承擔重任。在這樣的背景下，分布式的數(shù)據(jù)處理方式應(yīng)景而生，并且迅速成為了主流大數(shù)據(jù)處理的解決方案。
　　本設(shè)計實現(xiàn)了一種在分布式的數(shù)據(jù)處理系統(tǒng)中進行全局統(tǒng)一配置數(shù)據(jù)的保存和分發(fā)，以及管理大

2、任務(wù)的模塊。全系統(tǒng)中所有的配置信息都由本模塊保存，并且由管理員進行維護和管理。本模塊同時也是系統(tǒng)中所有任務(wù)的發(fā)起者和回收者。
　　在系統(tǒng)初始化時本模塊將向其它模塊分發(fā)相應(yīng)的數(shù)據(jù)使其能夠順利啟動并初始化。同時當配置數(shù)據(jù)發(fā)生更改時，將向關(guān)注這些信息的模塊分發(fā)新數(shù)據(jù)，這樣所有模塊的配置數(shù)據(jù)都是最新的。將所有的配置信息進行集中式統(tǒng)一管理可以保證相同內(nèi)容異地存放的數(shù)據(jù)都來自同一個來源，這樣能夠有效地避免由于配置數(shù)據(jù)的不一致而導(dǎo)致系統(tǒng)啟動或運

3、行異常。
　　系統(tǒng)中的所有任務(wù)都由本模塊生成和觸發(fā)。對于數(shù)據(jù)的離線分析、結(jié)構(gòu)化、重組、備份等任務(wù)，管理員可通過本模塊進行相應(yīng)任務(wù)執(zhí)行計劃的制定，本模塊將按照執(zhí)行計劃通過定時器或者監(jiān)控系統(tǒng)運行情況來觸發(fā)相應(yīng)的任務(wù)；對于實時的數(shù)據(jù)查詢、重組等任務(wù)，管理員可直接通過本模塊設(shè)置相關(guān)參數(shù)后直接觸發(fā)任務(wù)。每個任務(wù)執(zhí)行結(jié)束后將生成一條相關(guān)的日志，來記錄此次任務(wù)的執(zhí)行情況，之后釋放該任務(wù)申請的資源，對于查詢?nèi)蝿?wù)，還將緩存查詢結(jié)果以避免重復(fù)查詢給系