基于成本模型的Hadoop與Storm混合系統(tǒng)的研究.pdf

1、全世界已經(jīng)進入到一個數(shù)據(jù)快速增長的時代。當(dāng)前大數(shù)據(jù)方向的研究可以分為四類:離線計算、實時計算、流計算以及統(tǒng)一資源管理平臺的研究。每種計算框架都僅僅適用于特定的領(lǐng)域,一旦需求范圍超過自己擅長的領(lǐng)域,這些框架就難以滿足要求了。例如,MapReduce善于進行批處理操作,任務(wù)吞吐量比較高,但是實時性不好,往往計算任務(wù)需要耗費幾個小時甚至是幾天的時間。同樣地,流計算框架雖然能夠快速響應(yīng)用戶事件,但是任務(wù)吞吐量又不夠高。針對這些問題,本文提出的解

2、決方案是將多框架融合到一個系統(tǒng)中,利用統(tǒng)一資源管理平臺實現(xiàn)多框架的集成,通過統(tǒng)一查詢接口對外提供服務(wù)。
　　本文研究的內(nèi)容就是在同一個系統(tǒng)中集成Hadoop和Storm兩種不同的計算框架來提升整體的處理效率,具體方法就是實時數(shù)據(jù)和小規(guī)模數(shù)據(jù)通過Storm進行處理以求快速響應(yīng),而大規(guī)模歷史數(shù)據(jù)使用Hadoop進行計算,增大系統(tǒng)吞吐量。本文對現(xiàn)有的混合型系統(tǒng)進行了深入的調(diào)研,大多數(shù)系統(tǒng)是在語言層面進行融合,將用戶的查詢語句轉(zhuǎn)換為每個框

3、架的實際執(zhí)行任務(wù)。這些系統(tǒng)大多立足于屏蔽底層的實現(xiàn)細(xì)節(jié),為用戶提供統(tǒng)一的查詢接口,方便熟悉SQL語言的數(shù)據(jù)分析人員使用。與這些系統(tǒng)相比,本文設(shè)計的架構(gòu)具有兩個新特性:1.設(shè)計框架自動選擇算法,可以根據(jù)任務(wù)的特點選擇合適的框架來執(zhí)行該任務(wù);2.可以控制Storm框架的數(shù)據(jù)來源,特別是為Storm設(shè)置了緩存表,能夠一定程度上提升執(zhí)行效率。
　　本文原型系統(tǒng)的實現(xiàn)涵蓋了語言處理層、資源調(diào)度層以及任務(wù)執(zhí)行層三個方面,其中框架選擇算法是在語

4、言處理層中實現(xiàn)的。從對比測試的結(jié)果來看,數(shù)據(jù)量較小時查詢操作執(zhí)行時間與SummingBird on Storm持平,比SummingBird on Hadoop快20％-40％。數(shù)據(jù)量較大時混合系統(tǒng)數(shù)據(jù)吞吐量與SummingBird on Hadoop相當(dāng),比SummingBird on Storm多40％。本文設(shè)計的新型多框架混合系統(tǒng)架構(gòu)有如下一些優(yōu)勢:?整合多種計算框架,應(yīng)用場景廣泛;提供統(tǒng)一的查詢語言,為用戶屏蔽底層實現(xiàn)細(xì)節(jié),便于