實時流計算框架的消息可靠處理保障機制研究.pdf

1、隨著大數(shù)據(jù)環(huán)境下實時數(shù)據(jù)流式計算的需求和規(guī)模的不斷增長，實時流計算領(lǐng)域的研究變得越發(fā)重要。流計算應(yīng)用中蘊含在數(shù)據(jù)中的價值隨著時間的流逝逐漸降低，因此處理過程中需保證非常低的處理時延。不確定性的處理延遲和對計算節(jié)點的松散控制增大了錯誤產(chǎn)生的概率，如何在流計算框架實時輸出處理結(jié)果的同時保障容錯能力是一個關(guān)鍵性問題。現(xiàn)有的容錯方案或基于讀寫磁盤的檢查點技術(shù)，資源消耗大且處理時延高；或基于雙機熱備技術(shù)，需要昂貴的成本。Storm是現(xiàn)有極具研究價

2、值的開源實時流計算框架，針對該問題在Storm基礎(chǔ)上詳細(xì)設(shè)計并實現(xiàn)高效的容錯功能。
　　研究的實時流計算框架消息可靠處理保障機制能夠在容錯時滿足實時流計算處理低延時、數(shù)據(jù)流動和內(nèi)存計算的特點。鑒于Storm保障系統(tǒng)高可用時存在的重復(fù)處理問題，基于Storm的消息可靠處理保障系統(tǒng)（MPGS）設(shè)計了一種基于跟蹤元組處理過程、定位元組樹上消息失敗位置并從處理組件開始恢復(fù)計算的容錯機制。主要工作包括改進(jìn)守護(hù)進(jìn)程的消息確認(rèn)機制，跟蹤機制記錄

3、元組樹上元組的處理過程，實現(xiàn)消息處理失敗時對丟失元組及其處理組件的捕獲，使用內(nèi)存緩存區(qū)存儲元組樹跟蹤信息，消息恢復(fù)時緩存區(qū)作為數(shù)據(jù)源，從處理元組失敗的組件處開始恢復(fù)計算。從而避免了Storm的消息源重發(fā)方式下，重復(fù)處理整個元組樹上數(shù)據(jù)，恢復(fù)代價高的問題，同時在一定程度上解決了數(shù)據(jù)處理壓力從失敗組件轉(zhuǎn)移到發(fā)射組件潛在的背壓問題。大幅度提高了消息恢復(fù)的性能，保證了流處理的實時性。
　　相同實驗環(huán)境下在MPGS和Storm上運行測試用例