實(shí)時(shí)數(shù)據(jù)流集群處理系統(tǒng)可靠備份方案的研究與實(shí)現(xiàn).pdf

1、近年來，數(shù)據(jù)以大容量，連續(xù)的流的形式出現(xiàn)在應(yīng)用程序中引起了人們極大的關(guān)注，這些應(yīng)用程序包括金融市場(chǎng)監(jiān)控、網(wǎng)絡(luò)監(jiān)控、移動(dòng)對(duì)象跟蹤、資產(chǎn)跟蹤、入侵檢測(cè)和生態(tài)系統(tǒng)監(jiān)測(cè)等，由于它們監(jiān)控的都是實(shí)時(shí)事件，結(jié)果值隨著時(shí)間推移而迅速發(fā)生改變，因此，低延遲處理是一個(gè)關(guān)鍵的要求。數(shù)據(jù)流處理系統(tǒng)能夠高效的實(shí)現(xiàn)上述應(yīng)用。目前，很多數(shù)據(jù)流處理系統(tǒng)都采用面向集群處理，這是因?yàn)楹芏鄳?yīng)用本身就涉及到地理上分散的數(shù)據(jù)源，并且應(yīng)用中使用更多的服務(wù)器能夠更好的提高系統(tǒng)處理能

2、力。但是越多的服務(wù)器和通信資源，導(dǎo)致更高的失效機(jī)率。在流處理系統(tǒng)中，失效或故障將產(chǎn)生處理延遲，更糟的是，失效可能會(huì)導(dǎo)致產(chǎn)生正確結(jié)果的至關(guān)重要的數(shù)據(jù)丟失。因此，數(shù)據(jù)流集群處理系統(tǒng)的可靠備份問題是目前數(shù)據(jù)流系統(tǒng)研究的熱點(diǎn)和難點(diǎn)，同時(shí)也是一個(gè)富有挑戰(zhàn)性的課題。
　　本文主要研究并設(shè)計(jì)了一種新型的基于檢查點(diǎn)的高可靠備份方案，通過并行恢復(fù)方法滿足了數(shù)據(jù)流集群處理系統(tǒng)高可靠的需求。首先研究了主流的三種備份恢復(fù)方法，同時(shí)從恢復(fù)速度、CPU和帶寬

3、利用率以及它們相互之間的關(guān)系進(jìn)行了比較。然后，在集群處理系統(tǒng)中采用并行恢復(fù)模式，提出優(yōu)先基于操作盒負(fù)載的檢查點(diǎn)單元形成策略和備份重新分配算法，從系統(tǒng)全局的角度將每臺(tái)服務(wù)器上的檢查點(diǎn)單元均衡地備份在多臺(tái)服務(wù)器上，執(zhí)行并行恢復(fù)。最后，在系統(tǒng)運(yùn)行時(shí)階段，提出基于檢查點(diǎn)任務(wù)拆分與綁定策略的動(dòng)態(tài)自適應(yīng)調(diào)度算法，通過合理正確的調(diào)度算法，最小化系統(tǒng)恢復(fù)時(shí)間，減少故障造成的處理延遲，提高系統(tǒng)性能。綜上所述，針對(duì)數(shù)據(jù)流集群處理系統(tǒng)中可靠備份方案的關(guān)鍵問題