面向海量數(shù)據(jù)的流式計(jì)算模型設(shè)計(jì)及應(yīng)用.pdf

1、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)等新興信息技術(shù)和應(yīng)用模式的迅速普及，致使全世界數(shù)據(jù)量劇增，推進(jìn)人類社會(huì)進(jìn)入海量數(shù)據(jù)時(shí)代。如何從這些海量數(shù)據(jù)中提取出有價(jià)值的信息，為大數(shù)據(jù)的計(jì)算帶來(lái)前所未有的挑戰(zhàn)和機(jī)遇。同時(shí)，數(shù)據(jù)的價(jià)值通常隨著時(shí)間的流逝而降低，所以事件出現(xiàn)后必須盡快地對(duì)它們進(jìn)行處理，而不是緩存起來(lái)成一批處理。例如比如股票交易的數(shù)據(jù)等，數(shù)據(jù)實(shí)時(shí)性強(qiáng)，數(shù)據(jù)量大，沒有止境，傳統(tǒng)的批量計(jì)算模式已不再適用。為了應(yīng)對(duì)海量數(shù)據(jù)實(shí)時(shí)計(jì)算的要求，流式計(jì)算模式被

2、提出。所謂流式計(jì)算是指將數(shù)據(jù)看作數(shù)據(jù)流的形式來(lái)處理。在流數(shù)據(jù)不斷變化的過(guò)程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能對(duì)有價(jià)值的信息，并把結(jié)果發(fā)送出去。
　　本文以流式計(jì)算在實(shí)踐中的應(yīng)用、優(yōu)化為核心，首先系統(tǒng)地梳理和分析了當(dāng)前流式計(jì)算系統(tǒng)的研究和發(fā)展現(xiàn)狀。然后結(jié)合流式大數(shù)據(jù)所呈現(xiàn)出的實(shí)時(shí)性、突發(fā)性等特征，分析了現(xiàn)有流式計(jì)算系統(tǒng)在應(yīng)對(duì)數(shù)據(jù)突發(fā)性等方面的局限性。即由于現(xiàn)有的流式計(jì)算模型采用拓?fù)浣Y(jié)構(gòu)加靜態(tài)指定路由的策略，當(dāng)流式數(shù)據(jù)的產(chǎn)生量突增時(shí)，通常無(wú)

3、法動(dòng)態(tài)的進(jìn)行節(jié)點(diǎn)擴(kuò)展，會(huì)造成消息積壓和處理延遲，從而丟失流式處理模型實(shí)時(shí)性的本質(zhì)。在此基礎(chǔ)之上，本文構(gòu)建了一種具備高動(dòng)態(tài)伸縮性和計(jì)算可靠性的流式計(jì)算模型，這種模型放棄了在啟動(dòng)時(shí)固定節(jié)點(diǎn)個(gè)數(shù)以及節(jié)點(diǎn)之間路由關(guān)系的靜態(tài)路由策略，轉(zhuǎn)而采用路由信息分組和按組編號(hào)獲取路由信息的動(dòng)態(tài)路由策略。對(duì)于該策略，可以通過(guò)提供的接口自由的對(duì)分組路由信息進(jìn)行增加和修改，極大的提高了系統(tǒng)的熱伸縮性，從而實(shí)現(xiàn)了應(yīng)對(duì)流式數(shù)據(jù)的突發(fā)的特性。另外，通過(guò)對(duì)消息的執(zhí)行路徑進(jìn)

4、行跟蹤，本文設(shè)計(jì)的模型實(shí)現(xiàn)了消息級(jí)別的可靠性，當(dāng)消息因?yàn)楣?jié)點(diǎn)發(fā)生故障丟失時(shí)，會(huì)觸發(fā)消息源的重傳機(jī)制，從而避免消息的丟失。同時(shí)通過(guò)采用類似XOR方式的跟蹤策略，跟蹤每個(gè)消息的內(nèi)存消耗被限制為固定的大小，進(jìn)而極大的節(jié)省了跟蹤花銷。最后結(jié)合實(shí)際應(yīng)用——廢棄話單處理系統(tǒng)，給出了這種模型的實(shí)現(xiàn)和應(yīng)用。本文開發(fā)的廢棄話單處理系統(tǒng)有效的實(shí)現(xiàn)了對(duì)移動(dòng)廢棄話單的異常監(jiān)控、定位與及時(shí)告知，進(jìn)而有效的減少了移動(dòng)的計(jì)費(fèi)損失，并且通過(guò)實(shí)際應(yīng)用數(shù)據(jù)驗(yàn)證了本文提出的