流處理系統(tǒng)運(yùn)行時感知調(diào)度研究.pdf

1、近年來，越來越多的數(shù)據(jù)被實(shí)時流處理。流處理應(yīng)用在處理數(shù)據(jù)的過程中需要保持盡可能低的處理延遲，才能充分利用數(shù)據(jù)的價值。然而，流處理應(yīng)用在處理數(shù)據(jù)的過程中存在不穩(wěn)定的計(jì)算資源供給、不確定的數(shù)據(jù)輸入率等問題，導(dǎo)致流處理應(yīng)用的任務(wù)處理步調(diào)不一致，需要合理的調(diào)度以加速處理。但是，傳統(tǒng)的并行與分布式系統(tǒng)負(fù)載均衡、調(diào)度技術(shù)并不適用于流處理系統(tǒng)，而且，當(dāng)前的流處理系統(tǒng)均衡方法也不能有效地調(diào)度任務(wù)以解決數(shù)據(jù)處理過程存在的問題，亟需尋求新的調(diào)度方法。

2、>　　針對數(shù)據(jù)處理過程中存在的問題，結(jié)合流處理系統(tǒng)的特性，提出并實(shí)現(xiàn)了運(yùn)行時感知調(diào)度方案，以達(dá)到動態(tài)調(diào)整任務(wù)部署保證低延遲的目的。首先，提出節(jié)點(diǎn)性價比評測方法，感知運(yùn)行環(huán)境變化對節(jié)點(diǎn)處理數(shù)據(jù)效率的影響，為調(diào)度提供依據(jù)；其次，在對常用調(diào)度算法研究的基礎(chǔ)上，提出基于節(jié)點(diǎn)性價比的調(diào)度算法，依據(jù)節(jié)點(diǎn)處理效率在集群上重新調(diào)度任務(wù)，使節(jié)點(diǎn)上的任務(wù)計(jì)算量與節(jié)點(diǎn)計(jì)算能力相匹配，同時盡可能減少節(jié)點(diǎn)間的任務(wù)遷移；再次，改進(jìn)指數(shù)平滑預(yù)測方法，使其適應(yīng)流處理特