分布式數(shù)據(jù)流管理系統(tǒng)的負載平衡及高可用性的研究.pdf

1、在許多應(yīng)用環(huán)境中,數(shù)據(jù)是以連續(xù)、可變、無界的序列形式出現(xiàn),這些大量的數(shù)據(jù)有序的聚集在一起即組成了數(shù)據(jù)流。由于數(shù)據(jù)流具有實時性、連續(xù)性、瞬時性等特點,傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)理論和技術(shù)已不能很好地對數(shù)據(jù)流進行有效的查詢處理。數(shù)據(jù)流本身的特點及面向流的應(yīng)用需求對數(shù)據(jù)流管理系統(tǒng)提出了很多挑戰(zhàn),人們正在研究適合于數(shù)據(jù)流的各類處理技術(shù)。 分布式數(shù)據(jù)流管理系統(tǒng)發(fā)展自集中式數(shù)據(jù)流管理系統(tǒng)之上,它的優(yōu)勢在于能夠集合多個查詢節(jié)點的查詢處理能力,通過節(jié)點之

2、間的任務(wù)調(diào)度,使其整體的查詢能力遠遠突破單個節(jié)點查詢瓶頸的限制。 本文研究了分布式數(shù)據(jù)流管理系統(tǒng)的負載平衡問題,發(fā)現(xiàn)數(shù)據(jù)流系統(tǒng)的瓶頸常常并非在于每個節(jié)點的有限的查詢能力,而是節(jié)點之間過高的數(shù)據(jù)轉(zhuǎn)移代價。它增加了系統(tǒng)整體的負載,降低了系統(tǒng)的查詢速度。基于此,在網(wǎng)絡(luò)帶寬有限的情況下,本文分別研究了針對節(jié)點超載和欠載狀況的負載轉(zhuǎn)移策略,提出了兼顧系統(tǒng)整體負載和查詢延時的負載平衡算法,使得在實施負載平衡后系統(tǒng)的整體負載和查詢延時達到了較

3、好的效果。 對于分布式數(shù)據(jù)流系統(tǒng)的高可用性保證,本文提出了一種以操作符作為備份和恢復(fù)粒度的高可用性算法。該算法通過對邊界操作符發(fā)送的元組進行備份,對節(jié)點內(nèi)操作符實施分布式的備份策略,實現(xiàn)了1-Safety的高可用性保證,即在系統(tǒng)內(nèi)某時刻單個節(jié)點的錯誤不會影響整個系統(tǒng)運行,同時保證在錯誤發(fā)生時能夠?qū)ο到y(tǒng)實現(xiàn)精確的恢復(fù)。 由于分布式數(shù)據(jù)流系統(tǒng)中的連接操作往往成為系統(tǒng)運行和負載平衡的瓶頸,本文提出了對于連接操作的分割算法。該算

4、法在保證盡量降低分割后的系統(tǒng)負載的前提下,將一個較“大”的連接操作分割為若干較“小”的子操作,降低了連接操作符的粒度。操作分割完畢后,系統(tǒng)將通過負載平衡策略,對分割后的較小的子操作所對應(yīng)的操作符進行重新調(diào)度,從而使系統(tǒng)達到新的平衡。這種分割算法能夠使分割后形成的子操作符更加靈活的被系統(tǒng)調(diào)度到不同的查詢節(jié)點上,從而使系統(tǒng)整體的運行更加穩(wěn)定。 同時本文設(shè)計并實現(xiàn)了一個分布式數(shù)據(jù)流管理系統(tǒng),該系統(tǒng)采用管理節(jié)點.查詢節(jié)點的兩級模型。管理