支持多計算模式的大數(shù)據(jù)系統(tǒng)的研究.pdf

1、隨著大數(shù)據(jù)的時代的到來，大數(shù)據(jù)技術發(fā)展迅猛，其中最為典型的變化是計算模式的豐富多樣，由最初的批處理計算發(fā)展到后來的流計算，實時交互式計算等。但不同的計算框架的應用場景比較有限，批處理計算雖能輕松處理海量數(shù)據(jù)，但響應時間較長；與批處理不同，流式計算是一種連續(xù)計算的模式，能夠快速響應用戶事件；實時交互計算以一種交互式的方式實現(xiàn)大數(shù)據(jù)處理，也有著快速的響應速度。由于大數(shù)據(jù)應用場景越來越復雜，傳統(tǒng)的單一計算框架模式不能很好的滿足數(shù)據(jù)應用的要求。

2、現(xiàn)在出現(xiàn)了一些關于混合系統(tǒng)的研究，旨在融合多種計算系統(tǒng)，統(tǒng)一大數(shù)據(jù)計算平臺提供多種計算服務。
　　論文研究支持多計算模式的大數(shù)據(jù)系統(tǒng)。構建支持多種計算模式的統(tǒng)一大數(shù)據(jù)系統(tǒng)會面臨多種問題，包括系統(tǒng)上層接口的不統(tǒng)一性，異構系統(tǒng)的差異性，集群資源統(tǒng)一調度的問題等等。本文研究試圖解決以上問題，研究重點為統(tǒng)一的語言抽象層研究，多計算框架支持，編譯優(yōu)化，成本模型評估這四大部分。設計并實現(xiàn)了支持多計算模式的系統(tǒng)原型，在用戶層，為了提升系統(tǒng)的易用

3、性，以類SQL語言做查詢層語言。目前支持批處理與流處理這兩種計算模式，用HBase作為存儲端，提升實時查詢性能，最大的特點是抽象出了一套分別針對MapReduce與Storm任務的成本評估模型，依據(jù)計算出的成本實現(xiàn)智能選擇底層的計算框架。
　　經(jīng)過系統(tǒng)的測試對比，總體性能優(yōu)于單計算模式的Hive，與SummingBird相當。由于系統(tǒng)可以智能選擇計算框架，從整體來看，系統(tǒng)能夠兼顧處理速度與系統(tǒng)的吞吐量。當數(shù)據(jù)量大時，系統(tǒng)的吞吐量比