面向OLAP的大規(guī)模分布式內(nèi)存列式數(shù)據(jù)庫(kù)查詢引擎.pdf

1、聯(lián)機(jī)分析處理（On-line Analytical Processing, OLAP）是數(shù)據(jù)庫(kù)領(lǐng)域的主要應(yīng)用，但隨著數(shù)據(jù)量的日益膨脹，如何在海量數(shù)據(jù)中快速挖掘出數(shù)據(jù)潛在的價(jià)值成為當(dāng)下數(shù)據(jù)庫(kù)領(lǐng)域的一個(gè)重大挑戰(zhàn)?，F(xiàn)有的分布式數(shù)據(jù)庫(kù)系統(tǒng)在查詢引擎的選擇上分為兩大類，一類是采用通用計(jì)算引擎諸如Map/Reduce或Spark，其最大的缺陷在于，Map/Reduce和Spark在計(jì)算模型上仍然屬于同步計(jì)算模型，在計(jì)算上存在同步過程，導(dǎo)致較大的查詢

2、延遲，此外基于Spark的分布式數(shù)據(jù)庫(kù)系統(tǒng)存在過高的計(jì)算內(nèi)存開銷。另一類分布式數(shù)據(jù)庫(kù)系統(tǒng)采用專用分布式查詢引擎，諸如Impala以及HAWQ等。這類系統(tǒng)將傳統(tǒng)數(shù)據(jù)庫(kù)查詢模型并行化，一定程度上突破了傳統(tǒng)數(shù)據(jù)的計(jì)算瓶頸，然而這類數(shù)據(jù)庫(kù)依然存在如下不足：1）計(jì)算模型沿用傳統(tǒng)數(shù)據(jù)庫(kù)的volcano模型即按行查詢，然而在OLAP業(yè)務(wù)中，采用按行查詢的方式會(huì)引入過多的中間數(shù)據(jù)導(dǎo)致額外的運(yùn)算開銷。2）在分布式計(jì)算任務(wù)調(diào)度上沒有很好的調(diào)度算法來提升整體

3、的查詢速度以及集群資源利用率。
　　本文針對(duì)上述系統(tǒng)中存在的缺陷，提出了一種新型的面向OLAP的大規(guī)模分布式內(nèi)存列式數(shù)據(jù)庫(kù)查詢引擎，該引擎在處理海量數(shù)據(jù)時(shí)擁有較低的查詢延遲以及內(nèi)存開銷。論文主要有三方面工作：1）對(duì)時(shí)下業(yè)界熱門的分布式數(shù)據(jù)庫(kù)查詢引擎進(jìn)行研究與分析，按照通用數(shù)據(jù)庫(kù)計(jì)算引擎和專用數(shù)據(jù)庫(kù)計(jì)算引擎對(duì)其進(jìn)行分類，提煉其主要優(yōu)缺點(diǎn)；將分布式計(jì)算任務(wù)調(diào)度抽象為工作流調(diào)度問題（workflow scheduling），研究對(duì)比現(xiàn)有

4、的啟發(fā)式算法，主要包括List Scheduling類算法與遺傳算法。2）設(shè)計(jì)并實(shí)現(xiàn)了一套高效的基于列式語義的分布式內(nèi)存數(shù)據(jù)庫(kù)計(jì)算引擎，支持從SQL解析到結(jié)果數(shù)據(jù)生成這一完整的查詢流程，支持海量數(shù)據(jù)的實(shí)時(shí)查詢并具有良好的容錯(cuò)性能。3）設(shè)計(jì)并實(shí)現(xiàn)了一套分布式任務(wù)調(diào)度優(yōu)化算法，能靈活適應(yīng)變化的查詢場(chǎng)景并快速提供有效的調(diào)度優(yōu)化方案。
　　在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)上，本文主要有三點(diǎn)創(chuàng)新：1）采用數(shù)據(jù)流圖表示SQL查詢?nèi)蝿?wù)，按照列式數(shù)據(jù)庫(kù)語義，全異

5、步地推進(jìn)任務(wù)的執(zhí)行，消除在同步計(jì)算模型中因同步過程所帶來的計(jì)算開銷。2）設(shè)計(jì)并實(shí)現(xiàn)高效的列式中間數(shù)據(jù)結(jié)構(gòu)，具有很好的序列化與反序列化性能并能有效減少內(nèi)存碎片。3）結(jié)合深度增強(qiáng)學(xué)習(xí)算法與傳統(tǒng)啟發(fā)式調(diào)度算法提出了一種新型的分布式任務(wù)調(diào)度方法來解決工作流調(diào)度問題，具有很好的靈活性以及調(diào)度結(jié)果。
　　最后，本文從查詢引擎計(jì)算模型的查詢性能以及調(diào)度優(yōu)化算法的調(diào)度效果兩方面對(duì)查詢引擎進(jìn)行測(cè)試。其中，針對(duì)查詢性能的測(cè)試，本文引入標(biāo)準(zhǔn)的面向OLA

6、P數(shù)據(jù)庫(kù)測(cè)試集TPC-H對(duì)查詢引擎進(jìn)行全面的功能測(cè)試以及性能測(cè)試；針對(duì)調(diào)度優(yōu)化算法，將本文所設(shè)計(jì)的算法與其他經(jīng)典的啟發(fā)式算法調(diào)度結(jié)果進(jìn)行對(duì)比。測(cè)試結(jié)果顯示，本文所設(shè)計(jì)的查詢引擎在單表掃描語句性能上是Spark-SQL的10倍，是Hive-on-tez的20倍，在Join語句性能上和Spark-SQL持平，在分組聚合語句上性能是Spark-SQL的5倍。在內(nèi)存開銷上本文設(shè)計(jì)的查詢引擎是Spark-SQL的1/8。在調(diào)度優(yōu)化算法上，調(diào)度結(jié)果