列存儲(chǔ)DWMS中查詢執(zhí)行優(yōu)化.pdf

1、隨著信息技術(shù)的不斷發(fā)展，人們要處理的數(shù)據(jù)也呈爆炸式增長(zhǎng)。為了更好的分析大量的數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)(DWMS)系統(tǒng)應(yīng)運(yùn)而生。數(shù)據(jù)倉(cāng)庫(kù)更多的被用于數(shù)據(jù)分析中，因而數(shù)據(jù)倉(cāng)庫(kù)相對(duì)于傳統(tǒng)的事務(wù)型數(shù)據(jù)庫(kù)，偏向于讀優(yōu)化操作。而相對(duì)于行存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)，列存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)更適用與讀優(yōu)化的環(huán)境中，因?yàn)榱写鎯?chǔ)可以避免讀取不必要的列信息。作者所在實(shí)驗(yàn)室一直在進(jìn)行列存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的研究與開(kāi)發(fā)。作者本人負(fù)責(zé)其中的查詢執(zhí)行引擎的實(shí)現(xiàn)與優(yōu)化。
　　本文結(jié)合項(xiàng)目的研發(fā)，研究了列

2、存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中查詢執(zhí)行引擎的實(shí)現(xiàn)與完善，并根據(jù)列存儲(chǔ)的特征對(duì)查詢執(zhí)行引擎進(jìn)行了優(yōu)化。優(yōu)化涉及了多方面的內(nèi)容，既涉及查詢執(zhí)行引擎架構(gòu)本身，也涉及相關(guān)列存儲(chǔ)技術(shù)的使用，最后還特別針對(duì)當(dāng)代的硬件環(huán)境——多核處理器進(jìn)行了優(yōu)化。本文主要討論了以下三個(gè)問(wèn)題，一是查詢執(zhí)行引擎的架構(gòu)和功能實(shí)現(xiàn)，二是針對(duì)列存儲(chǔ)相關(guān)技術(shù)的使用優(yōu)化，三是針對(duì)當(dāng)代多核處理器并行查詢優(yōu)化。
　　本文在每一類優(yōu)化內(nèi)容中都選取了一個(gè)具體的點(diǎn)進(jìn)行了詳細(xì)闡述。如在基本模塊實(shí)現(xiàn)中主

3、要針對(duì)列存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中非常重要的join（連接）操作進(jìn)行了改進(jìn)，提出了一種基于桶內(nèi)索引的哈希連接算法，能夠解決散列數(shù)據(jù)在哈希表桶內(nèi)分布不均勻的問(wèn)題。在針對(duì)列存儲(chǔ)技術(shù)的優(yōu)化中主要實(shí)現(xiàn)了查詢執(zhí)行對(duì)索引以及壓縮數(shù)據(jù)的使用。實(shí)現(xiàn)了基于B+樹(shù)索引的選擇操作，和基于壓縮數(shù)據(jù)的抽值操作。而針對(duì)多核處理器的優(yōu)化主要探索了節(jié)點(diǎn)的并行執(zhí)行以及CPUcache的有效利用，并針對(duì)數(shù)據(jù)倉(cāng)庫(kù)重要操作聚集操作，提出了基于取樣和動(dòng)態(tài)劃分的高效數(shù)據(jù)劃分方法。提高了多核并