KSTORE數據庫中數據立方的設計、研究與實現.pdf

1、近年來，隨著計算機的普及以及互聯(lián)網行業(yè)的快速發(fā)展，人們對于計算機的依賴程度越來越高，存儲在計算機中的數據量急速增長，特別是通信、金融、電子商務等領域每天都會產生大量數據，如何存儲這些數據并快速查詢已經成為研究熱點。海量數據管理系統(tǒng)KSTORE基于壓縮技術，有效縮減了數據存儲空間以及讀寫產生的IO。但是，在實現高效存儲和查詢的同時，如何深入挖掘數據的內在信息并利用這些歷史數據進行分析決策已經變得越來越困難，這也對數據庫以及數據倉庫的設計提

2、出了新的挑戰(zhàn)與要求。為了在大數據環(huán)境下對聯(lián)機分析處理應用有更好的支持，我們在KSTORE中引入了數據立方技術，設計并實現了與存儲引擎深度結合的壓縮立方體，大幅提升了上層的聚集分析查詢性能。
　　本文提出了支持高效查詢的擴展數據立方，稱為BDwarf。通過前綴冗余和后綴冗余的消除，可以人幅減少數據立方的體積。B+樹結構的引入極大提高了大數據量情況下的查詢效率。本文作者通過在BDwarf中額外存儲了COUNT，擴展了數據立方的應用面，

3、使其對于聚集查詢SUM、COUNT和AVG都有良好的支持。
　　本文給出了計算BDwarf的創(chuàng)建合并算法，這是一種高效率的創(chuàng)建算法，但是需要預排序。根據指針是否指向自己創(chuàng)建的數據塊將指針分為實指針和虛指針，在此基礎上提出了不需要預排序的插入算法。插入算法更適用于數據量大的情況。分析了BDwarf對于點查詢、范圍查詢以及冰山查詢的支持。
　　在建立了數據立方體后，數據的插入、刪除、更新操作會使已經物化的數據立方體結果不準確。頻