高性能數(shù)據(jù)立方體研究.pdf

1、聯(lián)機(jī)分析處理是數(shù)據(jù)倉庫所能提供的一種基本的數(shù)據(jù)分析服務(wù)，而數(shù)據(jù)立方體是實現(xiàn)聯(lián)機(jī)分析處理的主要手段。如何高效處理數(shù)據(jù)立方體中所包含的大規(guī)模數(shù)據(jù)是數(shù)據(jù)倉庫研究和應(yīng)用領(lǐng)域的一個關(guān)鍵問題。本文對于數(shù)據(jù)立方體的優(yōu)化研究主要集中在如何減少其存儲代價、查詢時間和維護(hù)(更新)時間上，以及如何在這幾者之間達(dá)到較佳的平衡。 QC-Tree是近兩年提出的一種數(shù)據(jù)立方體的高效存儲結(jié)構(gòu)。它在極大限度地壓縮了數(shù)據(jù)所占用的存儲空間的同時，保持了良好的更新和查

2、詢性能。本文提出了一種在QC-Tree中實現(xiàn)cell級別的部分物化的結(jié)構(gòu)：PMC。PMC的物化算法不同于已被廣泛研究的視圖物化算法。在傳統(tǒng)的視圖物化算法中，一個視圖中的所有cell數(shù)據(jù)要么全部被物化，要么全部不被物化。而就我們所知，PMC是第一種在cell級別進(jìn)行數(shù)據(jù)的選擇和物化的結(jié)構(gòu)。實驗表明，PMC能夠進(jìn)一步減少Q(mào)C-Tree所占用的存儲空間并擁有更少的更新代價。此外，PMC還能保證數(shù)據(jù)立方體中所有數(shù)據(jù)在查詢性能上的均衡性，這是傳統(tǒng)

3、的視圖物化算法所無法做到的。 對于多維數(shù)據(jù)的范圍查詢處理而言，聯(lián)機(jī)聚集是一種比較合算的查詢策略。然而，以前在數(shù)據(jù)立方體上實現(xiàn)的聯(lián)機(jī)聚集往往需要附加空間來存儲聯(lián)機(jī)聚集估算所需要的信息，這極大地影響了整個數(shù)據(jù)立方體的存儲和維護(hù)性能。本文提出了基于QC-Tree的用于范圍查詢處理的聯(lián)機(jī)聚集算法PE及其與簡單聚集算法相結(jié)合的混合聚集算法HPE。此外，本文還提出了一種能夠同時處理多個范圍查詢的聯(lián)機(jī)聚集算法MPE。與以往聯(lián)機(jī)聚集算法不同的是

4、，本文提出的算法不需要任何附加空間，而是利用QC-Tree自身保存的聚集數(shù)據(jù)和語義關(guān)系來估算聚集結(jié)果。對算法的分析表明，本文提出的算法能夠同時較好地滿足多維數(shù)據(jù)的范圍查詢處理算法的三個要求，而這是過去的算法很難做到的。實驗結(jié)果也證實了這一點。 在數(shù)據(jù)倉庫領(lǐng)域的另一個關(guān)鍵性問題是如何在源數(shù)據(jù)發(fā)生變化時，對數(shù)據(jù)立方體中的數(shù)據(jù)進(jìn)行有效的增量更新。文中提出的DSD算法是I.S.MumickT作的延伸。與Mumick的工作不同之處在于，本

5、文使用兩種增量表來將不同類型的更新數(shù)據(jù)分開存放，進(jìn)而利用所保存的更新數(shù)據(jù)的操作類型的信息，對數(shù)據(jù)立方體的更新過程進(jìn)行優(yōu)化。此外，DSD算法維護(hù)過程中遵循了合理的刷新順序，因此在出現(xiàn)重新計算的情況下，可以使用數(shù)據(jù)的最近的物化祖先進(jìn)行臨時導(dǎo)出計算，而不是使用基表。實驗結(jié)果表明，DSD算法在性能上較Mumick的算法有較大幅度的改善。 文中認(rèn)為，對于更大規(guī)模的數(shù)據(jù)流數(shù)據(jù)，傳統(tǒng)的技術(shù)已經(jīng)很難將數(shù)據(jù)完整的保存在數(shù)據(jù)立方體中，只能采用近似存