DWMS中列存儲索引技術(shù)的研究與改進.pdf

1、數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫中的數(shù)據(jù)量非常大，并且在逐年增大。因此提高查詢速度是數(shù)據(jù)倉庫必須要實現(xiàn)的一個功能。
　　 數(shù)據(jù)倉庫中索引建立的好壞直接影響數(shù)據(jù)倉庫的查詢速度，索引的類型有很多，創(chuàng)建索引能提高查詢的執(zhí)行效率，但是創(chuàng)建過多索引而會帶來額外的索引維護和管理開銷。如何為合適的字段建立合適的索引，提高列存儲多維數(shù)據(jù)倉庫中各種分析查詢的性能，是一個機會，也是一個

2、挑戰(zhàn)。
　　 本文針對列存儲數(shù)據(jù)倉庫管理系統(tǒng)中的索引技術(shù)展開了研究與分析，具體的工作如下：
　　 (1)研究當前主流列存儲數(shù)據(jù)倉庫管理系統(tǒng)(如Sybase IQ、C-Store、MonetDB、Infobright)中索引技術(shù)，分析達夢數(shù)據(jù)庫實驗室中列存儲數(shù)據(jù)倉庫管理系統(tǒng)D3WMS(Donghua Dameng DWMS)的體系、特點及SSB數(shù)據(jù)集結(jié)構(gòu)，以及典型的SQL查詢語句中涉及到的索引類型。
　　 (2)分

3、析研究D3WMS中己存在的RB+樹索引，驗證其空間和查詢速度性能。改進其葉子結(jié)點結(jié)構(gòu)，進一步提高索引的空間利用率。
　　 (3)針對低基數(shù)數(shù)據(jù)，設(shè)計實現(xiàn)位圖索引，并提出了基于壓縮位圖的直接計算方法CBT(Compressed Bitmap Index Execute Technology)，優(yōu)化了位圖索引的查詢算法。RB+樹索引將數(shù)據(jù)源區(qū)分為定長和變長數(shù)據(jù)兩類，統(tǒng)一創(chuàng)建行號索引和列值索引。這種分類方式?jīng)]有考慮數(shù)據(jù)列基數(shù)高低的特性

4、，造成了極大的空間冗余。位圖索引能夠有效地改善低基數(shù)數(shù)據(jù)的冗余情況，極大地提高空間利用率和查詢效率。
　　 (4)針對高基數(shù)、具有層次關(guān)系的列數(shù)據(jù)，提出并設(shè)計了層次編碼位圖索引，極大地減少了列數(shù)據(jù)及維表上需要建立的位圖、位向量個數(shù)，降低了索引存儲空間，提高了查詢效率。
　　 本文實驗以D3WMS為平臺，以數(shù)據(jù)倉庫基準數(shù)據(jù)集SSB為測試對象，進行了以下六方面的實驗：1)RB+樹索引和傳統(tǒng)B+樹索引的對比；2)RB+樹與改進