支持高效杳詢的數(shù)據(jù)立方構建技術研究.pdf

1、隨著數(shù)字技術和計算機信息化的普及和發(fā)展,許多單位和部門都采用了計算機進行管理和運營。這些計算機系統(tǒng)通常都具有強大的收集、存儲和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控數(shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計數(shù)據(jù)、財經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等,這些日積月累的數(shù)據(jù)形成了一個巨大的“寶藏”,如何有效地管理這些數(shù)據(jù),從中挖掘規(guī)律性知識,指導制定生產(chǎn)和營銷策略,就顯得越來越重要。數(shù)據(jù)倉庫技術正是為此提供解決方案而產(chǎn)生的,也是目前學術界和工業(yè)界研究開發(fā)的熱點問題之一。隨著網(wǎng)絡時代的到來,

2、網(wǎng)絡技術的飛速發(fā)展,已經(jīng)而且正在繼續(xù)改變著人們的生活及思維方式。每個人、每個企業(yè)可以在充分利用全世界信息資源的前提下做出自己的決策,人們不僅僅是在普通地查詢和訪問數(shù)據(jù),更重要的是從數(shù)據(jù)中獲取信息和知識,進而支持科學的決策。數(shù)據(jù)倉庫及其之上的OLAP分析技術和數(shù)據(jù)挖掘技術提供了獲取信息和知識的手段。
　　 數(shù)據(jù)倉庫和OLAP技術都是基于多維模型的。多維數(shù)據(jù)模型是面向分析應用而提出來的一種直觀的概念模型,可以直接地表達分析目標。該模

3、型將數(shù)據(jù)看作數(shù)據(jù)立方體形式。而建立數(shù)據(jù)倉庫進行OLAP處理的最終目的都是服務于決策分析的,需要的是對用戶查詢的快速而準確的響應,這就要求針對數(shù)據(jù)立方的查詢結果要準確、響應要快速,因此數(shù)據(jù)立方的構建問題就變得極其重要。因此本文研究數(shù)據(jù)立方的構建等相關技術,具體包括以下幾個方面的內(nèi)容。
　　 (1)針對數(shù)據(jù)倉庫的物化視圖選擇問題,提出了一種基于查詢模式的動態(tài)物化視圖選擇算法。物化視圖的選擇和調(diào)整不但考慮了視圖物化所需的空間限制,還參

4、照了用戶以往的查詢模式來調(diào)整其計算參數(shù),每個視圖都被賦予了一個權重,視圖被查詢的次數(shù)越多,其權重越大,則該視圖被物化的可能性就越大。與傳統(tǒng)的物化視圖選擇算法相比,基于查詢模式的動態(tài)物化視圖選擇算法的查詢命中率大大提高。
　　 (2)針對高維低基數(shù)的數(shù)據(jù)立方的計算和查詢問題,提出了一種基于壓縮位圖的索引結構,以及兩個相應的高維數(shù)據(jù)集上數(shù)據(jù)立方計算和查詢的算法。壓縮位圖索引的位“與”運算速度非?？?引入“起始有效指針”和“結束有效指

5、針”大大降低了位“與”運算的次數(shù)和內(nèi)存消耗。與Frag-Cubing算法相比,壓縮位圖索引算法計算數(shù)據(jù)立方的時間開銷節(jié)省了30％,存儲空間節(jié)省了25％以上。
　　 (3)針對消除前綴冗余和后綴冗余的語義壓縮數(shù)據(jù)立方結構Dwarf的存儲問題,提出了兩個基于頁面分區(qū)策略的加速查詢的聚簇算法。遞歸聚簇算法考慮了點查詢對Dwarf節(jié)點進行深度優(yōu)先順序查詢的特點進行聚簇,層次聚簇算法考慮了范圍查詢對Dwarf節(jié)點進行廣度優(yōu)先順序查詢的特點

6、進行聚簇。采用邏輯聚簇的機制來保證聚簇特性。與Dwarf原來的聚簇相比,遞歸聚簇算法更適合于點查詢,層次聚簇算法適用于范圍查詢,查詢時間和I/O時間的性能都有很大提高。
　　 (4)針對數(shù)據(jù)立方中對度量值進行實時動態(tài)泛化統(tǒng)計分析的查詢需求,提出了一種適合動態(tài)泛化統(tǒng)計分析的數(shù)據(jù)立方模型。數(shù)據(jù)泛化是通過將相對較低層次的值(如屬性age的數(shù)值)用較高層次的概念(如青年、中年和老年)置換來得到匯總數(shù)據(jù)的過程。新模型通過對傳統(tǒng)數(shù)據(jù)立方模型

7、的維和事實表的定義進行擴展,解決了傳統(tǒng)方法對動態(tài)泛化統(tǒng)計分析實現(xiàn)的不靈活性和無法對動態(tài)泛化統(tǒng)計分析下的數(shù)據(jù)立方進行預先物化而造成查詢性能過低等缺點。針對動態(tài)泛化分析查詢,新模型在查詢時間、用戶滿意度和操作靈活性等方面都優(yōu)于傳統(tǒng)模型。
　　 (5)最后根據(jù)對Dwarf上點查詢和范圍查詢的特點的分析和對Windows磁盤管理子系統(tǒng)的分析,提出了一個加速數(shù)據(jù)立方查詢的自定義緩沖機制,在基于自定義緩沖區(qū)的查詢系統(tǒng)中,在聚簇Dwarf的基

8、礎上對維排序?qū)傩赃M行了重新選擇,將一部分經(jīng)常被查詢到的Dwarf節(jié)點放在自定義的緩沖區(qū)中以減少I/O次數(shù)加快查詢速度,自定義緩沖機制對查詢性能的提升十分顯著。
　　 總之,本文研究了數(shù)據(jù)倉庫中關于數(shù)據(jù)立方構建的相關問題,提出了基于物化視圖策略、索引策略、語義壓縮策略和緩沖策略的新的數(shù)據(jù)立方構建算法,設計了一種適合動態(tài)泛化統(tǒng)計分析的數(shù)據(jù)立方模型,有效地解決了一系列數(shù)據(jù)立方構建和查詢的相關問題,理論分析和大量的實驗結果證明了這些算法