基于BAP的數(shù)據(jù)壓縮、操作與查詢處理系統(tǒng)的實現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展及其在金融、交通、軍事、生態(tài)環(huán)境檢測、Web等領(lǐng)域的應(yīng)用日益深入，海量數(shù)據(jù)大量涌現(xiàn)，這就要求數(shù)據(jù)庫管理系統(tǒng)能夠存儲和處理上G、上T、甚至上P的海量數(shù)據(jù)。存儲介質(zhì)的價格/容量比的迅速下降使得海量數(shù)據(jù)的存儲本身并不是問題，問題是如何有效存儲和管理海量數(shù)據(jù)，并高效地支持上層查詢處理。
　　海量高頻度數(shù)據(jù)中存在著大量的數(shù)據(jù)冗余，即同一數(shù)值會在同一屬性列中多次出現(xiàn)。這不僅浪費了存儲空間，也大大降低了查詢效率。利用壓縮數(shù)據(jù)庫

2、技術(shù)可以有效節(jié)省存儲空間和I/O帶寬。壓縮數(shù)據(jù)庫技術(shù)的研究內(nèi)容包括：數(shù)據(jù)壓縮算法以及壓縮數(shù)據(jù)上的數(shù)據(jù)操作算法。
　　近來，智能決策支持、在線智能商務(wù)以及數(shù)據(jù)倉庫等新應(yīng)用的出現(xiàn)要求數(shù)據(jù)庫管理系統(tǒng)更好地適應(yīng)主要面向數(shù)據(jù)讀取應(yīng)用的新特點。針對這個特點，數(shù)據(jù)庫研究者們進一步審視傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)面向行存儲的機制，開始研究并重新架構(gòu)面向列存儲的數(shù)據(jù)庫管理系統(tǒng)。顯然，面向列存儲對于只讀查詢來說，因為僅僅從磁盤上讀取與查詢相關(guān)的屬性列數(shù)據(jù)而不是

3、整個元組的數(shù)據(jù)而大大節(jié)省了磁盤I/O。
　　本文以現(xiàn)有關(guān)系數(shù)據(jù)庫為基礎(chǔ)，主要研究了適合于海量高頻度關(guān)系數(shù)據(jù)的壓縮算法以及存儲結(jié)構(gòu)和適合于壓縮數(shù)據(jù)上的查詢處理技術(shù)，包括數(shù)據(jù)操作算法和查詢優(yōu)化策略。本文的主要研究結(jié)果如下：
　　提出了適合海量高頻度關(guān)系數(shù)據(jù)的無損壓縮存儲算法TIDC。TIDC是一種基于屬性劃分的面向列存儲的數(shù)據(jù)壓縮方法。它通過整列數(shù)據(jù)的位置信息(TupleID)把按列存儲的各屬性列聯(lián)系起來。對每一屬性列的數(shù)據(jù)用其

4、位置信息和相應(yīng)的非常量值進行存儲，實現(xiàn)了原始數(shù)據(jù)和壓縮后數(shù)據(jù)的完全映射，有效去除常量數(shù)據(jù)，能夠進行不解壓(回算)而直接查詢，達到了壓縮存儲、提高查詢效率的目的。
　　針對TIDC壓縮存儲策略提出了相應(yīng)的數(shù)據(jù)操作算法包括選擇、投影和連接，并給出了TIDC壓縮數(shù)據(jù)上查詢的部分優(yōu)化策略。
　　實現(xiàn)了BAP方法的壓縮存儲算法，給出了BAP壓縮方法的數(shù)據(jù)操作算法包括選擇、投影和連接，同時給出了部分查詢優(yōu)化策略。
　　根據(jù)TIDC