基于支持列存儲的數(shù)據(jù)壓縮算法研究.pdf

1、由于日益龐大的業(yè)務(wù)處理，許多決策系統(tǒng)和OLAP系統(tǒng)的數(shù)據(jù)正在朝著TB數(shù)量級發(fā)展。面對各種存儲了海量數(shù)據(jù)的巨型表，如何充分利用存儲空間，節(jié)省系統(tǒng)維護(hù)成本，在查詢海量數(shù)據(jù)時取得更好的性能，引起了數(shù)據(jù)庫研究者們越來越多的關(guān)注。而將數(shù)據(jù)壓縮技術(shù)引進(jìn)數(shù)據(jù)庫系統(tǒng)，成為了解決大數(shù)據(jù)量環(huán)境下數(shù)據(jù)庫性能問題的有效手段之一。
　　 在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中，數(shù)據(jù)均是按行存儲的(行存數(shù)據(jù)庫)，即關(guān)系表中同一條記錄的不同屬性值被依次順序存放在物理磁盤上。

2、遺憾的是，由于記錄中不同的屬性值通常取值于不同的值域，彼此間的相關(guān)性很小，導(dǎo)致按行存儲的數(shù)據(jù)存儲方式并不利于數(shù)據(jù)壓縮的實(shí)現(xiàn)。
　　 列存數(shù)據(jù)庫消除了行存數(shù)據(jù)庫在數(shù)據(jù)壓縮領(lǐng)域的不利條件。在列存數(shù)據(jù)庫中，連續(xù)存儲的數(shù)據(jù)均來源于同一個值域，而對同一個值域內(nèi)的數(shù)據(jù)進(jìn)行壓縮正是各種經(jīng)典數(shù)據(jù)壓縮算法實(shí)現(xiàn)的前提和關(guān)鍵。為此，本文對如何將各種經(jīng)典的數(shù)據(jù)壓縮算法融入列存數(shù)據(jù)庫進(jìn)行了研究。
　　 首先，本文闡述了列存環(huán)境下數(shù)據(jù)壓縮的重要意義

3、，并對數(shù)據(jù)壓縮技術(shù)的發(fā)展歷程和國外主流列存商業(yè)數(shù)據(jù)庫的現(xiàn)狀進(jìn)行了分析；其次，綜述了數(shù)據(jù)壓縮的相關(guān)概念以及列存數(shù)據(jù)庫在數(shù)據(jù)壓縮領(lǐng)域的巨大優(yōu)勢，并詳細(xì)討論了各種經(jīng)典的數(shù)據(jù)壓縮算法，具體包括了赫夫曼編碼、算術(shù)編碼、LZ77算法、LZW算法、RLE算法和空值壓縮算法等。
　　 隨后，本文深入研究了列存壓縮運(yùn)算庫的結(jié)構(gòu)設(shè)計(jì)。列存壓縮運(yùn)算庫由壓縮數(shù)據(jù)物理存儲機(jī)制、壓縮模塊和數(shù)據(jù)源模塊三個部分構(gòu)成。其中，物理存儲機(jī)制描述了不同壓縮數(shù)據(jù)在列存數(shù)

4、據(jù)庫中同時存儲的合理方案，是列存環(huán)境下各種壓縮算法實(shí)現(xiàn)的必要保證；壓縮模塊則封裝了具體壓縮算法的細(xì)節(jié)，并負(fù)責(zé)對外提供統(tǒng)一的解壓接口；而數(shù)據(jù)源模塊扮演著通信媒介的角色，為壓縮模塊與數(shù)據(jù)庫存儲層之間的消息和數(shù)據(jù)傳遞提供服務(wù)。此外，通過歸納各種壓縮數(shù)據(jù)的屬性，本文對傳統(tǒng)的數(shù)據(jù)庫執(zhí)行器算子進(jìn)行了相應(yīng)的改進(jìn)，從而實(shí)現(xiàn)了壓縮數(shù)據(jù)在壓縮態(tài)下的直接查詢。
　　 最后，本文以國產(chǎn)數(shù)據(jù)庫神舟OSCAR為平臺，具體實(shí)現(xiàn)了上述各項(xiàng)關(guān)鍵技術(shù)。通過對相關(guān)的