中文XML壓縮技術(shù)研究.pdf

1、隨著可擴(kuò)展標(biāo)記語(yǔ)言（Extensible Markup Language，簡(jiǎn)稱XML）的廣泛應(yīng)用，互聯(lián)網(wǎng)以及本地計(jì)算機(jī)上存在著大量的中文XML文檔需要存儲(chǔ)和交換。XML是一種元語(yǔ)言，可以用來(lái)描述其它數(shù)據(jù)，并且XML具有簡(jiǎn)單、靈活、跨平臺(tái)等特性。但是XML格式冗余巨大，空間利用率低。為了提高空間利用率，提高數(shù)據(jù)交換的速度，給出了一種高壓縮率中文XML文檔的專用壓縮解決方案COX（Chinese-Oriented XML Compresso

2、r）并實(shí)現(xiàn)了該系統(tǒng)。
　　 針對(duì)XML文檔的特性，分析了XML文檔中存在的結(jié)構(gòu)和內(nèi)容上的冗余信息，針對(duì)這些冗余給出了COX壓縮技術(shù)。COX壓縮中文XML文檔的過(guò)程主要分為以下幾個(gè)步驟：建立字典，查找字典，編碼和整合壓縮。建立字典分為三個(gè)步驟：對(duì)XML文檔進(jìn)行中文分詞，獲得分詞及對(duì)應(yīng)的詞頻信息；根據(jù)分詞長(zhǎng)度和詞頻信息過(guò)濾掉分詞長(zhǎng)度較短或（和）詞頻較低的分詞；對(duì)獲得的分詞字典根據(jù)詞頻進(jìn)行排序，高頻詞匯位于字典首部，低頻詞匯位于字典尾

3、部，至此得到了編碼字典。建立字典之后，再次掃描XML文檔，根據(jù)一定的條件對(duì)數(shù)據(jù)進(jìn)行分類，建立相應(yīng)的容器，查找字典，對(duì)于字典項(xiàng)進(jìn)行前綴編碼，對(duì)其它類型的數(shù)據(jù)采用相應(yīng)的編碼方式進(jìn)行編碼；使用通用壓縮算法LZMA對(duì)編碼后的容器進(jìn)行整合壓縮。COX使用了中文分詞，建立字典，劃分容器等技術(shù)，其中建立字典是COX的關(guān)鍵技術(shù)。
　　 將COX和其它一些流行壓縮軟件進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明在相同的實(shí)驗(yàn)環(huán)境下對(duì)所選取的所有數(shù)據(jù)集COX的壓縮率都