基于數(shù)據(jù)壓縮與糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)研究.pdf

1、研究發(fā)現(xiàn),存儲系統(tǒng)中有高達60％的數(shù)據(jù)是重復(fù)的,大量重復(fù)數(shù)據(jù)的存在不僅浪費了存儲空間,而且給數(shù)據(jù)的處理速度和計算的準(zhǔn)確性帶來很大挑戰(zhàn)。近年來,重復(fù)數(shù)據(jù)刪除技術(shù)逐漸成為研究熱點。在重復(fù)數(shù)據(jù)刪除系統(tǒng)中,數(shù)據(jù)塊對所有的文件都是共享的,如果某個數(shù)據(jù)塊發(fā)生錯誤或丟失,會造成多個文件無法還原。有些研究者提出將糾刪碼技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,因糾刪碼編碼時會產(chǎn)生多個額外的校驗塊,使編碼后數(shù)據(jù)塊的存儲容量大于原始的單個數(shù)據(jù)塊。針對此問題,本文在糾刪碼

2、技術(shù)的基礎(chǔ)上將數(shù)據(jù)壓縮技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,最后通過實驗發(fā)現(xiàn),基于數(shù)據(jù)壓縮與糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)不僅提高了系統(tǒng)的可靠性,同時減少了存儲空間的浪費。本文完成的主要工作有:
　　(1)研究并實現(xiàn)了重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。本文首先編碼實現(xiàn)了重復(fù)數(shù)據(jù)刪除系統(tǒng)的整體架構(gòu),文件切分采用固定切分算法,指紋庫查找采用HASH查找算法。通過實驗初步驗證重復(fù)數(shù)據(jù)刪除系統(tǒng)可以大大減少存儲系統(tǒng)中的重復(fù)數(shù)據(jù)。
　　(2

3、)研究并實現(xiàn)了基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)的整體架構(gòu)。為了提高重復(fù)數(shù)據(jù)刪除系統(tǒng)的可靠性,一些研究者提出采用冗余備份技術(shù),但冗余備份技術(shù)對存儲空間是一種極大的浪費。本文在參考大量資料的基礎(chǔ)上將糾刪碼技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,實現(xiàn)了基于Reed-Solomon糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。由于在進行糾刪碼編碼時為了數(shù)據(jù)塊重構(gòu)會額外編碼出多個校驗數(shù)據(jù)塊,相對于原始數(shù)據(jù)塊來說造成了一定存儲空間的浪費,在此基礎(chǔ)上本文

4、完成了第二項工作。
　　(3)將數(shù)據(jù)壓縮技術(shù)引入到基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)中。本文在參考現(xiàn)有的幾種無損數(shù)據(jù)壓縮技術(shù)的基礎(chǔ)上,將Huffman壓縮技術(shù)引入基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)中,實現(xiàn)了基于Huffman數(shù)據(jù)壓縮和糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。保存文件時,糾刪碼編碼完成后對編碼的數(shù)據(jù)塊進行Huffman壓縮,將壓縮后的數(shù)據(jù)塊保存到不同的存儲節(jié)點,還原文件時,先將壓縮后的數(shù)據(jù)塊解壓縮為糾刪碼編