基于糾刪碼的分布式存儲系統(tǒng)中編碼算法的研究與實現(xiàn).pdf

1、隨著Internet技術的不斷發(fā)展和應用的日漸廣泛,傳統(tǒng)的客戶機/服務器數(shù)據(jù)存儲服務模式已經(jīng)難以滿足用戶高性能、高可靠、高可擴展性的海量數(shù)據(jù)存儲要求。在應用需求的推動之下,分布式存儲技術得到了快速的發(fā)展,為構建新一代的Internet數(shù)據(jù)存儲服務模式鋪就了一條新的可行之道。傳統(tǒng)的分布式存儲系統(tǒng)對數(shù)據(jù)采用副本管理,這樣可以保證數(shù)據(jù)的可靠性,還可以保證當一部分存儲節(jié)點發(fā)生故障后數(shù)據(jù)不會丟失。但是,隨著存儲規(guī)模的增大,存儲副本帶來的冗余量也會

2、隨之增大,為了應對大量客戶端對某個數(shù)據(jù)同時進行訪問,同一個副本的存儲數(shù)量還會增加,進一步增加了數(shù)據(jù)的冗余量,使得分布式存儲系統(tǒng)的規(guī)模更大。采用糾刪碼技術,可以將原始數(shù)據(jù)分塊并且編碼成不同的編碼數(shù)據(jù)塊,然后將這些編碼數(shù)據(jù)塊分別存儲到不同的存儲服務器中。當需要讀取數(shù)據(jù)時,同時從存儲服務器中獲取編碼數(shù)據(jù)塊進行解碼運算,計算出原始數(shù)據(jù)。每個存儲服務器不再存儲完整數(shù)據(jù),而是編碼后的一個編碼數(shù)據(jù)塊,大小只有原始數(shù)據(jù)的幾分之一,這樣不僅可以保證存儲數(shù)

3、據(jù)一定的容錯能力,還可以大大減少在具有相同容錯能力條件下數(shù)據(jù)的冗余度。在已有的基于糾刪碼的分布式存儲系統(tǒng)中,一般只采用某種編碼算法對數(shù)據(jù)進行編碼。當系統(tǒng)規(guī)模發(fā)生變化,或者數(shù)據(jù)的容錯參數(shù)發(fā)生變化時,此時采用固定的編碼算法不一定是最優(yōu)策略。因此一個性能優(yōu)異的基于糾刪碼的分布式存儲系統(tǒng)可以隨著系統(tǒng)規(guī)模、運行狀態(tài)以及數(shù)據(jù)大小動態(tài)的調整使用編碼的策略。
　　 本文通過對三種糾刪碼算法進行研究,以及對它們的性能進行了實驗上以及理論上進行的分

4、析,給出了編碼算法性能與系統(tǒng)規(guī)模之間的關系。主要研究內容包括：⑴系統(tǒng)研究了基于VANDERMONDE矩陣和基于CAUCHY矩陣的RS碼算法和TORNADO編碼算法的糾刪碼算法；⑵對基于VANDERMONDE矩陣和基于CAUCHY矩陣的RS碼算法和TORNADO編碼算法這三種糾刪碼算法的性能進行了分析。對這三種糾刪碼算法進行實驗分析和理論分析,得出了編碼算法與系統(tǒng)規(guī)模之間的關系；⑶設計并實現(xiàn)了一個基于糾刪碼的分布式存儲系統(tǒng)DSS,包括系統(tǒng)