基于最小修復帶寬的分布式存儲系統(tǒng)編碼機制構造的研究.pdf

1、隨著大數據時代的到來，全球信息數據資源開始呈現出爆炸性增長。圖靈獎獲得者James Gray甚至提出了關于全球數據總量的摩爾定律:全球數據總量每18個月就將翻一番，也即未來每18個月就能產生出與人類有史以來全部數據總量相同規(guī)模的數據。為了滿足大數據時代各種大規(guī)模存儲應用的存儲需求，人們開始越來越多地關注分布式存儲技術。
　　分布式存儲系統(tǒng)(Distributed Storage System，DSS)就是利用一定的技術手段將原始數

2、據分別存儲在相互獨立的若干臺設備上，并能通過不同程度的數據冗余來提供對數據的可靠訪問。然而分布式存儲系統(tǒng)中相互獨立的各個節(jié)點本身會因為各種原因發(fā)生失效。隨著分布式存儲系統(tǒng)規(guī)模的不斷擴大，這種節(jié)點失效的情況出現得越來越普遍。因此，構建分布式存儲系統(tǒng)需要面臨的一個問題便是節(jié)點修復:為了使系統(tǒng)能夠保持相同的可靠性，當一個存儲了編碼信息的節(jié)點發(fā)生失效后，必須在新的節(jié)點再生出丟失的編碼信息。
　　本文對采用糾刪碼的分布式存儲系統(tǒng)進行研究發(fā)現

3、，即使為了修復某一獨立的失效節(jié)點，修復的過程也必需先恢復出完整的原始數據，再根據原始數據再生出有效的數據片段。為了更加有效地進行節(jié)點修復，降低修復帶寬，提高存儲效率，本文重點研究了基于最小修復帶寬的分布式存儲系統(tǒng)編碼機制。Dimakis等人創(chuàng)造性地將網絡編碼技術與分布式存儲結合起來，定義了針對節(jié)點修復問題的若干種再生碼(Regenerating codes)，并得到了存儲容量與修復帶寬之間的基本權衡關系。Wu等人在此基礎上，利用最大距離

4、可分離碼(Maximum distanceseparable code)以及系統(tǒng)性(Systematic)碼的特點設計了相應的系統(tǒng)性MDS編碼(Systematic MDS codes)機制，當d=k+l時實現了理論上的最小修復帶寬。本文分析比較了Wu的編碼機制與其他實現最小修復帶寬的編碼機制，指出了Wu的構造客觀上所存在的局限，然后對Wu提出的系統(tǒng)性MDS編碼機制進行了拓展。拓展后的構造形式簡潔，并且比Wu的構造更具一般性，在不提高有