海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)日益成為人們?nèi)粘Ｉ钪兄匾Y源。據(jù)統(tǒng)計(jì)，2010年全球創(chuàng)建、存儲(chǔ)和復(fù)制的數(shù)字信息總量已達(dá)到1.2ZB，2011年的數(shù)據(jù)量達(dá)到里程碑式的1.8ZB，而且這種增長(zhǎng)還在加速，預(yù)計(jì)2015年將達(dá)到近8ZB。爆炸式增長(zhǎng)的數(shù)據(jù)必然帶來(lái)存儲(chǔ)設(shè)備的持續(xù)增加。目前，海量數(shù)據(jù)存儲(chǔ)環(huán)境下的現(xiàn)代數(shù)據(jù)中心的存儲(chǔ)節(jié)點(diǎn)規(guī)模少則幾萬(wàn)多則幾十萬(wàn)，但在規(guī)模巨大的存儲(chǔ)環(huán)境系統(tǒng)中，磁盤(pán)損毀或者存儲(chǔ)節(jié)點(diǎn)失效已成為一種常態(tài)行為；與此同時(shí)，因網(wǎng)絡(luò)連接設(shè)備

2、或者存儲(chǔ)節(jié)點(diǎn)其它元器件造成的數(shù)據(jù)不可訪問(wèn)或者丟失現(xiàn)象也時(shí)有發(fā)生。為了滿(mǎn)足日益擴(kuò)展的數(shù)據(jù)存儲(chǔ)需求，人們對(duì)數(shù)據(jù)存儲(chǔ)的可靠性，可用性等相關(guān)特性提出了更高的要求，傳統(tǒng)的常規(guī)技術(shù)手段根本無(wú)法應(yīng)對(duì)當(dāng)前的形式，如何實(shí)現(xiàn)海量數(shù)據(jù)的低冗余度高可靠性存儲(chǔ)已經(jīng)成為業(yè)界面臨的一個(gè)巨大挑戰(zhàn)。
　　因而，本文針對(duì)構(gòu)建低冗余度高可靠性海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的關(guān)鍵問(wèn)題，在總結(jié)了當(dāng)今數(shù)據(jù)可靠性增強(qiáng)理論和海量數(shù)據(jù)存儲(chǔ)系統(tǒng)基本架構(gòu)的基礎(chǔ)上，對(duì)高性能數(shù)據(jù)容刪數(shù)據(jù)布局算法以及高

3、可靠性存儲(chǔ)架構(gòu)等方面進(jìn)行了深入的研究，取得了一定的進(jìn)展，具體如下：
　　1．針對(duì)已在數(shù)據(jù)存儲(chǔ)系統(tǒng)中有廣泛應(yīng)用的RAID技術(shù)，提出了一種新的基于異或運(yùn)算的水平陣列糾刪碼：EX-ENOD碼。該碼能夠容許任意三列的隨機(jī)刪除錯(cuò)，并具有極大距離可分性質(zhì)。根據(jù)該碼的幾何構(gòu)造特點(diǎn)，提出了一種具有低計(jì)算復(fù)雜度的譯碼方法，該方法的計(jì)算復(fù)雜度要低于目前已知的其它可糾三列隨機(jī)刪除錯(cuò)糾刪碼的譯碼方法。同時(shí)，該編碼方法具有明顯的通用性，可以擴(kuò)展應(yīng)用到STA

4、R碼、EEOD碼的譯碼過(guò)程。
　　2．針對(duì)海量存儲(chǔ)系統(tǒng)規(guī)模不斷擴(kuò)大，可靠性要求不斷提高的需求，本文將在{0,1}符號(hào)域上的范德蒙系統(tǒng)編碼方法引入存儲(chǔ)系統(tǒng)中來(lái)。該種編碼方法繼承了傳統(tǒng)有限域上構(gòu)建的范德蒙編碼的參數(shù)不受存儲(chǔ)節(jié)點(diǎn)規(guī)模、容錯(cuò)參數(shù)限制的優(yōu)良特性，而且存儲(chǔ)效率達(dá)到最高，同時(shí)該方法突破了傳統(tǒng)有限域上構(gòu)建的編碼需要大量查詢(xún)運(yùn)算的弊端?；谠摼幋a方法構(gòu)建的存儲(chǔ)系統(tǒng)，在保證其數(shù)據(jù)仍然可用的情況下，最多可容許系統(tǒng)內(nèi)部一半的存儲(chǔ)節(jié)點(diǎn)發(fā)生損

5、毀，在該種情況下，系統(tǒng)僅需要與原數(shù)據(jù)相同的冗余數(shù)據(jù)量。
　　3．針對(duì){0,1}符號(hào)域上編碼矩陣的特點(diǎn)，根據(jù)編碼矩陣中各行向量中“1”元素的分布，提出了可降低編譯碼計(jì)算復(fù)雜度的優(yōu)化算法。文章同時(shí)針對(duì)傳統(tǒng)譯碼重構(gòu)過(guò)程重構(gòu)帶寬較高的缺點(diǎn)，提出了基于校驗(yàn)矩陣的譯碼方法，并根據(jù)校驗(yàn)矩陣列向量的特點(diǎn)和存儲(chǔ)系統(tǒng)所需要重構(gòu)數(shù)據(jù)的數(shù)目，給出了一種低帶寬重構(gòu)算法。該種低帶寬重構(gòu)算法，可以推廣到所有構(gòu)建在{0,1}符號(hào)域上的編碼存儲(chǔ)系統(tǒng)。
　　4