分布式存儲(chǔ)系統(tǒng)中快速修復(fù)編碼與性能評(píng)價(jià).pdf

1、分布式存儲(chǔ)系統(tǒng)是一種存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)互連的系統(tǒng)，具有較好的存儲(chǔ)能力和較低的開銷。由于系統(tǒng)內(nèi)提供存儲(chǔ)服務(wù)的設(shè)備往往具有不穩(wěn)定性，存儲(chǔ)節(jié)點(diǎn)出現(xiàn)數(shù)據(jù)失效的情況時(shí)有發(fā)生，在這種情況下整個(gè)系統(tǒng)就需要進(jìn)行頻繁的數(shù)據(jù)恢復(fù)操作。為了維持?jǐn)?shù)據(jù)可用，早期的分布式存儲(chǔ)系統(tǒng)通常采用保存文件副本的方法。這種方法雖然簡(jiǎn)單有效，卻會(huì)造成大量的數(shù)據(jù)冗余，同時(shí)也提高了修復(fù)代價(jià)。基于上述情況，如何對(duì)失效節(jié)點(diǎn)進(jìn)行高效地修復(fù)成為了分布式存儲(chǔ)系統(tǒng)中亟待解決的問(wèn)題，具有很重要的研

2、究?jī)r(jià)值和現(xiàn)實(shí)意義。
　　隨著編碼技術(shù)的提出，利用該技術(shù)存儲(chǔ)數(shù)據(jù)成為了解決以上問(wèn)題的一個(gè)有效途徑。由于再生編碼有著良好的存儲(chǔ)能力和容錯(cuò)能力，因此成為近些年的重點(diǎn)研究方向。目前針對(duì)再生編碼的研究主要分為兩個(gè)方向：最小存儲(chǔ)再生碼(MSR)和最少帶寬再生碼(MBR)，分別代表了研究如何減少存儲(chǔ)時(shí)的數(shù)據(jù)冗余和研究如何減少數(shù)據(jù)恢復(fù)時(shí)的網(wǎng)絡(luò)帶寬。就目前計(jì)算機(jī)體系中存儲(chǔ)與網(wǎng)絡(luò)帶寬資源的價(jià)格差異來(lái)看，網(wǎng)絡(luò)資源的高效利用可以帶來(lái)更大的開銷節(jié)省，因此本

3、文著重研究了最少帶寬再生編碼，并在此類編碼中選擇了四種具有快速修復(fù)特性的編碼進(jìn)行了理論和實(shí)際的性能研究。由于這些編碼方案的修復(fù)方法是通過(guò)精確取得丟失數(shù)據(jù)的副本或者只需簡(jiǎn)單的運(yùn)算，因此有著更好的修復(fù)性能和更低的帶寬消耗，同時(shí)相比較其他類型的最少帶寬再生碼有著更加優(yōu)秀的存儲(chǔ)能力和更加靈活的存儲(chǔ)方式。
　　本文對(duì)基于分布式存儲(chǔ)系統(tǒng)的快速修復(fù)再生編碼進(jìn)行性能研究，主要工作集中在以下幾個(gè)方面：
　　(1)根據(jù)編碼過(guò)程的共同點(diǎn)總結(jié)出編碼

4、方案的相似性，進(jìn)而規(guī)劃出統(tǒng)一編碼框架并得出了文件操作可能性。通過(guò)將分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)和網(wǎng)絡(luò)以無(wú)向圖的表示形式進(jìn)行抽象描述，利用頂點(diǎn)表示存儲(chǔ)節(jié)點(diǎn)、邊表示網(wǎng)絡(luò)中節(jié)點(diǎn)的互連關(guān)系，從而可以得到描述整個(gè)分布式存儲(chǔ)系統(tǒng)的結(jié)構(gòu)。同時(shí)用矩陣運(yùn)算抽象表示出各類操作的過(guò)程，對(duì)于所有編碼方案在編碼、解碼和修復(fù)單一失效節(jié)點(diǎn)時(shí)的性能進(jìn)行了理論上的分析和總結(jié)。
　　(2)使用模塊化的方法設(shè)計(jì)并實(shí)現(xiàn)了基于快速修復(fù)再生編碼的分布式存儲(chǔ)系統(tǒng)。本文詳細(xì)介紹了設(shè)計(jì)