面向多節(jié)點(diǎn)失效的糾刪碼及數(shù)據(jù)修復(fù)技術(shù)研究.pdf

1、在分布式存儲(chǔ)系統(tǒng)中，基于糾刪碼的容錯(cuò)機(jī)制相比于基于副本的容錯(cuò)機(jī)制能夠極大地節(jié)省數(shù)據(jù)存儲(chǔ)開銷。然而，糾刪碼修復(fù)所產(chǎn)生的大量數(shù)據(jù)傳輸影響了系統(tǒng)性能，阻礙了糾刪碼在實(shí)際分布式存儲(chǔ)系統(tǒng)中的廣泛應(yīng)用。糾刪碼的修復(fù)方式分為立即修復(fù)和延遲修復(fù)兩種，延遲修復(fù)相比于立即修復(fù)能夠節(jié)省系統(tǒng)資源，因此成為目前主流的修復(fù)方式。然而，延遲修復(fù)將導(dǎo)致多節(jié)點(diǎn)失效更為常見?，F(xiàn)有的糾刪碼和修復(fù)策略主要針對(duì)于單節(jié)點(diǎn)失效修復(fù)，在多節(jié)點(diǎn)失效修復(fù)時(shí)數(shù)據(jù)傳輸量大、速度慢。為降低多節(jié)

2、點(diǎn)數(shù)據(jù)傳輸量、加快修復(fù)速度，對(duì)面向多節(jié)點(diǎn)失效的糾刪碼以及數(shù)據(jù)修復(fù)技術(shù)進(jìn)行了深入研究。取得的主要研究進(jìn)展如下：
　　首先，針對(duì)已有糾刪碼在多節(jié)點(diǎn)修復(fù)時(shí)存在數(shù)據(jù)傳輸量大的問題，本文提出了一種面向多節(jié)點(diǎn)失效的分組修復(fù)碼GRC。GRC碼利用分組思想將整個(gè)條帶分成若干組并在組內(nèi)計(jì)算出多個(gè)局部編碼塊，來減少多節(jié)點(diǎn)修復(fù)時(shí)的數(shù)據(jù)傳輸量。在計(jì)算局部編碼塊時(shí)，通過控制生成矩陣，使得各組中序號(hào)相同的局部編碼塊能夠合成全局編碼塊，合成的全局編碼塊和已有全

3、局編碼塊共同維持糾刪碼容錯(cuò)度。根據(jù)GRC碼的編碼特征，本文提出針對(duì)GRC碼的基于多階段選擇策略的解碼算法GMCD以減少解碼過程的數(shù)據(jù)傳輸量，優(yōu)化系統(tǒng)性能。實(shí)驗(yàn)結(jié)果表明，與已有的典型糾刪碼RS碼相比，GRC碼將修復(fù)時(shí)數(shù)據(jù)傳輸量降低50％以上；與分組結(jié)構(gòu)型糾刪碼BPC碼相比，GRC碼將修復(fù)時(shí)數(shù)據(jù)傳輸量降低15%-25%。
　　其次，針對(duì)已有修復(fù)技術(shù)在多節(jié)點(diǎn)修復(fù)時(shí)速度慢的問題，本文提出了一種分組數(shù)據(jù)互換修復(fù)技術(shù) GDER。不同于傳統(tǒng)集中

4、式同時(shí)修復(fù)技術(shù)中將所有塊發(fā)送到一個(gè)新生節(jié)點(diǎn)上進(jìn)行解碼，GDER將修復(fù)所用到的塊平均分成兩組，并各自發(fā)送到兩個(gè)新生節(jié)點(diǎn)。兩個(gè)新生節(jié)點(diǎn)分別計(jì)算得出中間數(shù)據(jù)，然后交換部分中間數(shù)據(jù)，使得新生節(jié)點(diǎn)本身計(jì)算得到的中間數(shù)據(jù)和從另一個(gè)新生節(jié)點(diǎn)接收得到的中間數(shù)據(jù)合成失效塊。由于修復(fù)過程中兩個(gè)節(jié)點(diǎn)并行地接收數(shù)據(jù)和進(jìn)行解碼計(jì)算，因此GDER的修復(fù)速度相比于傳統(tǒng)集中式同時(shí)修復(fù)技術(shù)有近一倍的提高。此外，本文提出了一種以最小數(shù)據(jù)傳輸代價(jià)為目標(biāo)的節(jié)點(diǎn)選擇算法MDTN

5、S以優(yōu)化多節(jié)點(diǎn)修復(fù)性能。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)集中式同時(shí)修復(fù)技術(shù)相比，GDER在保持修復(fù)數(shù)據(jù)傳輸量較低的情況下，修復(fù)速度提高70%以上。
　　最后，基于上述研究成果，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于分組修復(fù)碼的分布容錯(cuò)存儲(chǔ)原型系統(tǒng)GroupCR。GroupCR基于開源的分布式容錯(cuò)存儲(chǔ)系統(tǒng)HDFS-RAID設(shè)計(jì)實(shí)現(xiàn)，含有豐富的糾刪碼編碼算法，包括已有的GRC碼、BPC碼、RS碼和XOR碼，也能較容易地?cái)U(kuò)展支持其他的編碼算法。此外，GroupCR支