糾刪碼存儲(chǔ)集群的數(shù)據(jù)重構(gòu)優(yōu)化技術(shù)研究.pdf

1、隨著糾刪碼存儲(chǔ)系統(tǒng)規(guī)模不斷增大，龐大的節(jié)點(diǎn)規(guī)模導(dǎo)致其節(jié)點(diǎn)失效成為一種常態(tài)。傳統(tǒng)失效數(shù)據(jù)重構(gòu)方法導(dǎo)致恢復(fù)時(shí)間長(zhǎng)和更高的前端I/O延遲。因此，為了保證糾刪碼存儲(chǔ)系統(tǒng)中數(shù)據(jù)的高可用性以及在線響應(yīng)性能，設(shè)計(jì)糾刪碼存儲(chǔ)系統(tǒng)下同時(shí)提高恢復(fù)性能和恢復(fù)時(shí)前端I/O性能的優(yōu)化方案具有重要科研意義的研究。
　　針對(duì)上述問(wèn)題，以基于糾刪碼的存儲(chǔ)集群為研究對(duì)象，以?xún)?yōu)化重構(gòu)性能和用戶(hù)訪問(wèn)性能為目標(biāo)，提出了基于流水線I/O方式的離線重構(gòu)優(yōu)化方案和基于內(nèi)存I/

2、O重定向的在線重構(gòu)優(yōu)化方案。
　　基于流水線I/O方式的離線重構(gòu)優(yōu)化方案(PUSH)利用糾刪碼的編解碼特性，將重構(gòu)過(guò)程分解成一組線性組合計(jì)算操作，將各計(jì)算操作分派到各存活節(jié)點(diǎn)上，并按流水線I/O方式來(lái)完成整體重構(gòu)過(guò)程。借助該流水線式重構(gòu)鏈，使得替換節(jié)點(diǎn)接收帶寬不再成為重構(gòu)過(guò)程性能提升的瓶頸，也可以提高重構(gòu)時(shí)存活節(jié)點(diǎn)中磁盤(pán)的響應(yīng)性能。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)集中式重構(gòu)方案相比，PUSH能夠至少加速系統(tǒng)重構(gòu)速度92％。
　　基于I/