容錯(cuò)存儲(chǔ)系統(tǒng)校驗(yàn)更新及修復(fù)優(yōu)化技術(shù)研究.pdf

1、近年來(lái)隨著數(shù)據(jù)的爆炸式增長(zhǎng)，數(shù)據(jù)的存儲(chǔ)規(guī)模越來(lái)越大，傳統(tǒng)的單機(jī)系統(tǒng)已經(jīng)無(wú)法滿足高速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。分布式存儲(chǔ)系統(tǒng)使用大量廉價(jià)商用服務(wù)器通過(guò)網(wǎng)絡(luò)互聯(lián)，可以提供極強(qiáng)的服務(wù)能力和擴(kuò)展能力。然而，隨著集群規(guī)模的變大、存儲(chǔ)設(shè)備的增多，存儲(chǔ)節(jié)點(diǎn)失效已不是偶然事件。因此，分布式存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)的可靠性要求尤為突出。分布式存儲(chǔ)系統(tǒng)常用的容錯(cuò)技術(shù)有兩種，多副本技術(shù)和糾刪碼技術(shù)。糾刪碼技術(shù)相對(duì)于多副本技術(shù)在提供相同容錯(cuò)能力的前提下，所需的存儲(chǔ)開(kāi)銷更小，因

2、此被存儲(chǔ)系統(tǒng)廣泛采用。糾刪碼技術(shù)通過(guò)對(duì)數(shù)據(jù)切塊，計(jì)算并存儲(chǔ)一定的冗余數(shù)據(jù)，當(dāng)發(fā)生不超過(guò)系統(tǒng)容錯(cuò)能力的節(jié)點(diǎn)失效時(shí)，可以利用存活節(jié)點(diǎn)的數(shù)據(jù)恢復(fù)出失效節(jié)點(diǎn)的數(shù)據(jù)。所以，為保證部署糾刪碼的存儲(chǔ)系統(tǒng)的可靠性，在數(shù)據(jù)塊更新的同時(shí)需要更新與之關(guān)聯(lián)的校驗(yàn)數(shù)據(jù);同時(shí)，當(dāng)存儲(chǔ)校驗(yàn)數(shù)據(jù)的節(jié)點(diǎn)失效時(shí)，快速的故障數(shù)據(jù)恢復(fù)對(duì)保證分布式存儲(chǔ)系統(tǒng)的可靠性也同等重要。本文主要研究了部署糾刪碼的存儲(chǔ)系統(tǒng)校驗(yàn)更新及修復(fù)優(yōu)化問(wèn)題，主要研究?jī)?nèi)容與貢獻(xiàn)如下:
　　(1)校驗(yàn)

3、數(shù)據(jù)更新優(yōu)化研究
　　隨著業(yè)務(wù)規(guī)模的增長(zhǎng)，已有的存儲(chǔ)系統(tǒng)往往無(wú)法滿足上層應(yīng)用更大的存儲(chǔ)容量和更高的訪問(wèn)帶寬需求。當(dāng)應(yīng)用需求超過(guò)存儲(chǔ)系統(tǒng)的負(fù)荷時(shí)，需要增加新的存儲(chǔ)介質(zhì)到已有的系統(tǒng)中，并將部分?jǐn)?shù)據(jù)遷移到新的存儲(chǔ)設(shè)備上，以均衡負(fù)載和提供更大的訪問(wèn)帶寬。然而，數(shù)據(jù)遷移會(huì)造成大量校驗(yàn)更新，由此給系統(tǒng)造成額外負(fù)載。本文針對(duì)擴(kuò)容過(guò)程中的校驗(yàn)數(shù)據(jù)更新問(wèn)題，提出了一種優(yōu)化策略EPU(EfficientParityUpdateAlgorithm)。首

4、先，EPU根據(jù)用戶請(qǐng)求訪問(wèn)情況調(diào)整擴(kuò)容順序，以最大化利用用戶請(qǐng)求節(jié)省校驗(yàn)更新引發(fā)的I/O;其次，EPU通過(guò)比較不同校驗(yàn)更新方式的系統(tǒng)開(kāi)銷，選擇最佳的校驗(yàn)更新方式，并盡可能的聚合校驗(yàn)更新I/O以減小系統(tǒng)開(kāi)銷。相比于傳統(tǒng)擴(kuò)容方法采用固定的校驗(yàn)更新方式，使用EPU，既可以減少擴(kuò)容過(guò)程引發(fā)的系統(tǒng)帶寬開(kāi)銷，也能加快擴(kuò)容過(guò)程的完成。
　　(2)校驗(yàn)數(shù)據(jù)故障恢復(fù)優(yōu)化研究
　　分布式存儲(chǔ)系統(tǒng)的規(guī)模越來(lái)越大，有的甚至達(dá)到幾百上千臺(tái)集群規(guī)模。龐

5、大的節(jié)點(diǎn)數(shù)目造成節(jié)點(diǎn)故障頻發(fā)，當(dāng)發(fā)生節(jié)點(diǎn)失效時(shí)，需要將失效節(jié)點(diǎn)修復(fù)，以維持?jǐn)?shù)據(jù)的可用性。并且，數(shù)據(jù)的修復(fù)速度應(yīng)盡可能的快，因?yàn)槿绻迯?fù)時(shí)間過(guò)長(zhǎng)，修復(fù)期間有可能發(fā)生更多節(jié)點(diǎn)失效，若失效節(jié)點(diǎn)數(shù)量超過(guò)系統(tǒng)的容錯(cuò)能力，將造成數(shù)據(jù)的永久丟失。因此，數(shù)據(jù)的快速修復(fù)對(duì)于系統(tǒng)的可靠性至關(guān)重要。本文提出了一種基于局部校驗(yàn)和全局校驗(yàn)相結(jié)合的新型編碼ESRC(EfficientSingle-failureRecoveryCode)碼，該編碼可以高效地修復(fù)單個(gè)