基于糾刪碼容錯(cuò)的并行文件系統(tǒng)優(yōu)化技術(shù)研究和實(shí)現(xiàn).pdf

1、隨著高性能計(jì)算機(jī)計(jì)算性能的提高，其存儲(chǔ)系統(tǒng)的規(guī)模也在不斷擴(kuò)展，單純依靠傳統(tǒng)的硬件平臺(tái)容錯(cuò)方法已經(jīng)逐漸無(wú)法滿足系統(tǒng)對(duì)數(shù)據(jù)可靠性的要求，高性能計(jì)算機(jī)使用軟件方法來(lái)保證數(shù)據(jù)和存儲(chǔ)系統(tǒng)的可靠性是大勢(shì)所趨。糾刪碼作為一種數(shù)據(jù)冗余技術(shù)，對(duì)比其它數(shù)據(jù)容錯(cuò)技術(shù)，具有較高的存儲(chǔ)利用率和較強(qiáng)的容錯(cuò)能力，在云存儲(chǔ)領(lǐng)域，已經(jīng)開(kāi)始得到較為廣泛的關(guān)注。因此能否夠?qū)⒓m刪碼應(yīng)用到高性能計(jì)算機(jī)的存儲(chǔ)系統(tǒng)，從而從軟件層面保障數(shù)據(jù)的可靠性成為該領(lǐng)域關(guān)注的熱點(diǎn)問(wèn)題。
　

2、　為了研究將糾刪碼應(yīng)用到 HPC存儲(chǔ)系統(tǒng)中的可行性，我們分析了不同糾刪碼的編碼計(jì)算開(kāi)銷，解碼計(jì)算開(kāi)銷，容錯(cuò)率，存儲(chǔ)空間利用率等特性，分析了糾刪碼應(yīng)用到不同的云存儲(chǔ)系統(tǒng)對(duì)系統(tǒng)性能和可靠性等方面的影響，分析了將糾刪碼應(yīng)用到 HPC存儲(chǔ)系統(tǒng)中應(yīng)重點(diǎn)研究的內(nèi)容?；谝陨系姆治觯覀冞M(jìn)行了下列研究：
　　分析了糾刪碼對(duì)HPC存儲(chǔ)系統(tǒng)的性能的影響，并對(duì)關(guān)鍵的I/O操作——順序?qū)懖僮鬟M(jìn)行了優(yōu)化，我們提出基于數(shù)據(jù)局部性的緩存技術(shù)減少了順序?qū)懖僮髦?/p>

3、編碼計(jì)算的次數(shù)，又提出基于多條帶并行的流水線技術(shù)進(jìn)一步隱藏順序?qū)懖僮髦胁糠钟?jì)算和寫(xiě)入校驗(yàn)塊的開(kāi)銷。并從理論上量化分析了優(yōu)化技術(shù)對(duì)順序?qū)懖僮餍阅艿奶嵘?br>　　研究如何充分利用糾刪碼的解碼恢復(fù)能力來(lái)提高HPC存儲(chǔ)系統(tǒng)的可靠性和I/O性能，具體進(jìn)行了以下三個(gè)方面的研究：1）分析了糾刪碼對(duì)HPC存儲(chǔ)系統(tǒng)中恢復(fù)操作性能的影響，并提出優(yōu)化的方案。2）分析了糾刪碼對(duì)降級(jí)讀操作的影響，提出基于預(yù)讀機(jī)制和緩存技術(shù)的PC-Read方法優(yōu)化順序讀過(guò)程中

4、發(fā)生的降級(jí)讀操作，并從理論上量化分析了此方法對(duì)降級(jí)讀操作性能的提升。3）提出了CR-Read方法優(yōu)化由于IO易變性引發(fā)的聚合讀效率低的問(wèn)題，并提出一個(gè)算法——JMCR用來(lái)確定使用該方法的最佳時(shí)間點(diǎn)。
　　針對(duì)本文提出的優(yōu)化方法，設(shè)計(jì)實(shí)現(xiàn)了EDFS系統(tǒng)，EDFS系統(tǒng)是一個(gè)基于糾刪碼容錯(cuò)的原型驗(yàn)證系統(tǒng)。該系統(tǒng)堆疊在現(xiàn)有并行文件系統(tǒng)之上，支持對(duì)順序 I/O操作的優(yōu)化方法，針對(duì)降級(jí)讀操作提出的優(yōu)化方法PC-Read及針對(duì)IO易變性提出的C