面向多層存儲架構(gòu)的I-O優(yōu)化技術(shù)研究.pdf

1、隨著高性能計算技術(shù)的快速發(fā)展，I/O密集型應(yīng)用對高性能計算機的存儲子系統(tǒng)的容量、性能、可擴展性和可靠性等方面提出了越來越高的要求，在大數(shù)據(jù)時代下，海量數(shù)據(jù)的快速分析處理也需要優(yōu)秀的存儲系統(tǒng)作為支撐。存儲子系統(tǒng)作為高性能計算機系統(tǒng)的關(guān)鍵組成部分，其I/O性能和系統(tǒng)計算性能的不匹配已經(jīng)成為阻礙系統(tǒng)整體性能提升的重要瓶頸。 磁盤作為目前主流的存儲設(shè)備，其性能提升速度遠遠落后于CPU等計算設(shè)備的性能提升速度，面對這一事實，現(xiàn)有存儲架構(gòu)的性能可提

2、升空間有限。多層存儲架構(gòu)的靈感來自于單機環(huán)境下的存儲層次結(jié)構(gòu)，為高性能計算機的計算節(jié)點增加存儲設(shè)備組成本地存儲，將原有的存儲子系統(tǒng)作為全局存儲，兩者組成多層結(jié)構(gòu)，充分發(fā)揮各種類型存儲資源的優(yōu)勢，是未來高性能計算機存儲系統(tǒng)的發(fā)展方向。本
　　本研究主要內(nèi)容包括：⑴對多層存儲架構(gòu)的運行模式進行了研究。多層存儲架構(gòu)相比傳統(tǒng)的單層存儲架構(gòu)有著更大的性能提升空間，分析了目前多層存儲架構(gòu)中使用的I/O調(diào)度和容錯方法，指出了其中存在的問題和對其

3、進行優(yōu)化的方向。⑵設(shè)計實現(xiàn)了一種基于節(jié)點I/O繁忙度的I/O調(diào)度方法。在多層存儲架構(gòu)中，如何有效地利用本地存儲資源并減少I/O沖突是提高系統(tǒng)I/O性能的關(guān)鍵，然而，在高性能計算機系統(tǒng)中，由于多個計算節(jié)點作為客戶端共同使用系統(tǒng)中的存儲資源，當(dāng)系統(tǒng)中有多個作業(yè)同時運行時，不同作業(yè)在使用本地存儲資源過程中必然存在I/O沖突，這可能使得某個作業(yè)的I/O請求需要等待較長時間才能被響應(yīng)，這種情況下I/O調(diào)度方法對系統(tǒng)的整體性能有重要影響，本文提出的

4、基于節(jié)點I/O繁忙度的I/O調(diào)度方法針對系統(tǒng)中存儲設(shè)備的當(dāng)前I/O繁忙程度進行調(diào)度，從而有效提高系統(tǒng)的整體I/O性能。⑶設(shè)計實現(xiàn)了一種基于分層協(xié)同的I/O容錯方法。現(xiàn)有存儲系統(tǒng)的容錯方法如RAID、糾刪碼等主要面向單層存儲架構(gòu)，沒有充分發(fā)掘多層存儲架構(gòu)的協(xié)同容錯能力。為此，本文設(shè)計了分層協(xié)同的I/O容錯方法，通過構(gòu)造I/O代理層來實現(xiàn)對作業(yè)I/O過程的實時監(jiān)控，在異常發(fā)生時利用多層存儲資源協(xié)同容錯，有效改善了多層存儲架構(gòu)的可靠性和可用性