基于Lustre文件系統(tǒng)MPi-I-O優(yōu)化的改進與實現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)日新月異的技術(shù)的出現(xiàn)與科學(xué)技術(shù)的發(fā)展，給人類社會產(chǎn)生了翻天覆地變化?，F(xiàn)在大數(shù)據(jù)時代正式來臨了，我們正生活在數(shù)據(jù)爆發(fā)增長的時代。在生產(chǎn)和生活中，出現(xiàn)了越來越多的計算密集型的應(yīng)用程序，這就對現(xiàn)在的文件系統(tǒng)提出了更高的要求，因為這其中的數(shù)據(jù)訪問量會非常的大。而且這其中很多都是由許多小的數(shù)據(jù)塊訪問組成的。在處理大的數(shù)據(jù)塊時，文件系統(tǒng)的帶寬性能比較好，但是處理大量小的數(shù)據(jù)塊的數(shù)據(jù)傳輸操作時，文件系統(tǒng)的帶寬性能就會大打折扣，遠不能打到文

2、件系統(tǒng)的理論帶寬。在并行文件系統(tǒng)這類矛盾上近年來越來越突出。
　　本文對目前主流的并行文件系統(tǒng)進行了研究，并在研究的基礎(chǔ)上對系統(tǒng)進行了多方面的比較。為保證研究的準(zhǔn)確性，又自行搭建了用于研究的Lustre文件系統(tǒng)的集群，并在集群中部署了Lustre文件系統(tǒng)的相關(guān)程序。然后實現(xiàn)了對Lustre文件系統(tǒng)I/O性能的測試用例，對Lustre文件系統(tǒng)3個重要組成部分，進行了分類研究與測試，實現(xiàn)了當(dāng)前集群規(guī)模下各個組成部分的最優(yōu)化的操作，并從

3、MPI-IO的角度進行了優(yōu)化與實現(xiàn)，從而改進了集群的I/O性能。
　　本文的創(chuàng)新點如下。
　　1.實現(xiàn)了對Lustre文件系統(tǒng)的搭建和部分日常處理方面的自動化的功能。
　　2.分別在Intel CPU和國產(chǎn)CPU集群上對Lustre文件系統(tǒng)的I/O讀寫性能，進行了MPI-IO方法的讀寫I/O測試功能的實現(xiàn)，其中在國產(chǎn)CPU集群中對代碼進行了調(diào)整，并對其實現(xiàn)了對這2種集群進行任務(wù)提交的功能。
　　3.從MPI-IO