云平臺下分布式文件系統(tǒng)評測技術(shù)研究.pdf

1、隨著云計算技術(shù)的不斷發(fā)展和普及，云存儲的概念也應運而生，而分布式文件系統(tǒng)是云存儲的核心基礎，承載著數(shù)據(jù)存儲的重任。另外一方面，隨著社會信息化程度的提高，對于信息和數(shù)據(jù)的依賴性也越來越大，也就是說數(shù)據(jù)的可靠性越來越重要。而容錯能力是衡量一個系統(tǒng)可靠性的重要標準，系統(tǒng)的容錯能力越強，所能提供的服務也就越可靠。因此，對云平臺下分布式文件系統(tǒng)的容錯能力進行評測具有重要的研究意義。
　　目前國內(nèi)外對于云平臺下分布式文件系統(tǒng)的研究成果中，關(guān)于

2、性能測試與優(yōu)化的有很多，而涉及容錯能力測試的比較少，并且測試手段比較單一。因此有必要針對云分布式文件系統(tǒng)的容錯能力測試進行深入的研究。
　　本文通過對HDFS（Hadoop Distributed File System）和TFS（Taobao File System）這兩種典型的云分布式文件系統(tǒng)的體系架構(gòu)、讀寫流程和內(nèi)部的容錯機制進行深入的研究，通過對比它們的相同點，提出了一套云平臺下分布式文件系統(tǒng)容錯能力測試方法。主要就是基于

3、故障注入的思想，設計并實現(xiàn)了一套故障注入工具集，分別針對云分布式文件系統(tǒng)的節(jié)點和進程、文件和目錄、數(shù)據(jù)校驗機制、內(nèi)部互聯(lián)的網(wǎng)絡進行故障注入，模擬現(xiàn)實應用中可能出現(xiàn)的各種類型的故障。
　　為了驗證云平臺下分布式文件系統(tǒng)容錯能力測試方法的可行性，本文搭建了一個小型的HDFS分布式文件系統(tǒng)，并以HDFS為例，進行相關(guān)的故障注入實驗。通過觀察實驗現(xiàn)象和研究日志文件中記錄的異常情況，來對HDFS的容錯能力進行評測和驗證，并對其中不足的地方提