HDFS分布式文件系統數據放置均衡研究.pdf

1、隨著Internet規(guī)模擴大和信息化的提高，對于海量大數據的存儲，人們越來越依賴云存儲分布式文件系統。HDFS作為分布式文件系統的典型代表，它運用副本管理策略來提高集群的可用性和容錯性有著無可比擬的優(yōu)勢。然而對副本管理策略的研究處于初始階段，副本創(chuàng)建、維護副本一致性和負載均衡等都是目前計算機存儲技術領域中的重要研究課題。
　　副本創(chuàng)建包括副本個數、副本放置位置和創(chuàng)建時機等。在HDFS運行過程中,它的副本放置位置規(guī)則可以通過副本放置

2、策略來進行實現，然而在現有的副本放置策略中，HDFS默認副本放置策略假設集群是同構的并隨機選擇節(jié)點，它沒有考慮節(jié)點可用存儲空間的情況，即使有一個節(jié)點可用存儲空間遠小于其他節(jié)點，該節(jié)點仍然有概率繼續(xù)存儲數據塊副本。另外如果客戶端所在節(jié)點屬于 HDFS集群，默認策略優(yōu)先將第一個數據塊副本放置在該客戶端，它并沒有考慮該客戶端的可用存儲空間情況，如果某一客戶端一直向 HDFS上傳文件，這個客戶端可用存儲空間會變得很小。默認策略的結果是造成存儲節(jié)

3、點可用存儲空間差異性，產生可用存儲空間不足的節(jié)點，這些節(jié)點可能由于存儲空間不足造成該節(jié)點存儲數據塊副本或者執(zhí)行MapReduce任務失敗。默認策略也不能均衡節(jié)點網絡負載，當集群中文件被大量讀取或者寫入時，會增加相關節(jié)點網絡負載，默認策略不能將新數據塊副本存儲在網絡負載小的節(jié)點，分散某些節(jié)點的網絡負載，減少存儲數據塊副本的等待時間。因此，本文重點針對HDFS副本創(chuàng)建策略中的副本放置策略這個科學問題進行了系統的研究，本文所做的主要工作和創(chuàng)新

4、點如下：
　　（1）提出了一種可用存儲空間敏感的副本放置策略。針對HDFS默認副本放置策略不能匹配節(jié)點可用存儲空間和數據塊放置數量的不足，可用存儲空間敏感的副本放置策略根據實時采集的節(jié)點可用存儲空間和節(jié)點訪問連接數，按照基于可用存儲空間和訪問連接數的節(jié)點評價值數學模型計算節(jié)點的評價值，將該評價值作為管理節(jié)點選擇存儲節(jié)點的標準，將每個數據塊副本存儲在最佳副本存儲節(jié)點上。實驗結果表明，可用存儲空間敏感的副本放置策略通過在不同可用存儲空

5、間的節(jié)點上進行針對性數據塊副本放置，實現了匹配節(jié)點可用存儲空間與數據塊放置數量，避免了可用存儲空間不足節(jié)點產生，大大降低了節(jié)點由于可用存儲空間不足而存儲數據塊副本失敗和執(zhí)行MapReduce任務失敗的可能性。
　?。?）提出了一種網絡負載敏感的副本均衡策略。針對HDFS默認副本放置策略在有大量文件訪問和寫入時，不能將網絡數據流量分擔到多個節(jié)點，無法均衡節(jié)點網絡負載問題，網絡負載敏感的副本均衡策略通過周期性探測存儲節(jié)點的網卡信息，將

6、各個存儲節(jié)點一段時間內的收發(fā)數據塊數量作為衡量網絡負載的指標，在存儲數據塊副本時，綜合考慮了節(jié)點網絡負載和可用存儲空間兩個目標，當機架中高網絡負載節(jié)點與低網絡負載節(jié)點平均存儲空間差值超過5G時，選擇機架中可用存儲空間最大的節(jié)點存儲數據塊副本，如果不超過5G，則隨機選擇一個低網絡負載節(jié)點存儲數據塊副本。通過實驗驗證了網絡負載敏感的副本均衡策略通過對高網絡負載節(jié)點與低網絡負載節(jié)點平均存儲空間的比較，實現了均衡網絡負載，避免了節(jié)點由于高網絡負