基于HDFS的分布式存儲的研究與優(yōu)化.pdf

1、近些年隨著互聯(lián)網(wǎng)的高速發(fā)展，接入互聯(lián)網(wǎng)的用戶越來越多，各種互聯(lián)網(wǎng)相關(guān)的服務(wù)也已經(jīng)深入到整個社會的各個方面，小到個人吃飯打車，大到影響全國人民的火車訂票視頻觀看等系統(tǒng)，無時無刻影響著我們的生活。在可預(yù)見的未來，互聯(lián)網(wǎng)將會繼續(xù)發(fā)展，而由此產(chǎn)生的數(shù)據(jù)將會變得越來越龐大，對于這些數(shù)據(jù)的處理以及有價值的信息處理會變得很重要。
　　而HDFS不管是作為云計算MapReduce的基本存儲系統(tǒng)還是單純作為海量大數(shù)據(jù)存儲平臺，在現(xiàn)在的社會中都發(fā)揮著

2、愈發(fā)重要的作用。作為一個被廣泛使用的大規(guī)模分布式文件系統(tǒng)，他能夠在高可用性以及高可靠性的前提下高效地進行數(shù)據(jù)存儲及訪問就會變得非常重要。
　　本文針對這樣一個問題，對HDFS的NameNode以及DataNode進行了仔細的研究，并闡述了現(xiàn)在版本中 HDFS的一些局限性，并提出了相關(guān)的優(yōu)化方案。本文主要工作如下：
　?。?）介紹云計算的一些相關(guān)知識，并對 Hadoop進行了相關(guān)介紹，主要是對HDFS的Namenode工作原理

3、以及DataNode的讀寫過程進行了詳細介紹，另外對MapReduce計算流程也進行了簡單介紹。
　?。?）對HDFS的高可用性進行了介紹，并對早期版本的HDFS高可用性解決方案進行了介紹以及分析對比，由此引出了Hadoop2.x新加入的新特性，HA（High Availability高可用性）機制。對HDFS HA進行了詳細的分析，并提出了新的可更有利于擴展性的方案，并對優(yōu)化方案的元數(shù)據(jù)一致性以及主備切換進行了分析。在設(shè)計的實驗

4、里，對優(yōu)化后的元數(shù)據(jù)一致性保證得到了驗證。而在雙節(jié)點故障的情況下，優(yōu)化后的方案大大減少了主備Namenode節(jié)點切換的時間，優(yōu)化效果明顯。
　?。?）對HDFS中文件讀寫進行了了解與分析。由于磁盤的讀寫會是文件讀寫的瓶頸所在，故本文提出了一個基于緩存的優(yōu)化設(shè)計。在這個設(shè)計方案中，我們將用 Memcached來實現(xiàn)這個緩存層，對于 DataNode上的文件讀寫首先會經(jīng)過Memcached緩存中間層，以達到讀寫性能的提升。最后，分別對