基于HDFS的小文件存儲方法的研究與優(yōu)化.pdf

1、隨著互聯網的飛速發(fā)展,數字信息正在呈現爆炸式的增長,人類已步入大數據時代,傳統(tǒng)的存儲方式在處理海量數據方面顯得越來越乏力。如何高效地處理和存儲海量數據已成為一個亟待解決的問題。伴隨著數據處理以及存儲技術的快速發(fā)展,云計算的概念應運而生。云存儲是云計算的延伸和發(fā)展,它具有結構靈活、響應效率高、管理方便等優(yōu)點,已經成為世界各國解決數據爆炸性增長方案的首選。
　　Hadoop分布式文件系統(tǒng)(HDFS)作為目前應用非常廣泛的云存儲平臺具有

2、開源、廉價、高容錯以及高可擴展性的特點。但是由于自身的主從式結構和元數據的存儲方式導致其在處理海量小文件時 NameNode內存占用率高、存儲訪問效率低、并發(fā)用戶的訪問時延長,這些問題已經成為制約 HDFS整體性能的瓶頸。因此,基于 HDFS的海量小文件存儲方法的研究與優(yōu)化是云計算技術領域的一個重要研究課題。
　　為了解決 HDFS處理海量小文件時耗費內存資源和檢索效率低的問題,本文首先研究了 HDFS下處理小文件的現有方法,分析

3、了各自的優(yōu)缺點,并在此基礎上提出了一種具有獨立小文件處理模塊的分布式文件系統(tǒng)。該架構是在分布式文件系統(tǒng)的基礎之上加入一個完全獨立于 HDFS的小文件處理模塊,負責小文件的合并、映射、預取,在傳統(tǒng) HDFS處理之前將小文件整合為大文件。該架構使得HDFS系統(tǒng)在處理小文件的同時不影響對大文件或者對已合并小文件的寫入或讀取,從而提高系統(tǒng)的存儲訪問效率。并且,本文所提架構更加符合傳統(tǒng) HDFS高效處理大文件的設計理念,在解決多用戶高并發(fā)訪問問題