海量小文件系統(tǒng)的大空間聚合存儲技術(shù)研究與實現(xiàn).pdf

1、傳統(tǒng)主從分布式文件系統(tǒng)在處理海量小文件數(shù)據(jù)時遇到元數(shù)據(jù)空間受限、數(shù)據(jù)節(jié)點效率低下、網(wǎng)絡(luò)資源利用率低等問題。為此，有學(xué)者提出小文件聚合存儲模型，提高系統(tǒng)對海量小文件數(shù)據(jù)的支持能力。但現(xiàn)有小文件聚合存儲模型的聚合效果受目錄結(jié)構(gòu)影響，不能有效支持任意目錄結(jié)構(gòu)的海量小文件數(shù)據(jù)。
　　論文在現(xiàn)有研究成果的基礎(chǔ)上，基于大空間聚合、細(xì)粒度管理的思想，提出大空間聚合存儲模型。將聚合單位擴(kuò)展到原始目錄結(jié)構(gòu)中的一棵子樹，并將該子樹上的所有文件和目錄一

2、起聚合。同時，以空間元數(shù)據(jù)簇為單位分布和管理小文件元數(shù)據(jù)信息，對于過大的空間元數(shù)據(jù)簇進(jìn)行動態(tài)分裂，從而提高小文件元數(shù)據(jù)管理效率。此外，基于跳表結(jié)構(gòu)設(shè)計了一套松散的元數(shù)據(jù)組織方式，簡化空間元數(shù)據(jù)簇分裂過程并通過優(yōu)先標(biāo)記目錄節(jié)點的方式優(yōu)化分裂算法。同時，論文還討論了分布式元數(shù)據(jù)管理的一致性問題。
　　在 HDFS之上，基于大空間聚合存儲模型實現(xiàn)了一套海量小文件系統(tǒng)SMDFS2.0，并通過多級緩存機(jī)制、迭代訪問模式等機(jī)制優(yōu)化小文件數(shù)據(jù)讀