HDFS優(yōu)化研究及其在云存儲(chǔ)平臺(tái)中應(yīng)用.pdf

1、隨著信息化時(shí)代的發(fā)展，人們更多的依賴網(wǎng)絡(luò)，導(dǎo)致互聯(lián)網(wǎng)用戶的激增，網(wǎng)絡(luò)信息數(shù)據(jù)量呈爆炸式增長(zhǎng)，這些數(shù)據(jù)中有百分之八十是文件、圖像、音頻等大文件，數(shù)據(jù)量甚至?xí)_(dá)到 PB級(jí)。如此海量的數(shù)據(jù)存儲(chǔ)成為當(dāng)前研究的熱點(diǎn)，也逐漸地成為制約企業(yè)長(zhǎng)足發(fā)展的問(wèn)題。于是，構(gòu)建高可用的存儲(chǔ)網(wǎng)絡(luò)成為當(dāng)下的研究熱門(mén)，分布式文件存儲(chǔ)系統(tǒng)便應(yīng)運(yùn)而生。HDFS運(yùn)用于海量數(shù)據(jù)存儲(chǔ)的場(chǎng)景，但是在架構(gòu)上仍存在不足，因此，本文提出一種改進(jìn)的方案并將優(yōu)化后的HDFS應(yīng)用到實(shí)際場(chǎng)景中

2、。所做的主要工作如下：
　　首先，針對(duì)HDFS的單一namenode架構(gòu)問(wèn)題，提出搭建datanode集群的優(yōu)化方案。在該方案中搭建datanode集群，每個(gè)小集群中都有一個(gè)namenode管理集群中的各datanode，同時(shí)將namenode中文件元數(shù)據(jù)信息緩存到datanode集群中，這樣就減少了客戶端與namenode的交互所帶來(lái)的namenode的內(nèi)存壓力。優(yōu)化后的HDFS中會(huì)包括多個(gè)namenode，其中某一個(gè)集群中的n

3、amenode失效也不會(huì)導(dǎo)致整個(gè)HDFS癱瘓。此外，設(shè)計(jì)了索引服務(wù)，管理文件到namenode的映射，從而在架構(gòu)上提升整體HDFS的性能。
　　其次，搭建優(yōu)化后的HDFS集群并實(shí)際應(yīng)用到基于云計(jì)算的高校綜合信息管理平臺(tái)，解決了平臺(tái)上各應(yīng)用的文件存儲(chǔ)問(wèn)題。在優(yōu)化后的HDFS集群上用java語(yǔ)言設(shè)計(jì)實(shí)現(xiàn)了供各應(yīng)用存儲(chǔ)的HDFS存儲(chǔ)服務(wù)和RMI遠(yuǎn)程調(diào)用存儲(chǔ)服務(wù)。為了將平臺(tái)上各應(yīng)用上傳的文件進(jìn)行統(tǒng)一管理，使用ZK+Spring+Strut