基于Hadoop的云存儲管理系統(tǒng)的設(shè)計和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各種網(wǎng)絡(luò)工具的普及，越來越多的信息開始在網(wǎng)上以指數(shù)級別的速度飛速增長。然而這些海量的數(shù)據(jù)會給數(shù)據(jù)的存儲管理帶來越來越多問題，比如數(shù)據(jù)管理困難、數(shù)據(jù)存儲成本高、可靠性低，索引比較困難等難題。于是，越來越多人和企業(yè)開始思考解決存儲管理的諸多問題。而建立云存儲服務(wù)管理系統(tǒng)成為解決海量數(shù)據(jù)的管理和存儲問題以及這些數(shù)據(jù)的索引問題的關(guān)鍵。
　　本文首先以基于HDFS的云存儲管理系統(tǒng)為研究對象，分析了當前云計算和云存儲

2、安全技術(shù)的發(fā)展和國內(nèi)外的研究現(xiàn)狀，重點研究了本課題所采用的云存儲系統(tǒng)、Hadoop云計算平臺及其Map/Reduce機制以及HDFS文件管理系統(tǒng)，索引相關(guān)技術(shù)等，為本文的方案提供理論基礎(chǔ)。然后，結(jié)合云存儲系統(tǒng)適用的環(huán)境，提出了一種云存儲系統(tǒng)解決方案，設(shè)計并實現(xiàn)基于分布式文件系統(tǒng)HDFS的云存儲系統(tǒng)，完成文件存儲管理子系統(tǒng)總體構(gòu)架設(shè)計、文件存儲管理子系統(tǒng)功能設(shè)計，通過web實現(xiàn)的對文件的增刪改查操作，并提出一個小文件在H DF S中的處理