基于云計算的數(shù)據(jù)存儲研究.pdf

1、云計算是一種大規(guī)模的分布式計算技術(shù)，是分布式計算和網(wǎng)格計算的延伸，近年來發(fā)展迅速，對IT行業(yè)產(chǎn)生了巨大影響。Hadoop是云計算技術(shù)中針對數(shù)據(jù)存儲進行分布式處理的技術(shù)。Hadoop框架應(yīng)用廣泛，它可以通過云計算集群來實現(xiàn)海量數(shù)據(jù)存儲和應(yīng)用程序運行。實現(xiàn)云計算服務(wù)的基本條件是實現(xiàn)高性能的云存儲，它通過應(yīng)用軟件將網(wǎng)絡(luò)中的各類存儲設(shè)備進行整合后協(xié)同工作，對外提供數(shù)據(jù)存儲功能和業(yè)務(wù)訪問功能。
　　本文首先深入理解現(xiàn)有的分布式計算和存儲技術(shù)

2、、Hadoop的核心組件分布式文件系統(tǒng)HDFS、分布式計算模型MapReduce和分布式數(shù)據(jù)庫HBase的工作流程，在數(shù)據(jù)文件處理、安全加密處理、小文件處理和非結(jié)構(gòu)化數(shù)據(jù)處理等幾方面進行分析和設(shè)計，采用Linux集群技術(shù)結(jié)合并行分布式技術(shù)和Hadoop集群技術(shù)，應(yīng)用Eclipse、Tomcat等開發(fā)工具整合虛擬機搭建基于Hadoop的云計算平臺，以HDFS和MapReduce作為處理海量數(shù)據(jù)的方法，建立基于Hadoop的云存儲模型，實現(xiàn)