基于BIRIS-SSP的數(shù)據(jù)管理服務(wù)技術(shù)與平臺.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,新創(chuàng)建的數(shù)據(jù)及其傳播使互聯(lián)網(wǎng)充斥著大量的數(shù)據(jù),并且在不斷的壯大。無論是企業(yè)還是個人都面臨著海量數(shù)據(jù)存儲和管理的難題。傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)無法適應(yīng)現(xiàn)在數(shù)據(jù)管理的需要并成為了信息化進(jìn)程中的瓶頸,針對于這一個問題,本文在基于雙邊資源整合的服務(wù)智慧平臺上對數(shù)據(jù)管理服務(wù)與技術(shù)進(jìn)行了研究。
　　本文通過對目前的數(shù)據(jù)管理平臺和云計算的研究和分析,對數(shù)據(jù)管理中涉及到的問題提出有效的解決方案。在海量數(shù)據(jù)存儲方面,采用開源

2、的 HDFS(Hadoop Distributed File System),它具有動態(tài)收縮性、高可靠性、高效性和存儲成本低等特點(diǎn),對HDFS系統(tǒng)進(jìn)行了研究,包括它的整體架構(gòu),系統(tǒng)維護(hù),讀寫過程,節(jié)點(diǎn)間的通信等內(nèi)容。利用HDFS來完成分布式環(huán)境的部署,并在這個基礎(chǔ)之上實(shí)現(xiàn)數(shù)據(jù)的存儲。在數(shù)據(jù)的管理方面,提出了三種數(shù)據(jù)分類的模式:用戶自己分類,數(shù)據(jù)管理平臺人員分類,自動分類,對這三種模式進(jìn)行了研究分析和設(shè)計,滿足數(shù)據(jù)分類的需要,為用戶提供全

3、方位的服務(wù)。在數(shù)據(jù)的處理分析方面,采用了計算編程模型MapReduce,它可以在分布式環(huán)境下并行的處理數(shù)據(jù),研究MapReduce工作原理,處理機(jī)制,并進(jìn)行了實(shí)際的應(yīng)用。
　　通過對系統(tǒng)的分析和理論的研究,設(shè)計并開發(fā)了數(shù)據(jù)管理服務(wù)技術(shù)平臺。從整體架構(gòu)、功能架構(gòu)、詳細(xì)設(shè)計、HDFS設(shè)計、MapReduce設(shè)計、自動分類、數(shù)據(jù)庫設(shè)計等都給出了具體方案,并將其在數(shù)據(jù)管理服務(wù)技術(shù)與平臺上進(jìn)行了實(shí)現(xiàn),包括了程序類的實(shí)現(xiàn),環(huán)境部署,系統(tǒng)的程序