大數(shù)據(jù)存儲技術研究

1、大數(shù)據(jù)存儲技術研究3013218099軟工二班張敬喆1.背景介紹大數(shù)據(jù)已成為當前社會各界關注的焦點。從一般意義上講，大數(shù)據(jù)是指無法在可容忍的時間內，用現(xiàn)有信息技術和軟硬件工具對其進行感知、獲取、管理、處理和服務的數(shù)據(jù)集合。近年來，大數(shù)據(jù)的飆升主要來自人們的日常生活，特別是互聯(lián)網(wǎng)公司的服務。據(jù)著名的國際數(shù)據(jù)公司(IDC)的統(tǒng)計，2011年全球被創(chuàng)建和復制的數(shù)據(jù)總量為1.8ZB(1ZB=1021B)，其中75%來自于個人（主要是圖片、視頻和

2、音樂），遠遠超過人類有史以來所有印刷材料的數(shù)據(jù)總量(200PB，1PB=1015B)。然而，與大數(shù)據(jù)計算相關的基礎研究，諸如大數(shù)據(jù)的感知與表示、組織與存儲、計算架構與體系、模式發(fā)現(xiàn)與效應分析等，目前還沒有成體系的理論成果。對于大數(shù)據(jù)計算體系的研究，一方面，需要關注大數(shù)據(jù)如何存儲，提供一種高效的數(shù)據(jù)存儲平臺；另一方面，為了應對快速并高效可靠地處理大數(shù)據(jù)的挑戰(zhàn)，需要建立大數(shù)據(jù)的計算模式以及相關的優(yōu)化機制。2.相關工作為了應對數(shù)據(jù)處理的壓力，

3、過去十年間在數(shù)據(jù)處理技術領域有了很多的創(chuàng)新和發(fā)展。除了面向高并發(fā)、短事務的OLTP內存數(shù)據(jù)庫外（Altibase，Timesten），其他的技術創(chuàng)新和產品都是面向數(shù)據(jù)分析的，而且是大規(guī)模數(shù)據(jù)分析的，也可以說是大數(shù)據(jù)分析的。在這些面向數(shù)據(jù)分析的創(chuàng)新和產品中，除了基于Hadoop環(huán)境下的各種NoSQL外，還有一類是基于SharedNothing架構的面向結構化數(shù)據(jù)分析的新型數(shù)據(jù)庫產品（可以叫做NewSQL），如：Greenplum（EMC收

4、購），Vertica（HP收購），Asterdata（TD低成本的關鍵。然而，由于這項技術是計算密集型和讀寫(IO)密集型的技術，特別是重復刪除運算相當消耗運算資源，要進行大量的讀寫處理，因此現(xiàn)有系統(tǒng)在存取性能方面還存在很多問題需要解決。在大數(shù)據(jù)存儲環(huán)境中，將集群重復數(shù)據(jù)刪除技術有效地融入分布式集群存儲架構中，可使存儲系統(tǒng)在數(shù)據(jù)存儲過程中對重復冗余數(shù)據(jù)進行在線去重，并在存儲性能、存儲效率以及去重率等方面得到優(yōu)化。2.具有重復數(shù)據(jù)刪除功能

5、的分布式存儲架構通過設計并實現(xiàn)具有重復數(shù)據(jù)刪除功能的分布式文件系統(tǒng)，可使其具備高去重率、高可擴展性、高吞吐率等特征。分布式重復數(shù)據(jù)刪除系統(tǒng)的架構包括客戶端、元數(shù)據(jù)服務器和數(shù)據(jù)服務器三部分（見圖1）?？蛻舳酥饕峁┘褐貜蛿?shù)據(jù)刪除系統(tǒng)對外的交互接口，并在所提供的文件操作接口中實現(xiàn)基于重復數(shù)據(jù)刪除的存儲邏輯和對數(shù)據(jù)的預處理，如數(shù)據(jù)塊的劃分與“指紋”的提取。元數(shù)據(jù)服務器實現(xiàn)了對元數(shù)據(jù)存儲、集群的管理與維護，包括管理在數(shù)據(jù)存儲過程中整個會話，保

6、存與管理分布式文件系統(tǒng)中的元數(shù)據(jù)，管理和維護系統(tǒng)存儲狀況，指導數(shù)據(jù)路由并滿足系統(tǒng)存儲的負載均衡。數(shù)據(jù)服務器主要負責數(shù)據(jù)去重引擎以及數(shù)據(jù)的存儲和管理。數(shù)據(jù)服務器通過網(wǎng)絡與客戶端進行通信，響應客戶端的讀寫請求，通過網(wǎng)絡與元數(shù)據(jù)服務器異步更新數(shù)據(jù)服務器的數(shù)據(jù)接收狀況以及節(jié)點存儲狀況。當接收到客戶端的寫請求時，數(shù)據(jù)服務器接收數(shù)據(jù)并在節(jié)點內進行冗余數(shù)據(jù)的去重。網(wǎng)絡通信模塊可提供一種能夠在客戶端與分布式文件系統(tǒng)各節(jié)點間進行通信的有效機制，通過遠程過