云存儲(chǔ)引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的的高速發(fā)展和廣泛應(yīng)用，人類活動(dòng)的每時(shí)每刻都會(huì)有大量的數(shù)據(jù)產(chǎn)生并進(jìn)入計(jì)算機(jī)系統(tǒng)，我們將這些數(shù)據(jù)進(jìn)行存儲(chǔ)、分析和挖掘，并基于這些數(shù)據(jù)來(lái)提供各種多樣化、個(gè)性化的應(yīng)用和服務(wù)，這就是已經(jīng)到來(lái)的云計(jì)算時(shí)代。云存儲(chǔ)作為云計(jì)算的延伸和發(fā)展，其實(shí)質(zhì)是向用戶提供以網(wǎng)絡(luò)為基礎(chǔ)的在線存儲(chǔ)服務(wù)，在大數(shù)據(jù)背景下，對(duì)海量數(shù)據(jù)的存儲(chǔ)是云計(jì)算最基礎(chǔ)的要求，當(dāng)前大多是利用分布式環(huán)境來(lái)進(jìn)行組織存儲(chǔ)。但隨著數(shù)據(jù)量的爆炸式增長(zhǎng)，以及人們對(duì)數(shù)據(jù)要求的提高，

2、當(dāng)前的分布式架構(gòu)也面臨著高擴(kuò)展性和高可用性的挑戰(zhàn)。
　　本文主要研究并實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng),并基于該系統(tǒng)提供了一個(gè)云存儲(chǔ)引擎。該系統(tǒng)以HDFS和Ceph為基礎(chǔ)，通過(guò)將元數(shù)據(jù)節(jié)點(diǎn)（Name Node）進(jìn)行分布式化的研究，最終提出了一個(gè)具有良好擴(kuò)展性的架構(gòu)，使得系統(tǒng)理論上具備支撐數(shù)億級(jí)別的文件數(shù)據(jù)存儲(chǔ)的能力。同時(shí)，通過(guò)對(duì)一些具有良好可用性系統(tǒng)的調(diào)研與分析，提出了一個(gè)適合本系統(tǒng)的高可用架構(gòu)。系統(tǒng)通過(guò)使用 Libevent+threa

3、d pool來(lái)提高對(duì)網(wǎng)絡(luò)響應(yīng)的高并發(fā)異步 I/O處理，并利用流水線寫數(shù)據(jù)技術(shù)來(lái)提高網(wǎng)絡(luò)帶寬的利用率。系統(tǒng)中的文件是以塊的形式分布在數(shù)據(jù)服務(wù)器節(jié)點(diǎn)（Data Node）之中，每個(gè)塊通過(guò)冗余存儲(chǔ)在其他數(shù)據(jù)節(jié)點(diǎn)中保存了副本，從而保障了文件的安全性，防止了節(jié)點(diǎn)宕機(jī)時(shí)導(dǎo)致文件丟失。最后，該系統(tǒng)還支持集群新節(jié)點(diǎn)的注冊(cè)和動(dòng)態(tài)增加服務(wù)，具有良好的擴(kuò)展性。
　　本文主要完成的工作有：
　　1、設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，并基于該系統(tǒng)提供了