高性能高可用鍵值存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、21世紀(jì)初期,互聯(lián)網(wǎng)進(jìn)入了一個全新的發(fā)展高峰期。數(shù)據(jù)量以指數(shù)增長,提高對海量數(shù)據(jù)的管理、訪問能力的需求變得越來越迫切。海量的數(shù)據(jù)和巨大的用戶數(shù)量對存儲資源和計(jì)算資源的可擴(kuò)展性提出了巨大的挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)并不能提供這些應(yīng)用所需要的高可擴(kuò)展性。一種新型的、存儲非關(guān)系型數(shù)據(jù)的、具有高可擴(kuò)展性的鍵值存儲系統(tǒng)應(yīng)運(yùn)而生。本文首先介紹了研究背景。其次,分析了分布式文件系統(tǒng)、P2P系統(tǒng)與鍵值存儲系統(tǒng)相關(guān)的關(guān)鍵技術(shù)。最后,設(shè)計(jì)了一個高可靠、高

2、擴(kuò)展性、高可用的鍵值存儲系統(tǒng)KV-Store。KV-Store具有的基本特征或創(chuàng)新點(diǎn):
　　 第一基于改進(jìn)的一致性哈希算法的數(shù)據(jù)分散算法,該算法成功地解決了基本的一致性哈希算法和Dynamo使用的數(shù)據(jù)分配算法存在的熱點(diǎn)問題、數(shù)據(jù)分散和集群拓?fù)涞木o耦合問題、存儲節(jié)點(diǎn)的異構(gòu)性問題。
　　 第二基于PG劃分的負(fù)載均衡算法。使用哈希算法進(jìn)行數(shù)據(jù)分散的一個根本缺點(diǎn)是這種映射關(guān)系是不可改變的。映射關(guān)系不能改變直接導(dǎo)致了數(shù)據(jù)的位置不能

3、根據(jù)系統(tǒng)的負(fù)載進(jìn)行動態(tài)的改變,所以一旦系統(tǒng)出現(xiàn)熱點(diǎn)或負(fù)載失衡將束手無策。KV-Store使用了哈希算法進(jìn)行數(shù)據(jù)分散,同時也創(chuàng)造性的實(shí)現(xiàn)了動態(tài)的負(fù)載均衡算法。
　　 第三基于Chubby的消息傳輸和集群管理。Chord,BT等P2P系統(tǒng)通過復(fù)雜的路由和查詢協(xié)議進(jìn)行消息的傳輸,KV-Store使用Chubby的改進(jìn)版進(jìn)行集群管理和消息的快速傳輸。
　　 第四KV-Store使得元數(shù)據(jù)和數(shù)據(jù)徹底解耦合。與傳統(tǒng)的文件存儲系統(tǒng)不同