分布式鍵值存儲引擎的研究與實現(xiàn).pdf

1、隨著云計算和大數(shù)據(jù)技術(shù)的興起，各種海量數(shù)據(jù)級規(guī)模的應(yīng)用不斷涌現(xiàn)，這些新的應(yīng)用對數(shù)據(jù)存儲提出了越來越高的要求。然而，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，如 Oracle、MySQL等已經(jīng)越來越難滿足云計算環(huán)境下對數(shù)據(jù)存儲的需求。分布式非關(guān)系型數(shù)據(jù)庫充分結(jié)合分布式系統(tǒng)抗單點故障能力和 NoSQL的天然橫向擴展性的特點，能夠從容應(yīng)對海量數(shù)據(jù)存儲的挑戰(zhàn)。為此，本文設(shè)計并實現(xiàn)了一個分布式鍵值存儲引擎MiniKVDB，并基于對分布式事務(wù)和存儲性能擴展的研究展開了如

2、下工作：
　?。?）以現(xiàn)有的分布式理論為基礎(chǔ)，研究了分布式存儲的相關(guān)技術(shù)，介紹了分布式NoSQL數(shù)據(jù)庫的概念、特點以及相關(guān)基礎(chǔ)理論，并分析了目前應(yīng)用廣泛的鍵值存儲系統(tǒng)的架構(gòu)與優(yōu)缺點。在此基礎(chǔ)之上，設(shè)計了一個分布式鍵值存儲引擎MiniKVDB的模型。
　?。?）在討論分布式事務(wù)處理模型和提交協(xié)議的基礎(chǔ)上，設(shè)計了 MiniKVDB的分布式事務(wù)處理方案。在日志同步的模塊，深度剖析了 Raft一致性協(xié)議中的代碼結(jié)構(gòu)，采用基于TCP協(xié)

3、議中的長肥管道和滑動窗口機制，并在復(fù)制狀態(tài)機中的日志模塊中增加了內(nèi)存緩沖數(shù)據(jù)區(qū)域，對Raft協(xié)議提出改進，實驗結(jié)果表明，改進后的Raft一致性協(xié)議能減少通信負載，降低磁盤讀寫頻率，從而使分布式系統(tǒng)具有高可用性及一致性。
　　（3）研究基于 Raft一致性協(xié)議來構(gòu)建彈性伸縮的機制和數(shù)據(jù)的分片策略，在集群中添加了 ShardMaster管理模塊來存儲元信息，并根據(jù)調(diào)度算法和各存儲單元的負載性能，在各節(jié)點之間轉(zhuǎn)移數(shù)據(jù)分片。
　?。?/p>