MongoDB中的海量數(shù)據(jù)動態(tài)平衡.pdf

1、在云計(jì)算的技術(shù)架構(gòu)中，數(shù)據(jù)存儲層是基礎(chǔ)。當(dāng)前，云平臺中存儲了大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)具有高并發(fā)性、數(shù)據(jù)量大、數(shù)據(jù)之間聯(lián)系弱等特點(diǎn)。相比關(guān)系型數(shù)據(jù)庫，非關(guān)系型數(shù)據(jù)庫由于其強(qiáng)大的適應(yīng)能力得到了廣泛地應(yīng)用。然而由于非關(guān)系型數(shù)據(jù)庫發(fā)展時(shí)間尚短，在負(fù)載均衡技術(shù)方面的發(fā)展還不夠成熟，因此，針對提高資源利用率的需求設(shè)計(jì)有效的非關(guān)系型數(shù)據(jù)庫的負(fù)載均衡策略具有重要意義。目前大部分?jǐn)?shù)據(jù)庫的負(fù)載均衡技術(shù)都是基于數(shù)據(jù)量實(shí)現(xiàn)的，這是因?yàn)閿?shù)據(jù)庫的職責(zé)一

2、直被界定為數(shù)據(jù)存儲，一般認(rèn)為訪問負(fù)載的監(jiān)控應(yīng)該由應(yīng)用層實(shí)現(xiàn)。然而，隨著web2.0的發(fā)展，數(shù)據(jù)訪問量的差異被凸顯，熱點(diǎn)數(shù)據(jù)分布的均衡特性難以保證，而訪問負(fù)載過重會導(dǎo)致系統(tǒng)性能下降，訪問負(fù)載過輕會造成存儲系統(tǒng)資源浪費(fèi)。因此，傳統(tǒng)的基于數(shù)據(jù)量的負(fù)載均衡策略難以滿足現(xiàn)狀。本文旨在研究云平臺下非關(guān)系型數(shù)據(jù)庫的負(fù)載均衡問題，并有針對性地優(yōu)化MongoDB的負(fù)載均衡架構(gòu)，以提高存儲資源的使用率和存儲系統(tǒng)的性能。
　　本研究首先分析了Mongo

3、DB現(xiàn)有的負(fù)載均衡架構(gòu)的局限性。通過分析目前MongoDB的負(fù)載均衡框架，發(fā)現(xiàn)其主要存在三個(gè)方面需要優(yōu)化。第一，其是基于數(shù)據(jù)量的負(fù)載均衡策略，這與現(xiàn)實(shí)中多數(shù)情況下相同數(shù)據(jù)量的數(shù)據(jù)負(fù)載不相當(dāng)?shù)默F(xiàn)狀不符。第二，其沒有充分利用副本集和分布式文件系統(tǒng)的特點(diǎn)，事實(shí)上副本集除可用來災(zāi)后修復(fù)外也可用來分擔(dān)負(fù)載，從而以較小的代價(jià)平衡系統(tǒng)中的負(fù)載。第三，其只有通過自動分片的擴(kuò)容操作，并沒有相應(yīng)的減少容量的相關(guān)操作，另外，在進(jìn)行平衡負(fù)載操作時(shí)，其主要策略是

4、進(jìn)行數(shù)據(jù)遷移，但是對于遷移數(shù)據(jù)的選擇不具有針對性且遷移數(shù)據(jù)時(shí)資源消耗較大。接著提出了優(yōu)化的MongoDB負(fù)載均衡架構(gòu)和算法。根據(jù)目前MongoDB在負(fù)載均衡方面的不足，結(jié)合分布式文件系統(tǒng)的特點(diǎn)，提出了優(yōu)化的負(fù)載均衡策略和算法。該策略在原有的架構(gòu)之上引入負(fù)載監(jiān)控器，并改造原有的負(fù)載均衡器平衡負(fù)載的工作流程和主副本切換機(jī)制，以“預(yù)防為主，最低消耗處理”的思想實(shí)現(xiàn)了基于訪問負(fù)載的動態(tài)負(fù)載平衡，并大大減少了資源的消耗。最后設(shè)計(jì)并進(jìn)行試驗(yàn)以證明此

5、優(yōu)化框架的可行性。在大規(guī)模分布式系統(tǒng)中，快速的響應(yīng)和高可靠性是終端用戶和應(yīng)用程序追求的兩個(gè)重要的性能指標(biāo)，這些性能很大程度上由資源管理策略以及系統(tǒng)中各節(jié)點(diǎn)的負(fù)載狀況來決定。因?yàn)樨?fù)載量的均勻分配能夠幫助優(yōu)化資源利用、最大化吞吐量和消除潛在負(fù)載過重的威脅。負(fù)載均衡策略優(yōu)劣的判斷有兩個(gè)重要的標(biāo)準(zhǔn)，分別為遷移代價(jià)和對存儲系統(tǒng)性能的影響。本文提出的優(yōu)化的MongoDB的負(fù)載均衡策略能夠以更小的代價(jià)和更低的影響性實(shí)現(xiàn)系統(tǒng)的再次平衡，從而提高存儲資源