分布式數(shù)據(jù)庫中間件DBScale的設(shè)計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)量變得越來越大，數(shù)據(jù)處理變得越來越困難，傳統(tǒng)的單機(jī)關(guān)系型數(shù)據(jù)庫已經(jīng)很難滿足現(xiàn)在的商業(yè)需求了，因此本文引入以關(guān)系型數(shù)據(jù)庫 MySQL為基礎(chǔ)的分布式數(shù)據(jù)庫中間件。分布式數(shù)據(jù)庫中間件可以讓用戶使用起來與單機(jī) MySQL保持一致，對原有的應(yīng)用無需進(jìn)行任何代碼的修改。
　　本文主要涉及分布式數(shù)據(jù)庫中間件的研究，包括了三個模塊的研究：分別為分布式數(shù)據(jù)庫中間件的分庫分表功能，分布式數(shù)據(jù)庫中間件的跨節(jié)點多表聯(lián)查功能以及分

2、布式數(shù)據(jù)庫中間件的分布式存儲過程功能。對于表的拆分是每一個分布式數(shù)據(jù)庫產(chǎn)品都必須要實現(xiàn)的，也是必須高效實現(xiàn)的，本文在傳統(tǒng)的哈希分區(qū)的方法上，使用一致性哈希算法進(jìn)行虛擬分區(qū)，從而達(dá)到易擴(kuò)展的目的；對于跨節(jié)點多表聯(lián)查這一業(yè)界難題，本文分成三種情況進(jìn)行討論，即兩張非分區(qū)表進(jìn)行聯(lián)查，兩張分區(qū)表分進(jìn)行聯(lián)查以及一張非分區(qū)表和一張分區(qū)表進(jìn)行聯(lián)查。無論哪一種情況本文的核心思想就是盡量減少數(shù)據(jù)的遷移數(shù)量，為此本文引入了一系列的優(yōu)化手段；最后的分布式存儲過

3、程，本文對 MySQL標(biāo)準(zhǔn)的存儲過程進(jìn)行了完整的分布式支持，包括聲明表達(dá)，復(fù)合表達(dá)，循環(huán)表達(dá)，條件分支判斷表達(dá)以及游標(biāo)表達(dá)。
　　本文通過對分布式數(shù)據(jù)庫中間件DBScale的分表功能測試，發(fā)現(xiàn)隨著后端MySQL實例的增多，中間件的性能是線性增長的；通過對本文實現(xiàn)的多節(jié)點多表聯(lián)查解決方案的測試，發(fā)現(xiàn)使用Federated存儲引擎可以將跨節(jié)點多表聯(lián)查操作的性能提高為MySQL單機(jī)的50％；通過與cobar以及ha-proxy的單機(jī)損耗