基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)切分問題研究.pdf

1、隨著中國經(jīng)濟(jì)的快速發(fā)展，人們的生活水平不斷提高，網(wǎng)絡(luò)在中國得到迅速普及。截止到2015年底，中國的網(wǎng)民數(shù)量已達(dá)到了6.88億。再加上網(wǎng)絡(luò)設(shè)備和傳輸介質(zhì)等硬件的更新?lián)Q代，網(wǎng)速大大提高，由此產(chǎn)生了海量的應(yīng)用數(shù)據(jù)。有的大型互聯(lián)網(wǎng)公司每天產(chǎn)生幾十TB的數(shù)據(jù)，接受數(shù)十億次的訪問。這就對數(shù)據(jù)庫性能提出了更高的要求，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫存儲能力有限，擴(kuò)展能力又不強(qiáng)，已不能滿足大規(guī)模數(shù)據(jù)的存儲、訪問需要。
　　分布式數(shù)據(jù)庫系統(tǒng)通過把多臺單機(jī)數(shù)據(jù)庫

2、組合成一個(gè)統(tǒng)一的整體，實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲，分布式訪問，是解決海量數(shù)據(jù)訪問和存儲問題的理想方案。分布式數(shù)據(jù)庫自從上世紀(jì)七十年代提出以來，經(jīng)過多年發(fā)展，已經(jīng)誕生了很多優(yōu)秀產(chǎn)品。而應(yīng)用從單點(diǎn)數(shù)據(jù)庫系統(tǒng)向分布式數(shù)據(jù)庫系統(tǒng)轉(zhuǎn)換時(shí)遇到的首要問題就是數(shù)據(jù)切分問題，即按照什么算法把數(shù)據(jù)切分到不同的物理節(jié)點(diǎn)上。
　　本文以數(shù)據(jù)切分為主題，進(jìn)行了以下兩方面的工作:
　　一是結(jié)合現(xiàn)有的數(shù)據(jù)切分算法，提出了一種基于范圍切分和哈希切分的組合算法。

3、全局上，數(shù)據(jù)按增量區(qū)間進(jìn)行切分，切分的片段不是分布在一個(gè)數(shù)據(jù)節(jié)點(diǎn)，而是一個(gè)節(jié)點(diǎn)組內(nèi);局部上，也就是在節(jié)點(diǎn)組內(nèi)，片段會再按簡單哈希方式均勻分布到組內(nèi)各數(shù)據(jù)節(jié)點(diǎn)上。該算法繼承了范圍切分和哈希切分的優(yōu)點(diǎn)——數(shù)據(jù)分布均勻、擴(kuò)展能力強(qiáng)，同時(shí)又規(guī)避了其缺點(diǎn)，是一種綜合能力優(yōu)秀的切分算法。在和一致性哈希算法的對比實(shí)驗(yàn)中，該算法表現(xiàn)出了較好的數(shù)據(jù)訪問能力和擴(kuò)展能力。尤其是可以很方便地進(jìn)行數(shù)據(jù)擴(kuò)容，無須遷移任何數(shù)據(jù)。在具體應(yīng)用測試中，解決了大規(guī)模數(shù)據(jù)查詢

4、延遲問題，具有良好的應(yīng)用價(jià)值。
　　二是針對數(shù)據(jù)切分應(yīng)用做了一些工作。數(shù)據(jù)切分要想投入應(yīng)用，必須解決兩個(gè)基本問題:自增主鍵唯一性問題和分布式連接問題。這兩個(gè)問題也是數(shù)據(jù)庫從單點(diǎn)發(fā)展到分布式時(shí)所面臨的最基本問題，對分布式系統(tǒng)的可用性和性能都具有重要影響。本文在借鑒前人成果的基礎(chǔ)上，討論分析了各種場景，最后分別給出了可行的解決方案，并進(jìn)行了代碼實(shí)現(xiàn)。對于自增主鍵不唯一問題，給出了一種全局序列生成方案，通過維護(hù)一個(gè)全局序列表來生成自增長