mysql大數(shù)據(jù)量存儲(chǔ)及訪問(wèn)的設(shè)計(jì)討論數(shù)據(jù)庫(kù)培訓(xùn)教程

1、 Mysql Mysql 大數(shù)據(jù)量存儲(chǔ)及訪問(wèn)的設(shè)計(jì)討論數(shù)據(jù)庫(kù)培訓(xùn)教程 大數(shù)據(jù)量存儲(chǔ)及訪問(wèn)的設(shè)計(jì)討論數(shù)據(jù)庫(kù)培訓(xùn)教程一、引言隨著互聯(lián)網(wǎng)應(yīng)用的廣泛普及，海量數(shù)據(jù)的存儲(chǔ)和訪問(wèn)成為了系統(tǒng)設(shè)計(jì)的瓶頸問(wèn)題。對(duì)于一個(gè)大型的互聯(lián)網(wǎng)應(yīng)用，每天幾十億的 PV 無(wú)疑對(duì)數(shù)據(jù)庫(kù)造成了相當(dāng)高的負(fù)載。對(duì)于系統(tǒng)的穩(wěn)定性和擴(kuò)展性造成了極大的問(wèn)題。通過(guò)數(shù)據(jù)切分來(lái)提高網(wǎng)站性能，橫向擴(kuò)展數(shù)據(jù)層已經(jīng)成為架構(gòu)研發(fā)人員首選的方式。水平切分?jǐn)?shù)據(jù)庫(kù)，可以降低單臺(tái)機(jī)器的負(fù)載，同時(shí)最大限度

2、的降低了了宕機(jī)造成的損失。通過(guò)負(fù)載均衡策略，有效的降低了單臺(tái)機(jī)器的訪問(wèn)負(fù)載，降低了宕機(jī)的可能性;通過(guò)集群方案，解決了數(shù)據(jù)庫(kù)宕機(jī)帶來(lái)的單點(diǎn)數(shù)據(jù)庫(kù)不能訪問(wèn)的問(wèn)題;通過(guò)讀寫(xiě)分離策略更是最大限度了提高了應(yīng)用中讀取(Read)數(shù)據(jù)的速度和并發(fā)量。目前國(guó)內(nèi)的大型互聯(lián)網(wǎng)應(yīng)用中，大量的采用了這樣的數(shù)據(jù)切分方案，Taobao,Alibaba,Tencent，它們大都實(shí)現(xiàn)了自己的分布式數(shù)據(jù)訪問(wèn)層(DDAL)。以實(shí)現(xiàn)方式和實(shí)現(xiàn)的層次來(lái)劃分，大概分為兩個(gè)層次(

3、Java 應(yīng)用為例)：JDBC 層的封裝，ORM 框架層的實(shí)現(xiàn)。就 JDBC 層的直接封裝而言，現(xiàn)在國(guó)內(nèi)發(fā)展較好的一個(gè)項(xiàng)目是被稱(chēng)作“變形蟲(chóng)”(Amoeba)的項(xiàng)目，由阿里集團(tuán)的研究院開(kāi)發(fā)，現(xiàn)在仍然處于測(cè)試階段(beta 版)，其運(yùn)行效率和生產(chǎn)時(shí)效性有待考究。就 ORM 框架層的實(shí)現(xiàn)而言，比如 Taobao 的基于 ibatis 和 Spring 的的分布式數(shù)據(jù)訪問(wèn)層，已有多年的應(yīng)用，運(yùn)行效率和生產(chǎn)實(shí)效性得到了開(kāi)發(fā)人員和用戶的肯定。本文就

4、是以 ORM框架層為基礎(chǔ)而實(shí)現(xiàn)的分布式數(shù)據(jù)訪問(wèn)層。本課題的難點(diǎn)在于分庫(kù)后，路由規(guī)則的制定和選擇以及后期的擴(kuò)展性，比如：如何做到用最少的數(shù)據(jù)遷移量，達(dá)到擴(kuò)充數(shù)據(jù)庫(kù)容量(增加機(jī)器節(jié)點(diǎn))的目的。核心問(wèn)題將圍繞數(shù)據(jù)庫(kù)分庫(kù)分表的路由規(guī)則和負(fù)載均衡策略展開(kāi)。二、基本原理和概念2.1 基本原理：人類(lèi)認(rèn)知問(wèn)題的過(guò)程總是這樣的：what(什么)-?why(為什么)-?how(怎么做)，接下來(lái)，本文將就這三個(gè)問(wèn)題展開(kāi)討論和研究：2.1.1 什么是數(shù)據(jù)切分“

5、Shard“這個(gè)詞英文的意思是“碎片“，而作為數(shù)據(jù)庫(kù)相關(guān)的技術(shù)用語(yǔ)，似乎最早見(jiàn)于大型多人在線角色扮演游戲中?！癝harding“姑且稱(chēng)之為“分片“。Sharding 不是一門(mén)新技術(shù)，而是一個(gè)相對(duì)簡(jiǎn)樸的軟件理念。眾所周知，MySQL5 之后才有了數(shù)據(jù)表分區(qū)功能，那么在此之前，很多 MySQL 的潛在用戶都對(duì) MySQL的擴(kuò)展性有所顧慮，而是否具備分區(qū)功能就成了衡量一個(gè)數(shù)據(jù)庫(kù)可擴(kuò)展性與否的一個(gè)關(guān)鍵指標(biāo)(當(dāng)然不是唯一指標(biāo))。數(shù)據(jù)庫(kù)擴(kuò)展性是一個(gè)

6、永恒的話題，MySQL 的推廣者經(jīng)常會(huì)被問(wèn)到：如在單一數(shù)據(jù)庫(kù)上處理應(yīng)用數(shù)據(jù)捉襟見(jiàn)肘而需要進(jìn)行分區(qū)化之類(lèi)的處理，是如何辦到的呢?答案是：Sharding。Sharding 不是一個(gè)某個(gè)特定數(shù)據(jù)庫(kù)軟件附屬的功能，而是在具體技術(shù)細(xì)節(jié)之上的抽象處理，是水平擴(kuò)展(ScaleOut，亦或橫向擴(kuò)展、向外擴(kuò)展)的解決方案，其主要目的是為突破單節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)器的 I/O 能力限制，解決數(shù)據(jù)庫(kù)擴(kuò)展性問(wèn)題。通過(guò)一系列的切分規(guī)則將數(shù)據(jù)水平分布到不同的 DB 或

7、 table 中，在通過(guò)相應(yīng)的 DB 路由或者 table 路由規(guī)則找到需要查詢(xún)的具體的 DB 或者 table，以進(jìn)行 Query 操作。這里所說(shuō)的“sharding”通常是指“水平切分”，這也是本文討論的重點(diǎn)。具體將有什么樣的切分方式呢和路由方式呢?行文至此，讀者難時(shí)候 Sharding 可能會(huì)成為雞肋了。Replication 搞不定，那么為什么 Sharding 可以工作呢?道理很簡(jiǎn)單，因?yàn)樗梢院芎玫臄U(kuò)展。我們知道每臺(tái)機(jī)器無(wú)論

8、配置多么好它都有自身的物理上限，所以當(dāng)我們應(yīng)用已經(jīng)能觸及或遠(yuǎn)遠(yuǎn)超出單臺(tái)機(jī)器的某個(gè)上限的時(shí)候，我們惟有尋找別的機(jī)器的幫助或者繼續(xù)升級(jí)的我們的硬件，但常見(jiàn)的方案還是橫向擴(kuò)展,通過(guò)添加更多的機(jī)器來(lái)共同承擔(dān)壓力。我們還得考慮當(dāng)我們的業(yè)務(wù)邏輯不斷增長(zhǎng)，我們的機(jī)器能不能通過(guò)線性增長(zhǎng)就能滿足需求?Sharding 可以輕松的將計(jì)算，存儲(chǔ)，I/O 并行分發(fā)到多臺(tái)機(jī)器上，這樣可以充分利用多臺(tái)機(jī)器各種處理能力，同時(shí)可以避免單點(diǎn)失敗，提供系統(tǒng)的可用性，進(jìn)行很

9、好的錯(cuò)誤隔離。綜合以上因素，數(shù)據(jù)切分是很有必要的，且我們?cè)诖擞懻摰臄?shù)據(jù)切分也是將 MySql 作為背景的。基于成本的考慮，很多公司也選擇了 Free 且 Open 的 MySql。對(duì) MySql 有所了解的開(kāi)發(fā)人員可能會(huì)知道，MySQL5 之后才有了數(shù)據(jù)表分區(qū)功能，那么在此之前，很多 MySQL 的潛在用戶都對(duì) MySQL 的擴(kuò)展性有所顧慮，而是否具備分區(qū)功能就成了衡量一個(gè)數(shù)據(jù)庫(kù)可擴(kuò)展性與否的一個(gè)關(guān)鍵指標(biāo)(當(dāng)然不是唯一指標(biāo))。數(shù)據(jù)庫(kù)擴(kuò)展

10、性是一個(gè)永恒的話題，MySQL 的推廣者經(jīng)常會(huì)被問(wèn)到：如在單一數(shù)據(jù)庫(kù)上處理應(yīng)用數(shù)據(jù)捉襟見(jiàn)肘而需要進(jìn)行分區(qū)化之類(lèi)的處理，是如何辦到的呢?答案也是 Sharding，也就是我們所說(shuō)的數(shù)據(jù)切分方案。我們用免費(fèi)的 MySQL 和廉價(jià)的 Server 甚至是 PC 做集群，達(dá)到小型機(jī)+大型商業(yè) DB 的效果，減少大量的資金投入，降低運(yùn)營(yíng)成本，何樂(lè)而不為呢?所以，我們選擇 Sharding，擁抱 Sharding。2.1.3 怎么做到數(shù)據(jù)切分說(shuō)到數(shù)

11、據(jù)切分，再次我們講對(duì)數(shù)據(jù)切分的方法和形式進(jìn)行比較詳細(xì)的闡述和說(shuō)明。數(shù)據(jù)切分可以是物理上的，對(duì)數(shù)據(jù)通過(guò)一系列的切分規(guī)則將數(shù)據(jù)分布到不同的 DB 服務(wù)器上，通過(guò)路由規(guī)則路由訪問(wèn)特定的數(shù)據(jù)庫(kù)，這樣一來(lái)每次訪問(wèn)面對(duì)的就不是單臺(tái)服務(wù)器了，而是 N 臺(tái)服務(wù)器，這樣就可以降低單臺(tái)機(jī)器的負(fù)載壓力。數(shù)據(jù)切分也可以是數(shù)據(jù)庫(kù)內(nèi)的，對(duì)數(shù)據(jù)通過(guò)一系列的切分規(guī)則，將數(shù)據(jù)分布到一個(gè)數(shù)據(jù)庫(kù)的不同表中，比如將 article 分為 article_001,article

12、_002 等子表，若干個(gè)子表水平拼合有組成了邏輯上一個(gè)完整的 article 表，這樣做的目的其實(shí)也是很簡(jiǎn)單的。舉個(gè)例子說(shuō)明，比如 article 表中現(xiàn)在有 5000w 條數(shù)據(jù)，此時(shí)我們需要在這個(gè)表中增加(insert)一條新的數(shù)據(jù)，insert 完畢后，數(shù)據(jù)庫(kù)會(huì)針對(duì)這張表重新建立索引，5000w 行數(shù)據(jù)建立索引的系統(tǒng)開(kāi)銷(xiāo)還是不容忽視的。但是反過(guò)來(lái)，假如我們將這個(gè)表分成 100 個(gè)table 呢，從 article_001 一直到 a

13、rticle_100，5000w 行數(shù)據(jù)平均下來(lái)，每個(gè)子表里邊就只有 50 萬(wàn)行數(shù)據(jù)，這時(shí)候我們向一張只有 50w 行數(shù)據(jù)的 table 中 insert 數(shù)據(jù)后建立索引的時(shí)間就會(huì)呈數(shù)量級(jí)的下降，極大了提高了 DB 的運(yùn)行時(shí)效率，提高了 DB 的并發(fā)量。當(dāng)然分表的好處還不知這些，還有諸如寫(xiě)操作的鎖操作等，都會(huì)帶來(lái)很多顯然的好處。綜上，分庫(kù)降低了單點(diǎn)機(jī)器的負(fù)載;分表，提高了數(shù)據(jù)操作的效率，尤其是 Write 操作的效率。行文至此我們依然沒(méi)