高可用可擴(kuò)展集群化Redis設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Redis是開(kāi)源的高性能K-V存儲(chǔ)引擎，提供多種數(shù)據(jù)結(jié)構(gòu)。Redis可以用作緩存，也可以用作存儲(chǔ)。開(kāi)源的原生Redis對(duì)集群化支持比較弱，所以基于開(kāi)源社區(qū)開(kāi)發(fā)了分布式框架，對(duì)用戶提供分布式、穩(wěn)定、易用的Redis服務(wù)，Redis計(jì)劃在Redis3.0會(huì)提供官方的集群化方案，但是至今還是在測(cè)試版，并且其集群化方案在跨地域等情況下沒(méi)有得到充分的驗(yàn)證，不適合生產(chǎn)環(huán)境。
　　本文根據(jù)對(duì)數(shù)據(jù)量大、高QPS環(huán)境下的業(yè)務(wù)需求分析和單Redis實(shí)

2、例進(jìn)程的性能調(diào)研，提出了將Redis通過(guò)Proxy代理實(shí)現(xiàn)集群化的方案。調(diào)研整合其他的基礎(chǔ)服務(wù)，提出了系統(tǒng)的整體架構(gòu)，提出Proxy層集群流量的負(fù)載均衡方法以及在協(xié)議選擇、多線程分發(fā)模型、Linux下的I/O復(fù)用、連接池和資源池以及多線程內(nèi)存分配方式等方面的性能優(yōu)化做了重點(diǎn)的研究并提出了解決方案。通過(guò)對(duì)集群服務(wù)質(zhì)量(QoS)水平需求分析，對(duì)集群資源進(jìn)行建模并實(shí)現(xiàn)了集群的資源管理，并通過(guò)集群中服務(wù)關(guān)聯(lián)關(guān)系的管理降低服務(wù)之間的耦合。最后使用

3、集群管理平臺(tái)對(duì)服務(wù)進(jìn)行了部署上線和管理，并通過(guò)監(jiān)控平臺(tái)查看服務(wù)的QPS和服務(wù)質(zhì)量水平。
　　在集群化設(shè)計(jì)的基礎(chǔ)上，本文實(shí)現(xiàn)了包括Proxy流量分發(fā)層、Redis數(shù)據(jù)庫(kù)集群和集群管理平臺(tái)。提供包括服務(wù)接入、上線部署、擴(kuò)容、關(guān)聯(lián)管理、容量管理、服務(wù)健康狀態(tài)監(jiān)測(cè)和故障流量切換等對(duì)用戶方透明的運(yùn)維服務(wù)，在大數(shù)據(jù)流量和容量的情況下，用戶的感知如同是在使用一個(gè)單機(jī)無(wú)限容量的Redis實(shí)例。本文對(duì)該集群系統(tǒng)的實(shí)現(xiàn)用在了生產(chǎn)環(huán)境，測(cè)試結(jié)果表明該設(shè)