多核環(huán)境下分布式緩存并發(fā)訪問處理研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，分布式緩存作為服務(wù)器端緩解數(shù)據(jù)庫訪問壓力的關(guān)鍵組件，越來越起著不可替代的作用。然而隨著多核處理器的廣泛使用，傳統(tǒng)的分布式緩存在多核環(huán)境下面臨大量用戶并發(fā)訪問時存在多線程鎖競爭、緩存一致性開銷、高并發(fā)連接處理等問題，這些問題嚴(yán)重制約了分布式緩存在多核環(huán)境下的擴展性，導(dǎo)致多核的并行計算能力不能充分地發(fā)揮出來。
　　多核環(huán)境下分布式緩存系統(tǒng)SKVM旨在消除分布式緩存在多核環(huán)境下面臨大量用戶并發(fā)訪問時存在的問題，

2、提高分布式緩存的并發(fā)訪問性能，進(jìn)而實現(xiàn)分布式緩存在多核環(huán)境下的性能擴展。SKVM將高并發(fā)訪問處理分為兩個階段：高并發(fā)連接處理和高并發(fā)數(shù)據(jù)處理，針對高并發(fā)連接處理，采用epoll異步非阻塞機制提高網(wǎng)絡(luò)I/O的效率，消除網(wǎng)絡(luò)瓶頸；針對高并發(fā)數(shù)據(jù)處理，采用共享資源分布式計算的思想，將共享哈希表按照核心數(shù)目劃分成多個劃分，每個劃分都有專門的服務(wù)線程負(fù)責(zé)其上所有操作，服務(wù)線程訪問各自的劃分時不用任何同步操作也不會涉及到其它服務(wù)線程，從而消除了鎖競

3、爭，減少了緩存一致性開銷。采用一致性哈希算法作為數(shù)據(jù)分布策略，提高了系統(tǒng)的可用性和負(fù)載均衡能力，同時系統(tǒng)整體采用半同步半異步模式工作，既保證了并發(fā)連接處理的實時性，又實現(xiàn)了并發(fā)數(shù)據(jù)處理的高效性。
　　與廣泛使用的分布式緩存Memcached進(jìn)行性能對比測試的結(jié)果表明，SKVM每次請求比 Memcached經(jīng)歷更少的緩存未命中，并且 SKVM的吞吐量要優(yōu)于Memcached，同時，在多核環(huán)境下，Memcached的吞吐量隨著并發(fā)線程