內(nèi)存數(shù)據(jù)庫并行化查詢技術(shù)研究.pdf

1、隨著大容量內(nèi)存的出現(xiàn)和內(nèi)存價(jià)格的逐漸降低，內(nèi)存數(shù)據(jù)庫開始被廣泛使用。內(nèi)存數(shù)據(jù)庫帶來性能提升的同時(shí)，也帶來了新的挑戰(zhàn)。由于內(nèi)存存取速度的增長難以匹配處理器速度的增長，導(dǎo)致在數(shù)據(jù)查詢中，內(nèi)存訪問延遲已經(jīng)成為數(shù)據(jù)庫查詢的主要代價(jià)之一。多核處理器的出現(xiàn)，使得上述問題更加嚴(yán)重。與此同時(shí)，數(shù)據(jù)規(guī)模的增大，導(dǎo)致數(shù)據(jù)處理過程中出現(xiàn)臨時(shí)錯(cuò)誤和數(shù)據(jù)傾斜的機(jī)會(huì)增加，查詢算法需要一定的糾錯(cuò)能力，避免整個(gè)任務(wù)的重新執(zhí)行。多線程并行訪問共享Cache造成的訪問沖突

2、會(huì)給查詢執(zhí)行性能造成負(fù)面影響。此外，有限的內(nèi)存帶寬和多核處理器各個(gè)核心間的負(fù)載不均衡也影響了線程的執(zhí)行效率。因此，需要充分利用共享Cache多核處理器的處理性能，減少共享Cache訪問沖突對(duì)內(nèi)存數(shù)據(jù)庫查詢優(yōu)化。面向多核處理器的此類優(yōu)化尚有許多問題需要解決。
　　本文針對(duì)數(shù)據(jù)庫查詢的并行執(zhí)行進(jìn)行研究。針對(duì)連接查詢存在的性能瓶頸，在共享Cache多核處理器環(huán)境下進(jìn)行連接查詢的相關(guān)優(yōu)化。主要工作和創(chuàng)新點(diǎn)如下:
　　提出了基于數(shù)據(jù)劃

3、分策略的多線程并行聚集連接算法。針對(duì)內(nèi)存受限的服務(wù)器，分別提出了Radix-Join算法和Sort-Merge Join算法的并行算法，并針對(duì)多核共享Cache環(huán)境下對(duì)算法進(jìn)行了優(yōu)化。在數(shù)據(jù)劃分階段，提出了一種自適應(yīng)的劃分策略，使得多線程執(zhí)行可以隨可用內(nèi)存大小變化策略;在聚集連接階段，提出了基于數(shù)據(jù)規(guī)模靈活變化的并行連接執(zhí)行策略，并優(yōu)化了聚集連接時(shí)的內(nèi)存訪問。上述優(yōu)化技術(shù)能夠較大減少多線程執(zhí)行時(shí)的共享Cache訪問沖突和處理器核心間的負(fù)

4、載不均衡，提高了線程的執(zhí)行效率。
　　針對(duì)傳統(tǒng)連接算法缺少靈活的調(diào)度和必要的容錯(cuò)能力，提出了基于MapReduce的連接并行執(zhí)行框架。與Radix-Join算法類似，該框架主要分為Map和Reduce兩個(gè)階段，適合使用數(shù)據(jù)劃分策略。本文分析了內(nèi)存連接的各個(gè)階段對(duì)Join算法性能的影響，提出了一種可利用MapReduce的動(dòng)態(tài)機(jī)制，避免傳統(tǒng)并行連接算法實(shí)現(xiàn)的數(shù)據(jù)任務(wù)分派不均和容錯(cuò)問題。算法使用MapReduce編程框架，并通過封裝分