基于Spark的聯(lián)機(jī)分析處理的研究.pdf

1、聯(lián)機(jī)分析處理系統(tǒng)使決策者能對企業(yè)的歷史數(shù)據(jù)進(jìn)行多維分析，為企業(yè)發(fā)展做出更好的決策。依托于分布式計(jì)算框架實(shí)現(xiàn)的關(guān)系型聯(lián)機(jī)分析處理系統(tǒng)中，多表連接是影響聯(lián)機(jī)分析處理系統(tǒng)性能的關(guān)鍵因素。研究如何根據(jù)用戶的使用習(xí)慣，重用耗時(shí)的多表連接結(jié)果的方法，對關(guān)系型聯(lián)機(jī)分析處理系統(tǒng)整體性能的提高，具有重要意義。
　　在分析了基于分布式內(nèi)存計(jì)算框架 Spark的聯(lián)機(jī)分析處理系統(tǒng)的設(shè)計(jì)要求的基礎(chǔ)上，通過對比現(xiàn)有聯(lián)機(jī)分析處理系統(tǒng)的體系結(jié)構(gòu)，給出了基于Spa

2、rk的聯(lián)機(jī)分析處理系統(tǒng)的體系結(jié)構(gòu)。該結(jié)構(gòu)可以劃分為應(yīng)用層、驅(qū)動(dòng)層、服務(wù)器層、計(jì)算層和存儲(chǔ)層；其主要的功能模塊包括維度表處理模塊、事實(shí)表處理模塊和多維分析執(zhí)行模塊等。
　　在多維分析處理方面，使用Spark處理維度表和事實(shí)表時(shí)都只讀取與此次查詢有關(guān)的列，減少分布式計(jì)算框架Spark計(jì)算的數(shù)據(jù)總量；對維表進(jìn)行按層次的編碼處理，通過將有層次信息的層次編碼替換事實(shí)表的外鍵，生成有層次信息的編碼事實(shí)表；使用Spark可重用工作數(shù)據(jù)集的特性，