基于Hadoop的統(tǒng)計(jì)直方圖數(shù)據(jù)立方的構(gòu)建與查詢技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代信息技術(shù)的深入應(yīng)用，信息的來(lái)源日益增多，數(shù)據(jù)規(guī)模呈現(xiàn)急劇增長(zhǎng)的趨勢(shì)。面對(duì)海量的數(shù)據(jù)，越來(lái)越多的企業(yè)或組織開(kāi)始重視數(shù)據(jù)的存儲(chǔ)應(yīng)用，數(shù)據(jù)倉(cāng)庫(kù)在這方面的應(yīng)用越來(lái)越廣泛。在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)之上的數(shù)據(jù)分析對(duì)于企業(yè)或組織定量的決策發(fā)揮著越來(lái)越重要的作用，對(duì)于海量數(shù)據(jù)的處理需要更高的計(jì)算和存儲(chǔ)能力，在普通PC面對(duì)這樣的問(wèn)題出現(xiàn)瓶頸的時(shí)候，云計(jì)算平臺(tái)以及相關(guān)技術(shù)的出現(xiàn)，為研究解決該問(wèn)題提供了支持，如何在云計(jì)算環(huán)境下有效的組織存儲(chǔ)數(shù)據(jù)，高效的完

2、成海量數(shù)據(jù)上的分析處理成為一個(gè)熱點(diǎn)研究問(wèn)題。
　　本文通過(guò)詳細(xì)分析了當(dāng)前聯(lián)機(jī)決策分析(OLAP)技術(shù)在面對(duì)海量數(shù)據(jù)時(shí)查詢處理時(shí)的局限性，提出了一種新的多維聚集通用模型，詳細(xì)分析了該模型在OLAP分析上的可行性，利用MapReduce在處理大規(guī)模數(shù)據(jù)時(shí)的并行處理能力和分布式文件系統(tǒng)的存儲(chǔ)能力，完成了基于統(tǒng)計(jì)直方圖的數(shù)據(jù)立方的構(gòu)建和存儲(chǔ)，并在該模型下，設(shè)計(jì)實(shí)現(xiàn)了OLAP分析的經(jīng)典聚集算法，如求和、計(jì)數(shù)等算法，對(duì)于傳統(tǒng)OLAP分析無(wú)法支

3、持的分析操作，如求眾數(shù)、中位數(shù)等，利用該模型的特點(diǎn)在MapReduce下設(shè)計(jì)實(shí)現(xiàn)了相應(yīng)的算法，算法可以高效的利用Hadoop集群的計(jì)算能力完成分析操作。另外在本模型下，提出了海量數(shù)據(jù)下數(shù)據(jù)更新問(wèn)題解決方案，可以較好的支持?jǐn)?shù)據(jù)的增量更新。通過(guò)以上方法，極大的提高了海量數(shù)據(jù)上的聚集查詢運(yùn)算效率，可以較好的支持海量數(shù)據(jù)上的OLAP分析操作。針對(duì)數(shù)據(jù)倉(cāng)庫(kù)上的近似查詢需求，本文還在統(tǒng)計(jì)直方圖的基礎(chǔ)上，重新設(shè)計(jì)了一種新的直方圖劃分方法，分析了該劃分