基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建方法的研究.pdf

1、目前基于Hadoop/Hive的數(shù)據(jù)倉(cāng)庫(kù) ETL理論方面的研究相對(duì)較少，并且缺乏用于構(gòu)建Hadoop/Hive數(shù)據(jù)倉(cāng)庫(kù)的成熟的第三方ETL工具?，F(xiàn)有的Hive在輔助用戶實(shí)現(xiàn)云數(shù)據(jù)倉(cāng)庫(kù)的 ETL過(guò)程時(shí)，基本是“一對(duì)一(case-to-case)”模式。此種模式需要較多的人工干預(yù)，不適合大數(shù)據(jù)的ETL過(guò)程。
　　本文的創(chuàng)新工作有三個(gè)方面：
　　1)針對(duì)目前基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)一般采用“一對(duì)一”的模式構(gòu)建的情況，提出一種新的

2、 Hadoop/Hive數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建模式，即“元數(shù)據(jù)驅(qū)動(dòng)的生成器模式”，用于構(gòu)建基于Hadoop/Hive的數(shù)據(jù)倉(cāng)庫(kù)。該模式具有兩點(diǎn)優(yōu)勢(shì)：一是由元數(shù)據(jù)驅(qū)動(dòng)，充分發(fā)揮了關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)元數(shù)據(jù)操作的效率優(yōu)勢(shì)；二是識(shí)別了“通用知識(shí)”和“具體對(duì)象知識(shí)”兩類知識(shí)，并在對(duì)知識(shí)的分類基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn) ETL過(guò)程，消除了“一對(duì)一”模式下大量不必要的重復(fù)操作。
　　2)根據(jù)“元數(shù)據(jù)驅(qū)動(dòng)的生成器模式”，將傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與Hadoop數(shù)據(jù)倉(cāng)庫(kù)技

3、術(shù)進(jìn)行結(jié)合，提出了Hadoop數(shù)據(jù)倉(cāng)庫(kù)ETL的系統(tǒng)框架，根據(jù)該框架獨(dú)立自主開(kāi)發(fā)了構(gòu)建Hadoop/Hive的數(shù)據(jù)倉(cāng)庫(kù)的ETL工具，并使用該工具建立了一實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)，對(duì)該數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行了數(shù)據(jù)挖掘的演示。
　　3)定義了Hadoop/Hive數(shù)據(jù)倉(cāng)庫(kù)ETL過(guò)程中HiveQL語(yǔ)句中出現(xiàn)的兩類知識(shí)：“通用對(duì)象知識(shí)”和“特定對(duì)象知識(shí)”。
　　本文對(duì)上述創(chuàng)新結(jié)果進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示，上述“生成器模式”和所開(kāi)發(fā)的ETL工具能