中國郵政速遞數(shù)據(jù)倉庫系統(tǒng)ETL的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著中國郵政速遞業(yè)務(wù)規(guī)模的擴(kuò)大，數(shù)據(jù)量隨之急劇增長。在1991-2005年所建的基于數(shù)據(jù)庫的存儲系統(tǒng)已經(jīng)不再適應(yīng)業(yè)務(wù)的發(fā)展。中國郵政速遞面臨著數(shù)據(jù)一致性，信息時(shí)效性，數(shù)據(jù)完整性等問題。數(shù)據(jù)倉庫因面向主題，具備集成性、穩(wěn)定性和保存歷史數(shù)據(jù)這些特點(diǎn)，它的建立能為這些問題帶來解決方案。中國郵政速遞采取Teradata數(shù)據(jù)倉庫技術(shù)為其搭建數(shù)據(jù)倉庫，ETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)是實(shí)施數(shù)

2、據(jù)倉庫的重要步驟，它按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程。
　　作者基于中國郵政速遞數(shù)據(jù)倉庫建設(shè)工程，首先對數(shù)據(jù)倉庫概念，實(shí)時(shí)數(shù)據(jù)倉庫技術(shù)特點(diǎn)，Teradata數(shù)據(jù)倉庫和Teradata數(shù)據(jù)倉庫實(shí)施論進(jìn)行了介紹。其次對數(shù)據(jù)倉庫三個(gè)主要數(shù)據(jù)源進(jìn)行了分析，根據(jù)業(yè)務(wù)，劃分了數(shù)據(jù)倉庫6大主題域，設(shè)計(jì)了數(shù)據(jù)倉庫核心模型層。之后，根據(jù)業(yè)務(wù)需求和模型層的設(shè)計(jì)，對ETL架構(gòu)進(jìn)行了整體設(shè)計(jì)，通過對項(xiàng)目中使

3、用的ETL自動化工具Teradata Automation的抽象，歸納了自動化流程設(shè)計(jì)，并對ETL框架中的各類作業(yè)進(jìn)行了設(shè)計(jì)和命名規(guī)范。然后，根據(jù)ETL的設(shè)計(jì)，具體實(shí)現(xiàn)了數(shù)據(jù)抽取，數(shù)據(jù)加載，加載監(jiān)控，數(shù)據(jù)清洗和校驗(yàn)，數(shù)據(jù)轉(zhuǎn)換功能，并對作業(yè)進(jìn)行了測試和優(yōu)化。最后，對系統(tǒng)運(yùn)行情況和論文進(jìn)行了總結(jié)，并對郵政速遞數(shù)據(jù)倉庫在模型改進(jìn)，元數(shù)據(jù)管理，系統(tǒng)性能改善這三方面提出了建議。
　　希望通過本文的工作，能給新行業(yè)數(shù)據(jù)倉庫ETL設(shè)計(jì)和開發(fā)帶來