基于模型驅動的數據清洗平臺的設計和實現(xiàn).pdf

1、隨著信息技術的迅猛發(fā)展，各種形式的數據也呈現(xiàn)出爆炸式的增長，數據的質量開始受到越來越多人的重視，尤其是在面對海量數據不斷涌現(xiàn)的情況下，如何快速的抽取、轉換、加載各種異構數據，如何有效的管理數據清洗業(yè)務，如何迅速的適應數據清洗需求的不斷變化，就成為了目前數據清洗領域研究的重點，因為傳統(tǒng)的數據清洗方式和工具由于針對性強、運行效率低、開發(fā)成本高、缺乏統(tǒng)一的流程管理等，已經難以在現(xiàn)在的情況下發(fā)揮應有的效果，也就無法進行高效、準確的數據清洗過程。

2、
　　本文正是針對上述問題，對已有的數據清洗方式和工具進行了探討和比較，以模型驅動方法在數據清洗領域中的應用為主要研究對象，在深入分析工作流與數據清洗建模過程的基礎上，對基于模型驅動的數據清洗平臺進行了詳盡的設計和實現(xiàn)，主要內容為：
　　1．研究了數據清洗的一般流程，將數據清洗的過程進行形式化定義，采用四層元模型架構對數據清洗流程進行建模，提出了基于模型驅動的數據清洗模型及建模方法，闡述了數據清洗領域元數據的含義和功能。

3、r>　　2．研究了模型驅動的基本原理和特征，結合工作流技術對數據清洗過程進行了分解，剝離出共同的數據抽象業(yè)務，并逐一提出了元數據描述方案和數據清洗狀態(tài)之間的轉換；研究了如何利用模型屏蔽數據源的異構，從而為解決支持不同數據源同時進行數據清洗提供了方法。
　　3．設計并實現(xiàn)了由客戶端設計器、執(zhí)行引擎和監(jiān)控端組成的基于模型驅動的數據清洗平臺。其中，客戶端設計器為用戶提供了可視化的操作界面，用于設計數據清洗流程，通過組件模型和工作流完成數