ETL過程改進的研究.pdf

1、數據倉庫包含了從各種獨立自治的數據源中抽取的信息，當源數據發(fā)生變化時，為反映這種變化，通常利用ETL過程更新數據倉庫中的數據。當采用完全重載的方法時，由于源數據集較大，大大增加了業(yè)務系統(tǒng)的負荷，刷新數據處理時間也較長，因此無法保證刷新速度，降低了數據倉庫對數據變化的反應靈敏度。 本文從減少ETL過程處理數據集規(guī)模和提高單位時間內ETL過程數據處理能力兩個角度入手對ETL工具進行改進。文中解決了觸發(fā)器屬性抽取和級聯死鎖判斷問題

2、，結合觸發(fā)器和變更數據存儲表(Delta．表)概念引入了增量數據源，并將增量數據源納入到統(tǒng)一數據模型中進行管理。同時分析了完全ETL刷新變?yōu)樵隽克⑿聲r遇到的異常，使用預處理、補償等手段保證增量刷新過程的邏輯正確性。并行化包含了SPMD并行(Single Program Multiply Data)和流水線并行，將數據平衡分布到各個ETL處理實例，并在各處理實例內施行流水線并行。論文討論了并行化涉及的邏輯等價性、負載均衡、分片策略、并行優(yōu)