增量ＥＴＬ過程中對刪除數據實現裝載的設計

摘要：使用ETL過程將數據源數據裝載到數據倉庫，大多數時候是向數據倉庫中追加數據，但有時也需要刪除一些數據，以維持數據倉庫中數據的正確性。文章結合Oracle ETL工具的裝載特點提出了一種對增量數據進行預處理的方法，以實現有刪除數據的ETL裝載，并給出了具體的設計。

關鍵詞：增量ETL；增量數據；數據倉庫；增量維護算法

0 引言

數據倉庫中的ETL(Extract，Transform，Load)過程通過數據的抽取、清洗、轉換、整合、傳輸、加載等操作，將業務系統數據庫和外部數據源的數據，按照數據倉庫模型整合到數據倉庫中，是數據倉庫的一個關鍵環節。ETL可劃分為全量ETL和增量ETL兩種過程方式。全量ETL方式主要用于數據倉庫初始化，即數據的第一次載入，而增量ETL方式則用于數據倉庫的數據追加和更新等維護。從效率和性能方面，增量ETL方式比全量ETL方式更適合數據倉庫的日常維護。