ETL技術在電網信息系統業務數據遷移中的應用研究

杜榮良 陳浩 余修成

摘要：隨著現代化電網信息系統中的業務量增加及變化，原有的信息數據業務處理系統難以保證日常工作業務正常進行。本文通過對ETL技術的介紹，分析其在電網信息系統業務數據遷移中的應用意義，并基于ETL技術對數據遷移技術進行設計討論，總結了電網信息系統業務數據遷移項目中的操作方法。

關鍵詞：ET啵術;電網信息;系統業務;數據遷移

在長時間的運作經營下，電網信息原有系統中積累了大量珍貴的數據資源，這些數據對于企業的現代化運營有著積極作用。但由于軟件信息的更迭，舊的信息系統逐漸被淘汰，而新舊系統的數據結構差異使得舊系統的數據不能直接應用于新系統，這就需要采用高質量的數據遷移技術來實現歷史數據的完整利用。

1ETL技術在數據遷移中的應用意義

ETL技術，即對信息數據的抽取、轉換和加載，它能夠將不同結構、不同排列方式、不同數據源的相關數據進行整理，將其抽取到臨時的中間數據庫后進行清洗、轉換、集成，最后加載到另一個數據倉庫或數據集市中，幫助進行數據處理分析。ETL技術的應用是一個長期的過程，只有在運用的同時不斷發現問題并解決問題，才能使ETL技術的運行效率更高，為項目實施開發提供準確的數據。

ETL技術是數據倉庫中的重要組成部分，對數據傳遞轉移起到承上啟下的作用，與數據庫相比，ETL技術不需要精細的數學理論知識的基礎應用，它更面向實際工程的應用。所以就工程應用而言，利用ETL技術進行數據模型加載及處理，與原數據庫中的數據質量息息相關，更影響著數據的分析處理結果。通常情況下，數據倉庫是一個較為獨立的環境，它需要對數據進行提取處理后，將其導入到性的數據庫中，涉及數據的轉換、提取、整理、管控的操作技術。在數據使用過程中并不需要數據倉庫系統中的數據與事務處理系統中的數據同步，因此ETL技術可以多個同時進行，這也為ETL技術應用的高效性提供便利。

2ETL技術在電網信息系統業務數據遷移中的作用

2.1數據收集

在進行電網信息系統業務數據遷移時，要事先創造一個數據庫，用以實現數據的輸入記錄，其原理是利用DatastageI具，將電網中原有的信息數據進行整理收集整理到數據庫中，并將數據庫中的項目信息與電網原有數據進行對比歸納，整合稱為數據輸入表。數據庫在整個信息數據轉移過程中起到的是過渡作用，它的建立是方便對不同信息的分類整合，以提高數據遷移上傳時的效率。在這個過程中要注意編碼方式的轉換，以及根據記錄項目情況的不同，選擇空格的去留。

數據收集的目標，是從電網信息系統原有數據中尋找出具有遷移意義的部分，包括結構化與非結構化數據，通過對數據的情況分析，選擇全量抽取或增量抽取的收集方式。收集時要保證不影響電網信息系統的正常運行，并對相關工作環節進行監管，通過對新數據的提取，實現各個模塊的數據鏈接。

2.2數據融合

在完成數據庫收集整理工作后，對數據庫中的部分數據，其精準度還有待商榷。應通過對多源數據的信息整合，分析其歷史情況，以一定規則進行數據融合，保證其所代表的可信度，增強數據的遷移效益。在這個過程中，通過不同數據的綜合分析，能夠對電網信息系統的實際性質進行了解，以此強化數據轉移的意義。要注意數據融合時所用的傳感器不一定是機械形式的，系統信息源甚至人力資源數據都有可能成為傳感器。數據融合還能夠將不同的數據信息進行轉化，通過固有的準則模式計算，分析數據間的類型特點，將不同系統間的相同類型數據進行整合，提高數據遷移效率。

在進行數據融合時，通常會創建一個中間數據庫，這個數據庫與數據收集環節創建的數據庫不同，它所包含的表格項目信息是與數據遷移后的新系統相匹配的。將輸入數據庫的信息轉換后插入到這個中間數據庫，并對兩個數據庫中的數據進行對比檢查，分析其中的異同點。其中，不需要變換就能直接遷移的數據稱為無變化數據，而需要通過各種轉換方式導人中間數據庫中的數據稱為變化數據。在進行業務數據遷移時，業務數據經常會與電網企業的正常工作流程有聯系，在進行新舊系統的數據轉換時候，由于企業的業務流程會發生變化等原因，業務流程的信息系統的技術設置也會出現一定差異。在這個過程中，工作人員要制定詳細的數據遷移策略，保證數據遷移工作的有效性。

2.3數據提交

在完成電網信息系統業務數據融合轉換后，就可以將數據向新系統進行提交加載，完成數據遷移。數據整理的最終目的便是提供信息資料查詢，在遷移過程中將數據構建為框架模型，不僅能簡化查詢流程，還能減少數據遷移時間。通過對數據的抽取及劃分，實現業務數據的結合，為工作人員提供有用信息，完善數據遷移的結構層次。

經過轉換遷移的數據可以直接被新系統使用，但在新系統使用前，要先將中間數據庫中的數據信息集中轉換到新系統的數據庫中，為其操作使用做好鋪墊。要注意數據轉換后的檢查校驗工作，其核心內容是對數據轉換情況及轉換效果進行檢查，判斷經過數據遷移后的系統能否正常工作。其主要包含對相同含義的數據位置一致性檢查、數據庫中的數據信息數量檢查、特殊數據樣本的內容詳情檢查，力求做到新數據系統中的數據與原電網信息系統業務數據相同。

最后，通過系統的查詢工具，分析新舊系統中不同指標數據的異同情況，比較最終的查詢結果，根據對比分析結果確定數據遷移質量。具體做法是將新信息數據系統中的數據還原到數據遷移前的狀態，并將舊系統最后一天的全部工作業務信息錄入到新系統中，將產生的結果與舊系統相比較。對于有條件的電網企業，可以讓新舊系統在同一狀態下進行運行，在一段時間后將業務信息進行對比，若數據隋況一致，則說明數據遷移完成。

3結束語

電網信息系統業務數據遷移是項復雜的工作，而數據遷移的質量會直接影響著新系統的穩定運行程度。探討利用ETL技術進行數據遷移的應用，并制定相應的實施方案，能夠實現電網營銷管理系統數據的可靠、準確及快速地遷移，為新營銷系統的穩定運行提供了重要保障。