基于ETL的地質環境遺留系統集成及應用研究

鄭庭明

摘? 要：本文在介紹了遺留系統及相關知識的基礎上，闡述了為什么要對地質環境遺留系統進行集成，并比較分析了不同系統集成方法的優缺點，最終選擇采用ETL技術進行數據集成的方式。介紹了ETL技術及其應用框架，并用地質環境一張圖進行了示例說明。

關鍵詞：ETL;地質環境;遺留系統;集成

中圖分類號：TP39? ? ?文獻標識碼：A

Study on Integration and Application of Geological Environment?Legacy System Based on ETL

ZHENG Tingming

（Shandong Monitoring Center of Geological Environment，Jinan 250014，China）

Abstract：This paper illustrates why we must integrate geological environment legacy system based on the introduction of the legacy system and related knowledge.In view of the advantages and disadvantages of different system integration methods，this paper chooses ETL technology to integrate data.Then this paper elaborates the ETL technology and its application framework by giving an example of a map of geological environment.

Keywords：ETL;geological environment;legacy system;integration

1? ?引言（Introduction）

遺留系統指不再適應新的技術或新的業務需求，但鑒于替換或修改的成本過高而繼續投入使用的計算機系統或應用程序[1]。

地質環境系統的開發思路往往是使用者意識到需要某種功能時就開發具有該功能的系統，導致地質環境存在較多時期不同、操作系統不同、數據庫不同、功能不同的遺留系統。這些遺留系統在運行過程中，產生和累積了海量的業務數據，但是各遺留系統的業務數據分布在各自的系統中，各系統的數據庫管理系統、數據標準、操作系統都不相同，導致這些海量數據之間缺乏關聯，形成“信息孤島”[2-6]。利用何種系統集成技術對這些遺留系統進行有效的集成，在既保證不影響現有遺留系統的使用，又避免重復建設，節約成本的基礎上實現信息共享，提高地質數據資產使用和管理效率，這既是地質環境信息化建設中急需解決的問題，同時也是構建共享開放的數據資源體系的重要一環。

2? ?系統集成技術選型（Selection of system integrationtechnology）

近年來，在系統集成、數據集成、工作流程、信息利用等方面出現了很多解決方案[7]，詳見表1。

地質環境遺留系統正是擁有大量的歷史數據（如災害點動態監測數據，地下水動態監測數據），數據也比較穩定（如地質災害點，地質遺跡點），數據需要長期、系統的保存，加之基于數據的集成可不影響遺留系統已有的架構、操作，又可避免重復建設，還可保持數據的“鮮活度”，故此本文選用數據集成的技術。

鑒于ETL可以對各種數據源（如Oracle、Sqlserver、DB2、Mysql、Access、txt、excel、csv、xml等），不同數據庫類型間的數據進行處理，數據處理組件豐富，通用性強，可以很好地解決數據抽取、轉換、加載的問題等特點，故本文選用ETL技術進行數據集成。

3? ?關鍵技術（Key technology）

ETL（Extraction-數據抽取、Transformation-數據轉換、Loading-數據加載）其實質就是一種數據轉換的工具，在數據源與目標數據庫中搭建一座橋梁，并且在橋上設置“檢查站”，通過“檢查站”去除“臟數據”，確保高質量的新數據源源不斷地流向目標數據庫。ETL過程其實就是數據流動的過程，將不同來源的數據統一匯入目標數據庫[8]。

ETL具有的功能如圖1所示[9]，通過連接、抽取、轉換、加載等流程完成多源異構數據的清洗、匯總。

ETL流程圖如圖2所示，其具有操作簡單、支持各類數據源、支持各種軟硬件平臺、通用性強、提供靈活的定制規則、提供強大的管理功能等優勢[10，11]，利用ETL的優勢，可在網絡相通的前提下實現各級部門之間的數據集成與調用，提高數據利用的廣泛性、高效性。

4? ?系統設計（System design）

4.1? ?技術框架

利用ETL對遺留系統進行集成的整體框架如圖3所示。各遺留系統在各自原有平臺進行獨立運作，通過數據同步交換中間件（即ETL工具）將遺留系統的數據進行整合，統一匯集到公共地質環境數據中心，在公共地質環境數據中心之上構建信息平臺，信息平臺中包含各類業務應用需要的數據服務，當新建的業務系統需要使用遺留系統中的數據時，只需通過調用各類服務接口即可，遺留系統及新建的業務系統只需通過UI集成便可搭建服務于自己需求的應用門戶。

從系統架構層面，集成地質環境遺留系統采用的系統架構是“平臺+數據+應用”的模式，遵循平臺管理層、數據管理層和應用管理層三層技術架構，其技術架構見圖4。

平臺管理層：基于SOA技術，實現了數據存取、調度、查詢、統計、分析、可視化等基礎功能，全面支持B/S應用系統和移動端應用的開發和運行。該部分功能實現了面向地質環境業務應用系統的常規數據庫訪問、Web GIS、Web Service數據服務和數據交換應用。主要組件支持分布式運行、集中管理和一體化服務。以Web服務、REST API和功能組件等服務接口暴露給最終用戶的二次開發服務接口。

數據管理層：系統產生的數據納入公共地質環境數據中心統一管理運維，構建充分共享、適度開放、安全可控的地質環境數據共享開放新機制，實現地質環境全數據共享，推動地質環境數據在系統內外的充分共享和有序開放。

應用管理層：系統需要的各類組件、服務、數據等資源，由地質環境信息平臺負責統一管理、配置、調度和監管。

4.2? ?應用實例

以地質環境一張圖為例，傳統的地質環境數據都是分散存儲在不同的數據庫中，業務數據分散，且省市縣地質環境數據無法實現上下貫通和共享開放，地質環境一張圖各類業務數據的調用更是荊天棘地[12]。本文先利用ETL將地質環境遺留系統中的數據集成至公共的地質環境數據中心，基于公共地質環境數據中心提供各類數據服務接口，并通過信息平臺展示各類數據服務接口，服務接口采用Restful形式，方便調用，地質環境一張圖直接調用發布的數據服務接口，直接從公共地質環境數據中心調用數據，大大降低了數據獲取和使用成本。下圖是使用ETL進行數據集成時的系統界面示例，圖5是主作業流程，圖6是主轉換流程。

集成后的地質環境一張圖以公共地質環境數據中心為依托，包括不同比例尺的基礎地理、基礎地質、水文地質、災害地質、地下水監測、礦山環境保護、地質遺跡、地質公園保護等信息，實現地質環境各類信息的瀏覽、查詢、空間編輯（包括點、線、面元的增、刪、改）、空間計算等功能;實現空間信息與地質環境調查、監測、保護等專業屬性信息的聯動查詢，同時可根據新建工程的地理范圍對各業務數據進行綜合查詢。

三維空間數據查詢——將基礎地理、基礎地質、水文地質、工程巖組、災害地質、地質災害易發性分區等各類專題圖層進行組合及疊加顯示、瀏覽。同時，獲取圖元屬性信息的詳細說明，以便對地質環境進行分析。

業務數據綜合展示——可在三維圖上圈定查詢范圍（地質單元、流域等），對地質災害、地下水、礦山地質環境、地質遺跡等信息進行查詢和統計分析，幫助快速進行地質環境影響評估。同時提供地質災害和地下水的監測數據、設備狀態的實時查看。

綜合數據交叉查詢——綜合數據交叉查詢可通過空間查詢及手動錄入拐點坐標兩種方式圈定空間分析的主線路，并可設置圈定范圍往外延查詢的緩沖區距離，通過交叉查詢，掌握沿線范圍及其緩沖區分析范圍內所有的災害點、地下水監測點、礦山、地質遺跡點、地質公園、“三區兩線”（重要風景名勝區、自然保護區、城市規劃區、鐵路和重要公路沿線、海岸線周圍）等信息及其相關的空間數據。

5? ?結論（Conclusion）

本文闡述了地質環境遺留系統集成的方法及流程，并介紹了ETL技術在地質環境遺留系統集成中所具有的優勢：它是一種基于數據的集成，無須改動原有系統，可適用于數據文件的集成、不同類型數據庫間的數據集成，這樣的集成方式不僅使用與地質環境遺留系統，對其他行業的遺留系統集成應用也具有參考價值。

參考文獻（References）

[1] YANG H，WARD M.Successful evolution of software systems[M].Norwood： Artech House，2003.

[2] 劉傳正，張明霞，劉艷輝.區域地質環境可持續利用評價體系初步研究[J].地學前緣，2006，13（1）：242-245.

[3] 邢麗霞，羅躍初，李亞民，等.我國地質環境監測現狀及對策研究[J].資源與產業，2011，13（3）：110-115.

[4] 張熠斌，譚文清，徐思瑜，等.吉林省地質環境信息化建設實施方案[R].2014.

[5] 張熠斌，宋金紅，劉傳深，等.面向服務的地質環境三維一張圖系統研究[J].科學技術創新，2017，（33）：1-3.

[6] 吳紅梅，王志強，吳友章，等.山東省地質資料集成與應用研究[J].山東國土資源，2017，33（12）：70-74.

[7] 朱思邈.計算機網絡系統集成技術分析與研究[J].黑龍江科學，2017，8（21）：122-123.

[8] 孫安健.通用ETL工具的研究與設計[D].上海：復旦大學，2012：1.

[9] Matt Casters，Roland Bouman，Jos Van Dongen.初建軍，曹雪梅，譯.Pentaho Kettle解決方案：使用PDI構建開源ETL解決方案[M].北京：電子工業出版社，2011：13-16.

[10] 田蕊.保險業經營管理系統中ETL的設計與應用[D].北京：中國科學院大學，2017：6.

[11] Iteye.為什么要用ETL工具？ETL優點.Available at http：//wisgood.iteye.com/blog/1499982.

[12] 孟銘杰，張文彬，任娟，等.四川省地質環境“一張圖”系統設計及基本功能[J].安全與環境工程，2017，24（3）：16-19.