劉致彤,向 輝,丁克松,李 壯
(北京洛斯達科技發展有限公司,北京 100011)
大量的信息數據是工程項目的基礎,也是目前工程項目管理難以突破的瓶頸。由于各個單位信息系統相互獨立,種類繁多而且沒有統一化、系統化、規范化的數據管理,導致數據往往會被孤立,隨著管理的項目越來越多,系統中數據量日益增長,數據的統一管理、交互工作也顯得格外重要。
以往的數據對接中只是針對某個項目進行,依然沒有解決數據孤島的問題。而作為公司總部或者集團型企業總部,往往需要對各級單位的工程項目數據進行整合、匯總,形成以總部為核心的工程項目數據庫或數據湖,為總部統籌決策、資源調配以及分析評價各方面服務。因此如何在現有資源條件下,更好地實現各單位的數據對接,以什么方式進行整合,是目前面臨的問題。
隨著中國能源建設集團有限公司(以下簡稱“集團”)信息化發展,各信息系統產生大量數據沉淀,存在數據共享效率不高等問題,使過去為集團帶來工作效率提升的、孤島式的業務系統成為集團變革轉型的阻力。數據交互成為打通各個業務系統、實現單位業務快速重組的內在需求,也成為集團制定數據政策、保障數據安全、促進數據在組織內無障礙共享、推進數據戰略順利實施的重要保障。
面對日益增加的數據量以及復雜的異構環境,如何更快、更方便地獲取原有沉積在各種異構應用系統孤島(silos)中的數據,以及通過梳理、分類、管理、整合成為有價值的數據資源,更有效地應用于實時分析報告、商業智能、大數據、智能AI 應用以及對外共享等,企業需要方便易用的、可自主管理和可自我服務的、可統一管理的、可擴展和可靠的、可快速部署于本地或云中的企業級數據復制同步和交互整合產品解決方案, 降低數據資源開發和使用的成本,避免陳舊傳統技術產品解決方案所帶來的困擾和問題。對于陳舊的基于ETL 的解決方案,我們常聽到諸如“黑箱技術、易用性差、效率低、實時性差、本身又造成孤島、缺乏集中統一管理”等許多來自用戶的差評。
根據IDC 研究報告的統計,客戶對于傳統的數據交互、復制、ETL 解決方案在性能方面的滿意度極低,滿意的用戶只占17%左右。基于20 多年前陳舊技術的ETL 解決方案面臨著許多挑戰,主要有以下幾個方面:
1)日益增加的異構數據源環境,包括各種關系型數據庫、結構化及非結構化數據,以及NoSql、NewSql 數據庫和大數據平臺的應用環境。
2)在企業私有云和混合云的計算環境下,傳統產品的C/S 架構難以滿足構建云與邊的數據交互,以及在云中心的部署并支持遠程多租戶共享使用方式的要求。在一個現有的企業環境中,往往不同項目要購買多套ETL 產品,各自成為孤島,難以實現元數據集中的統一管理、共享和任務的監控及運維,造成元數據目錄管理與數據共享交互割裂的“二張皮”。
3)需要編寫二次開發腳本語言或所謂的“模板”組件,產品的使用對象主要是面向技術開發者的,易用性差、時間周期長、成本高,難以滿足業務部門對數據的快速需求;另一方面,越來越多的企業數據分析人員希望產品提供簡單易用的功能,并實現“自我服務”模式和數據“端到端”的可視化管理。
4)傳統的ETL 解決方案產品,往往采用批處理的數據釆集/抽取方式,實時性差,交互效率低。
因此如何高效、安全、簡單易用、滿足多方需求是目前我們首先要考慮的。
集團前期依托計劃統計系統,初步實現了各類數據收集工作。在“十三五”期間,通過建設集團經營業務數據展示平臺,初步實現了集團生產經營類數據的多維度展示與穿透查詢分析;依托現有(或在建)的計劃統計系統、國際業務系統、財務系統、電子采購平臺、工程項目平臺等業務系統,初步建立了數據指標體系;使用數據交換平臺開展了各單位工程項目類數據與總部系統的對接;依托財務信息化建設開展了財務及其他業務主數據梳理工作,并進一步開展主數據管理平臺建設工作。
在接下來的數據交互工作中,需要進一步加強數據源頭管理,確定數據指標和標準,推動管理數據互聯互通,實現實時動態采集;逐步拓展各類管理系統對各管理層級、業務領域、境內外的覆蓋范圍和應用深度,不斷提高企業管理效率和水平。
一般來說,數據交互工作包含5 大關鍵要素:組織結構、崗位職責、數據交互標準、數據控制和使用、數據管理工具。根據信息化發展的現狀,結合數據交互的要求,集團現階段數據交互方面仍存在以下的不足:
1)數據多頭管理:缺少專門對數據進行管理、監督和控制的組織。信息系統的建設和管理職能分散在各個業務部門,數據管理的職責分散,權責不明確。組織機構各部門關注數據的角度不同,缺少一個組織從全局的視角對數據進行管理,導致無法建立統一的數據管理規程、標準等,相應的數據管理監督措施無法得到落實。組織機構的數據考核體系也尚未建立,無法保障數據管理標準和規程的有效執行。
2)多系統獨立建設:沒有規范統一的數據標準和數據模型。各業務部門為應對迅速變化的市場和管理需求,逐步建立了各自的信息系統,各部門站在各自的立場生產、使用和管理數據,數據分散在不同的部門和信息系統中,缺乏統一的數據規劃、可信的數據來源和數據標準,導致數據不規范、不一致、冗余、無法共享等問題出現,組織機構各部門對數據的理解難以應用一致的語言來描述,導致理解不一致。
3)尚未完成統一的主數據管理:核心系統間的主要信息并不是存儲在一個獨立的系統中,或者不是通過統一的業務管理流程在系統間維護。缺乏對主數據的管理,就無法保障主數據在整個業務范圍內保持一致、完整和可控,導致業務數據的正確性無法得到保障。
4)缺乏統一的集團型數據質量管理流程體系:當前現狀是數據質量管理主要由各組織部門分頭進行;跨部門的數據質量溝通機制不完善;缺乏清晰的跨部門的數據質量管控規范與標準,數據分析隨機性強,存在業務需求不清晰的現象,影響數據質量;數據的自動采集尚未全面實行,處理過程存在人為干預問題,很多部門存在數據質量管理人員不足、知識與經驗不夠、監管方式不全面等問題;缺乏完善的數據質量管控流程和系統支撐能力。
5)數據全生命周期管理不完善:目前集團數據的產生、使用、維護、備份到銷毀的生命周期管理還不完善,不能確定過期和無效數據的識別條件,并且非結構化數據未納入數據生命周期的管理范疇;對于數據的全生命周期狀態的管理無信息化工具支撐。
平臺建設目標是滿足工程項目管理系統的應用需要,各個異構信息系統通過ETL 工具向平臺提交標準化格式數據,實現工程項目管理系統的統計分析與應用。
本文研究建設的數據共享交互平臺是一款基于B/S 架構的、高性能的、簡單易用的、支撐跨部門數據共享交互應用的多部門服務和管理平臺,支持結構化數據、半結構化和非結構化數據的接入、傳輸交互、整合,具有可擴展性和支撐各種共享交互業務模式的能力,能快速有效地滿足項目的核心業務需求,并在最短時間內上線運行而產生社會和經濟效益。
平臺的建設目標及創新主要體現在以下幾個方面:
1)高效。底層采用最新的分布式服務容器先進技術及流處理技術,有效提高交互效率;實現任意部門節點間應用系統和數據的即時聯通,支持數據端到端實時(秒級)可達和可視化監控管理。
2)安全。支持安全的數據交互、可靠傳輸;實現跨網絡節點之間的多層次安全數據交互機制,保障數據訪問安全。
3)簡單易用。面向參與數據交互共享業務的平臺中心和各業務部門,提供直觀易用、B/S圖形化的用戶設計、任務配置和運行監控管理界面,通過頁面“點擊式”的數據源連接和交互任務配置,支持部門應用系統快速地接入平臺和實現接入數據的有效管理。
4)滿足多方管理需求。支持多種跨部門的共享交互應用服務模式;為交互各方提供接入、運行、運維等各個階段的管理工作平臺,滿足數據交互各方的交互業務和運行監控的管理需求。
在課題研究過程中,首先研究ETL 工具等最近技術,根據研究結果,選取合適的技術路線并進行開發測試。同時,結合工程項目存儲與更新特點,在工程項目指標與工程項目數據成果基礎上,構建工程項目數據自動化采集應用框架,框架包括自動化采集所需的方法、技術路線、應用工具和必要的應用試驗。在數據交互工具研究過程中,主要對開源的ETL 工具進行了研究。
ETL 是數據交互管理中非常重要的一環,是承前啟后的必要的一步。ETL 過程中的主要環節就是數據抽取、數據轉換和加工、數據裝載。為了實現這些功能,各個ETL 工具一般會進行一些功能上的擴充,例如工作流、調度引擎、規則引擎、腳本支持、統計信息等。目前主流ETL 工具有Informatica、Datastage、ODI,OWB、Beeload、Kettle、久其ETL 等。這些產品主要特點:均適用于將多個應用系統的大批量的、異構的數據進行整合,有強大的數據轉換功能;高效適配多種類型的異構數據庫、文件和應用系統; 快速構建復雜數據集中應用、無需編碼。
在研究過程中,對以下兩種ETL 工具進行了研究與對比。
1)簡介
Kettle 以元數據驅動的方式提供強大的抽取、轉換和加載能力,本身提供了強大的圖形界面設計器,可以大大縮短數據抽取項目的開發周期,并且容易維護,Kettle 設計界面友好,提供了工作設計模式,能滿足各種場景的實現。
2)特點
Kettle 是一款國外開源的ETL 工具,純java 編寫,可以在Window、Linux、Unix 上運行,綠色無需安裝,數據抽取高效穩定。
Kettle 這個ETL 工具集,它允許你管理來自不同數據庫的數據,通過提供一個圖形化的用戶環境來描述你想做什么,而不是你想怎么做。
Kettle 中有兩種腳本文件,Transformation和Job,Transformation 完成針對數據的基礎轉換,Job 則完成整個工作流的控制。
3)總體架構
總體架構分為數據源層、核心層和UI 層。
操作系統:Windows; 數據庫:db2; 開發語言:java。
5)優缺點
優點為支持多種數據源; 核心組件豐富;支持多任務并發,支持大數據的抽取轉換處理,執行效率高; 成熟的異常處理流程; 可與java很好地結合。
缺點為Kettle 在異構數據庫的處理能力比同構數據庫的處理能力較慢,特別是跨服務之間就更慢了。
1)簡介
Informatica PowerCenter 使用戶能夠方便地從異構的已有系統和數據源中抽取數據,用來建立、部署、管理企業的數據倉庫,從而幫助企業做出快速、正確的決策。此產品為滿足企業級要求而設計,可以提供企業部門的數據和電子商務數據源之間的集成,如XML、網站日志、關系型數據、主機和遺留系統等數據源。此平臺性能可以滿足企業分析最嚴格的要求。
2)特點
① 功能強大的數據整合引擎
大伙兒都同意交物業費,就是阿強不同意。阿強覺得自己家安上了高檔防盜門,不要說小偷,就是一只蒼蠅也難以飛進。由于他不肯出錢,請物業公司的事只得擱淺。
Informatica PowerCenter 擁有一個功能強大的數據整合引擎,所有的數據抽取轉換、整合、裝載的功能都是在內存中執行的,不需要開發者手工編寫這些過程的代碼。Informatica PowerCenter 數據整合引擎是元數據驅動的,通過知識庫和引擎的配對管理,可以保證數據整合過程能夠最優化執行,并且使數據倉庫管理員比較容易對系統進行分析管理,從而適應日益增加的數據裝載和用戶群。
② 積極的元數據管理
Informatica PowerCenter 充分利用元數據來驅動數據整合過程。它提供了一個單一的元數據驅動的知識庫,和數據整合引擎協同運作,并且可使關鍵的整合過程能被簡單定義、修改、重用,從而提高開發生產力并縮短部署周期。活動元數據合并嚴格的文件,提供維護體系,允許沖突性分析,可以廣泛跟其他企業應用程序以及系統整合。
③ 支持多數據源
通過輔助產品Informatica PowerConnect,Informatica PowerCenter 提供了對特殊數據源和格式的支持,包括SAP、Siebel、PeopleSoft、AS400 等。對于e-business 格式的數據,可以直接通過分析DTD 或XML 格式數據文件來實現。
④ 高性能的運行功能
將設計和運行環境的性能特性分離,提供了較好的靈活性,不需要重新編碼,吞吐量可以通過服務器、并行引擎管理、最優化CPU 資源等方式,盡快處理任務。數據高效并行功能使用戶具有自定義分區功能,提供了最優化的數據并行處理。Informatica PowerCenter 提供了一個非編碼的圖形化設計工具方便用戶的調試使用。
⑤ 分布式體系結構
作為企業級核心數據整合引擎,Informatica PowerCenter 可以單獨部署,也可以在分布式體系結構中部署。如果在分布式體系結構中部署,Informatica PowerCenter 要協調和管理多個基于主題的數據集市,而這些數據集市是在局域網或廣域網內由Informatica PowerMart 或Informatica PowerCenter 引擎執行的。
⑥ 安全的數據整合
PowerCenter for Remote Data 是Informatica PowerCenter 一個分布式數據整合選項,提供了高性能、安全的、投資回報率高的方法,使用戶可以跨廣域網與合作伙伴、供應商以及其他遠程數據源交換信息。
3)總體架構圖
Informatica PowerCenter 總體架構圖如圖1所示。

圖 1 Informatica PowerCenter總體框架圖
4)應用環境
數據庫:oracle; 操作系統:Linux。
5)優缺點
優點:在正確的時間提供正確的信息,滿足業務部門的分析和運營數據集成需求,滿足在全企業范圍實現任務關鍵型部署的安全性和可擴展性要求,通過提高跨團隊的工作效率和跨職能合作,降低IT 項目的開發和部署成本。
缺點:改動比較費時,特別是批量式的修改。
1)操作:Informatica 有四個開發管理組件,相對繁瑣。 如果對Job 作了改變之后,想要撤銷,返回到改變前是不可能的。相比Kettle 在測試調試的時候不太方便。
2)部署:Kettle 只需要JVM 環境,Informatica需要服務器和客戶端安裝。
3)數據處理的速度:大數據量下Informatica的處理速度是比較快的,比較穩定; Kettle 的處理速度相比之下稍慢。
4)服務:Informatica 有很好的商業化的技術支持,而Kettle 則沒有。商業軟件的售后服務上會比免費的開源軟件好很多。
5)風險: Informatica 屬于商業軟件,而Kettle 是開源軟件,所以風險是與成本成反比。
6)擴展:Kettle 的擴展性好,因為是開源代碼,可以自己開發拓展它的功能,而Informatica 由于是商業軟件,基本上沒有。
7)Job 的監控:兩者都有監控和日志工具。
8)網上的技術文檔:相對來說,Informatica在遇到問題去網上找到解決方法的概率比較低,Kettle 則比較多。
本次設計主要是基于Web、流處理技術和微服務容器技術的數據交換軟件。提供元數據目錄、異構數據庫復制、實時同步、交換整合、ELT/ETL 及跨網絡遠程通道傳輸服務等集成一體化的功能,可用于數據復制、數據同步、數據備份/恢復、數據遷移、數據歸檔卸載、ELT/ETL、數據匯聚整合、讀寫分離、數據分發、數據服務、大數據集成(MPP、Hadoop、Kafka)等應用場景,滿足各種應用場景的統一使用和監控管理需求。
對比發現Kettle 優勢在于可擴展性,可以很好地對它進行二次開發,而且不涉及商業化產品,避免后期使用過程中被供應商“卡脖子”的問題。集團選擇開源的ETL 工具。Kettle 具有基于Java 的圖形化界面,支持拖拽等方式的可視化設計,能方便使用者便捷地對從業務系統抽取到的數據進行傳輸、清洗和加載等。同時,ETL 屏蔽了應用系統中較為復雜的業務邏輯,為基于數據倉庫的分析和應用提供了統一的數據接口。利用數據共享與交換平臺,ETL 在不同的業務系統之間搭建了一座橋梁,實現數據、業務的互聯互通。
平臺的工作流程設計如圖2 所示。

圖 2 平臺工作流程設計圖
從圖2 可以看出搭建的集團一級平臺可以直接連接中心管理的應用系統,以及無縫銜接搭建的下級企業(二級)平臺(通過遠程數據通道服務方式),最終構成企業集團數據共享交互平臺從集團到下級企業的分層級的共享交互體系。
1)交互數據管理
平臺各節點均提供交互數據源的元數據釆集和梳理標注等功能,形成本地數據目錄。支持查詢、查看實例數據、進行數據分析、標注中文語義等元數據操作,為數據整合交互提供必要的樣例分析服務,并實現對交互數據結構的管理和定義。
2)數據通道服務管理
平臺具有遠程數據通道服務管理模塊(通道服務器),支持通道主題連接用戶的管理、通道主題配置、安全管理設置、數據授權等服務內容,以及數據通道的運行監控。其中,通道用戶管理支持通道主題連接用戶的創建、管理和刪除,通道配置實現通道服務類型和通道消息處理方式的配置、連接用戶的數據權限和交互數據結構標準的選用。
3)數據源連接管理
平臺允許用戶管理數據源連接驅動包,支持動態加載不同版本的JDBC 驅動及參數配置,以適應集成環境中同時具有不同版本的數據庫以及分布式數據庫和MPP 數據倉庫[1]。支持對各種異構的關系型數據庫、 二進制文件、Excel、CSV、TXT、JSON、XML 等數據文件以及Hadoop、Hive、HBase、Kafka、MongoDB、ElasticSearch 等大數據平臺多類型數據源的連接。
4)資料管理模塊任務管理
平臺實現復制同步任務管理、交互整合任務管理、文件傳輸任務管理、數據文件入庫任務管理以及任務調度管理,支持實時和定時的數據同步交互。
復制同步任務應包括全量和日志模式增量CDC 任務,支持Oracle、SQL Server、MySQL、PostgreSQL、Informix 等,支持按應用系統處理事務的時間次序交互數據,保證業務數據的完整性和一致性[2]。交互整合任務,支持觸發器、標識位、時間戳、全量比對等增量模式,以及對物理表和視圖的交互、多表整合。文件傳輸任務實現指定系統目錄下及FTP、HDFS 文件服務器下文件的高效流傳輸交互。任務調度管理能夠設置任務定時,并按設置的時間周期智能啟動任務的執行。
復制同步任務和交互整合任務中提供兩個重要的數據處理功能,即過濾和轉換。過濾功能針對源數據庫中的庫表字段的值設定過濾條件,平臺采用了先進的流式過濾技術,能夠大大提升過濾的處理效率。圖形化數據轉換功能,允許用戶自定義源與目標之間的數據轉換關系,并自動進行轉換處理[3],如包括重新命名目標Schema、目標表及字段、增刪字段、改變數據類型和長度等;在源和目標為異構數據庫時,缺省情況下,平臺提供智能匹配技術,自動進行異構數據庫類型的轉換處理。支持DDL 復制和動態表數據的同步復制功能。
5)數據通道服務管理傳輸服務管理
平臺支持數據壓縮、WAN 多線程傳輸加速,實現跨網段的高速實時數據交互[4]。支持遠程安全通道服務功能,有效分離源和目標數據庫權限,實現跨網絡節點之間的安全數據交互,能夠與第三方數據通道如Kafka、MQ 服務對接。支持數據加/解密和數據遠程傳輸的可靠性,支持斷點續傳和“傳且傳一次”的特性[5]。
6)實時監控和統計分析
平臺實現接入節點數據源和全網的實時運行監控、運營統計分析、報警通知和成果展現。實時運行監控支持對主機、交互任務、通道主題的運行監控以及對交互數據流轉的跟蹤[6]。運維分析支持對設定時間段的任務運行情況、交互業務運行情況等提供多視角、多維度的統計分析,并以圖表方式展現,作為科學分析交互應用及相關決策的有效輔助手段。報警通知實現對運行異常情況進行報警,對運行狀況定時告知。成果展現面向領導提供交互數據動態展示、交互任務和業務運行展示以及交互業績展示功能[7]。
7)平臺管理
平臺還設計包括平臺用戶管理、用戶授權管理、機構管理、日志管理、參數配置等功能。其中,日志管理支持從不同角度提供相應的日志記錄功能,從而可方便快捷地跟蹤查詢平臺運行情況,包括登錄日志、操作日志、任務日志等。參數配置支持平臺運行、軟件配置、數據字典等各類參數的設置。
平臺提供兩種數據交換的技術實現方式,一是數據庫對數據庫的配置方式,適用于對交互的源和目標數據庫有訪問權限的場景,通常一個部門內部的應用系統之間的交換采用這種方式。二是數據通道服務方式,通過數據通道有效解耦交換的源和目標數據的訪問權限,適用于對交互對方的數據庫無直接訪問權限的場景,通常跨部門(域)之間的數據交換采用這種方式。
平臺采用最新的基于Web、流處理和微服務的架構技術。整體架構由三個域組成:數據源、中心服務及交互目標。用戶通過簡單易用的Web 設計界面和控制臺與中心服務后臺交互。核心功能包括:數據源連接、元數據目錄、數據樣例查看、復制同步、交互整合、文件傳輸交互、結構化文件加載、Kafka 對接、任務管理、任務調度等功能模塊。技術特點包括:異構數據庫全量復制同步、非侵入式增量CDC 同步、數據虛擬化及大數據整合、多線程并行流式處理、優化的可擴展性和靈活性,以及方便易用的基于Web B/S 的任務配置和實時監控管理界面[8]。
從功能上,平臺分為數據源連接管理模塊、元數據管理模塊、交換任務管理模塊、數據服務管理模塊、監控統計模塊和平臺系統管理模塊等幾大部分。
采用上述方法建設的數據交互平臺已經成功使用在工程項目管理PRP 系統、GRP 系統中。完成對工程類項目的項目立項、項目基本信息、計劃經營、協同經營、合同管理、預算管理、采購管理、設計與技術、進度管理、安全管理、質量管理、環保管理、稅務管理、資源管理、風險管理等19 大模塊進行統一標準的共享平臺建設。并與計劃統計系統、3 家單位對接了原本獨立的工程類項目信息數據總計30 余萬條。
以下為工程項目管理系統中數據交互流程:
1)數據庫連接配置
該功能顯示平臺中所有關系型數據庫及其它類型的連接信息,用戶可以對連接信息進行新建、編輯、刪除等操作。
2)二進制文件連接配置
該功能顯示平臺中所有二進制文件存儲的服務器連接信息,用戶可以對連接信息進行新建、編輯、刪除等操作。
3)數據同步任務配置
任務類型包括全量交換、增量捕獲CDC 兩部分。全量是對源庫表到目標庫表所有表數據的交換,等同一對一的復制。增量CDC 則是基于非侵入式的方式,通過對源數據庫的日志數據的捕獲、分析,當發現源表數據發生變動時,對目標庫表進行實時同步更新操作。對于在線運行中的應用系統,在全量交換過程中可能持續有新的數據進入, 為了保證源和目標的數據一致性,則應選擇全量+增量并行的任務方式。該方式任務啟動時,增量同時啟動開始捕獲數據, 但此時并不加載于目標,而是等全量交換完成后再將增量數據加載,從而確保了源和目標數據的一致性。
4)數據過濾
數據過濾可實現按指定條件對源數據進行過濾,未滿足條件的數據不予以交換。
5)任務運行
完成上述任務配置后,在對應任務中“設計”頁面點擊運行即可啟動該任務。同時也可以進入“任務管理”對應模塊中,如“復制同步模塊”、“交換整合模塊”等 ,批量啟動編輯完成的任務。
6)任務監控
任務監控是在任務運行后自動實時展示的功能,可以查看到每條任務的執行狀態,數據傳輸的具體條目,出現異常的任務或數據可以通過點擊異常任務進行詳情查看。并通過異常任務的日志提供修改思路,以及數據回補功能。
7)任務調度
交換任務的運行有兩種啟動方式,一是前述的通過用戶點擊“運行”按鈕啟動,第二則是通過任務調度功能設置交換任務自動啟動的規則,如時間、頻率等,任務將在滿足規則時自動啟動。
數據交互平臺在數據對接中優勢體現在以下幾個方面:
1)平臺采用國內首創基于Web、內存流處理和服務容器的技術架構,靈活性、可擴展性強,交互性能高。
2)直觀易用的B/S 用戶界面是區別于其他同類產品的重要特色,而且還屏蔽了數據交互復雜的操作過程,無需高級DBA 或技術人員提供咨詢或編寫不透明的定制腳本代碼,通過“點擊式”界面操作,就可實現數據交互復制/整合的應用場景,簡單易用、可維護性是產品的顯著特點。
3)支持連接用戶名/密碼、數據授權、數據加/解密、數據壓縮,以及節點IP 過濾等全方位的數據交互安全功能,并提供可視化監控管理。
在信息化建設過程中,各職能部門通常采用不同的技術和體系結構來構建自身的信息系統,雖然為各自業務發展起到了很好的促進作用,但各信息系統數據獨立存儲形成一個個信息孤島,使得各業務系統之間很難實現數據共享。如何在不改變原有系統的基礎上實現跨平臺數據訪問也成為信息化建設道路上必須思考的一個問題。
集團于2021 年進行了數據交互平臺的建設。該平臺是整個數字化央企建設的重要組成部分,利用此平臺對集團分布的數據進行集成化整合,同時將原來分散、利用率低的信息資源進行數據挖掘。通過數據交換平臺的建立可以打破當前的“信息孤島”現象,建立不同業務系統的數據共享平臺,形成集團綜合信息庫。同時,通過統一的數據交換平臺實現各業務系統之間數據交換的單一安全通道,在實現信息共享的基礎上也確保了各自數據信息的安全。