新一代煉化智能工廠整體數據架構規劃與綜合數據庫研發

王華　張春生

摘? 要：高質量的數據是智能煉化工廠建設的基礎，為保證數據質量和集成共享，全面梳理某新建煉化企業數據源、數據類型和流轉關系，在數據治理和數據管理需求分析的基礎上，規劃了包括資源層、管理層、應用層和數據安全的企業整體數據架構，設計了面向業務的數據模型和面向物理對象的主數據，利用新一代信息技術，開發了融數據治理與數據管理于一體的綜合數據庫系統，為智能工廠構建統一的數據管理平臺和共享中心。

關鍵詞：煉化智能工廠；數據架構；主數據；數據模型；綜合數據庫

中圖分類號：TP311.5? 文獻標識碼：A? 文章編號：2096-4706（2023）12-0096-05

Research and Development of Overall Data Architecture Planning and Integrated Database of the New Generation Refining and Chemical Intelligent Factory

WANG Hua， ZHANG Chunsheng

（Kunlun Digital Technology Co.， Ltd.， Beijing? 102206， China）

Abstract： High-quality data is the basis of intelligent refining and chemical factory construction， in order to ensure the data quality and integration and sharing， comprehensively sort out the data source， data type and circulation relationship of a new refining and chemical enterprise， on the basis of data governance and data management requirements analysis， the overall data architecture of the enterprise including resource layer， management layer， application layer and data security are planned， and the business-oriented data model and physical object-oriented master data are designed. A comprehensive database system integrating data governance and data management is developed by using a new generation of information technology to build a unified data management platform and sharing center for intelligent factories.

Keywords： refining and chemical intelligent factory; data architecture; master data; data model; integrated database

0? 引? 言

第四次工業革命的標志是智能化，智能制造是未來的發展方向，高質量的數據是智能煉化工廠建設的基礎和高效運營的保證。煉化企業數據源復雜、數據類型多、產生速度快、數據量大。傳統煉化企業由于各信息系統建設時間不同、產品技術不同，實現數據一致和共享十分困難。在南方沿海某特大型煉化一體化企業工程建設過程中，同步規劃建設智能工廠，實現數字工廠與物理工廠同步設計、同步建設、同步投用。在智能工廠設計過程中，通過深入研究分析大數據、數據中臺、工業互聯網等技術，參考數據治理方法論，按照煉化企業業務特點和數據特點規劃了整體數據架構，創新提出了企業綜合數據庫概念，建設融數據治理與數據管理于一體的技術平臺，解決數據標準化、數據模型統一、主數據管理、跨系統數據共享等問題，從源頭上消除信息孤島。目前，綜合數據庫系統已在該企業試運行，實現數據的流暢流轉和跨系統共享應用，有效發揮數據價值。

1? 數據分析與整體架構規劃

1.1? 煉化企業數據源分析

煉化企業數據源產生方式復雜多樣，主要數據包括但不限于：1）機泵等動設備運行過程中的轉速、振動、溫度等機器數據；2）裝置生產過程的溫度、壓力、流量等DCS采集數據；3）儲罐中物料的液位、溫度等數據；4）固體化工品、物資等進出庫、庫存等數據；5）各種公用工程如蒸汽、氫氣、水的流量、溫度、壓力等數據；6）電力系統的輸入輸出電量、各裝置設備用電量等數據；7）原油進廠計量數據，產品出廠發運計量數據；8）原油、成品油、中間物料等分析化驗數據，化工品分析化驗數據；9）裝置DCS、SIS等報警預警數據，火災、有毒有害氣體、排出口等傳感器數據；10）工業視頻采集的圖像數據；11）工廠設計、建設、檢維修等形成的模型、屬性、文檔等數據；12）MES、ERP等信息系統應用操作生成的生產、業務數據；13）辦公系統生成各種公文、文檔等數據；14）企業生產經營管理生成的各種統計分析數據、指標數據；15）企業采集的各種客戶、供應商、價格、需求等外部數據；16）信息管理形成的主數據，系統應用過程生成的日志等數據。

由于煉化企業數據來源多樣，結構復雜，設計工廠數據架構時首先要梳理數據來源和在各業務中的分布、明確數據流轉關系，分類進行處理、存儲和應用。一般按照數據的某種屬性度對數據進行分類，常用的分類方法有：1）按照數據結構，分為結構化數據（如生產數據、產品數據）、半結構化數據（如門戶網頁、系統日志）、非結構化數據（如視頻、圖片）；2）按照數據記錄方式，分為時序數據（如自控系統采生成的溫度、壓力、流量等數據）、非時序數據（如財務數據、質量數據、客戶數據）。由于數據的多樣性和復雜性，煉化數據的分類一般是多種方式的組合，數據分類后分布存儲在相應的數據庫中。

1.2? 數據管理與治理需求

數據管理是對數據進行有效的收集、存儲、處理和應用的過程。數據標準化和數據質量控制是有效地發揮數據的作用的基礎，因此對于一個新建煉化企業來說，需要在物理工廠規劃時同步規劃數字工廠，從源頭對數據資產進行管理和控制。利用數據治理理念和方法，建立一套包括組織、制度、標準、流程、工具在內的數據治理體系，解決標準不統一、口徑不一致、共享難度大等問題，形成企業級數據資產，提升數據價值。數據治理涉及企業各個層面，是技術與管理相結合、貫穿于數據管理整個過程的系統工程，一般自上而下發起并推行。主要需求包括以下幾個方面：

1）組織方面，建立企業級數據治理委員會，企業主要領導牽頭掛帥，業務部門和IT部門共同參與，對數據治理體系進行統籌管理、協調溝通，建立企業數據戰略、制度和流程，對數據治理工作進行自上而下的管控與落實。

2）制度方面，制定企業數據治理管理辦法，作為數據治理總體的綱領性指引，并制定數據資源目錄管理、數據模型管理、數據標準管理、數據質量管理等數據治理活動的分項實施細則，對實際治理工作進行指導、管控和落實。

3）流程方面，數據治理實際工作需要依托有效的數據治理流程，建立數據模型管理、數據標準管理、主數據管理等各項治理工作的規范流程，將數據治理與業務、管理流程相融合、落實數據治理各項要求，促進數據治理工作的高效運作。

4）平臺方面，數據質量、數據安全、數據標準、數據模型等均需要相應的支撐工具，進行數據治理工作的固化與落地；建立統一的數據標準和數據資產管理的技術平臺，支撐數據集成、數據服務、數據治理和運行監控。依托平臺進行主數據分類和標準化管理、發布、使用和變更。

1.3? 整體數據架構規劃

本著數據管理與數據治理并重的理念，站在煉化企業全局視角梳理數據源、數據流轉和數據應用關系，以提高數據質量和發揮數據價值為目標，以數據治理體系為基礎，以技術平臺為依托，以數據安全為保證，規劃企業整體數據架構，整合數據資源，統一數據標準，加強數據集成共享，從源頭上解決信息孤島。

整體數據架構由資源層、管理層、應用層和數據安全四部分組成（如圖1所示）。采用云平臺、微服務、大數據、數據倉庫等先進技術構建融數據管理與數據治理于一體的技術平臺，統一進行數據資源管理，并將數據標準、管理制度、管理流程、主數據、元數據等數據治理體系內容落實在平臺上。

1）資源層，建設全廠統一的數據庫管理系統，包括關系數據庫、NoSQL數據庫、實時數據庫、視頻數據庫、大數據平臺等，煉化企業IT層所有數據分類存儲在各數據庫系統中。系統物理層資源由企業級云平臺資源池（IaaS和PaaS）統一提供，可彈性擴展。

2）管理層，包括數據治理、數據共享中心、數據服務及與大數據平臺相應的算法模型等模塊。數據治理包括主數據管理、元數據管理、數據質量管理、標準文檔管理等功能。共享服務中心主要存儲主數據、跨系統共享的業務數據、指標數據，這些數據供各系統共享使用。數據服務包括數據目錄、數據地圖、數據共享管理、數據接口服務等功能，為用戶查詢數據、使用數據提供服務。算法模型為應用大數據求解給定的問題提供數學模型和計算過程，如常用的線性回歸、聚類、神經網絡等算法，通過大數據關聯分析實現數據智能。

3）應用層，通過對數據的分析應用，支持各系統或各業務部門生成所需報表、分析報告、預測結果、優化方案等，并可將各種數據和指標與工廠三維模型關聯，形成虛實映射的數字孿生。

4）數據安全，通過技術和管理策略、措施建立數據安全保護體系，保護數據不遭到破壞、更改和泄露，保證數據的可用性、完整性和保密性。

在新建煉化工廠建設期，重點是梳理各IT系統數據共享需求，及IT系統與OT系統間數據集成需求，提高數據自動采集水平和共享水平，解決數據孤島問題。因此，在該大型煉化一體化工廠首先開發實施企業綜合數據庫系統（見圖1中虛框部分），待工廠營運期后再建設大數據平臺，實現數據關聯分析和智能應用。

2? 企業綜合數據庫設計

2.1? 功能設計

煉化企業綜合數據庫建設目標是構建煉化智能工廠的數據底座，存儲各類生產數據和業務數據，集成所需的控制系統數據，支撐業務流程橫向融通、縱向貫通；形成煉廠數據標準化治理平臺，承載主數據、元數據、數據質量管理等，支撐跨業務、跨部門的數據應用。企業綜合數據庫包括數據集成、數據存儲、數據服務、數據標準化管理及系統管理等功能模塊（如圖2所示）。

2.1.1? 數據治理功能

主數據管理提供主數據查詢、分類管理、模型管理、編碼規則管理、主數據維護以及主數據申請、校驗、審批、分發、歸檔等線上管控功能，實現智能煉廠統一數據編碼和基礎數據服務。數據質量管理模塊提供質量規則、質量報告、規則模板配置功能，提供基于空值、重復值、值域、正則表達式、主數據編碼等檢查規則的質量檢查模板和質量報告，幫助企業開展數據治理，提升數據質量。標準文檔管理提供文檔目錄配置及廣東石化標準文檔的上傳、下載、維護功能。元數據管理對數據生命周期中的業務語義、技術定義、處理規則等關鍵數據進行管理，為數據血緣追溯、關聯分析等應用提供基礎。

2.1.2? 數據集成管理功能

包括數據采集、ETL管理、采集監控等子模塊。數據采集支持API和數據庫兩種接入方式，通過數據源、讀取方式、讀取頻率、錯誤隊列、請求參數、傳輸加密、讀取條件、目的庫等方面的配置，實現數據集成零代碼搭建。通過ETL管理、采集監控等功能實現數據集成可視化管理。

2.1.3? 數據服務功能

包括數據目錄管理、數據地圖、數據共享管理、接口服務等子模塊。其中數據地圖形成計劃、生產、儲運、能源、設備、安環、經營等數據域分布的共享數據導航圖，綜合展示各數據域表數量和記錄數量，并定位具體數據實體。數據目錄功能提供各業務域從進廠、倉儲、生產活動到出廠等環節的業務數據目錄，并提供各項數據血緣分析關聯圖。數據共享管理包括各域數據應用的申請、審批和授權管理，為各系統和數據用戶提供數據應用安全定制化服務。接口服務管理包括共享數據接口配置、注冊發布、接口申請與授權、接口監控等功能，為系統運維人員提供便捷的接口管理工具。

2.1.4? 數據共享中心

建立數據庫集群，對智能煉廠主數據和業務數據進行存儲管理。其中主數據部分納管裝置、物料、側線、儲罐、設備、人員、組織等智能煉廠基礎信息。業務數據部分包含各業務域計劃、執行、統計、考核等方面的數據，以及生產過程重點實時監測數據，形成智能煉廠高價值數據資產。

2.1.5? 系統管理功能

包括系統運營監控、運營分析、日志管理、權限管理、用戶管理、數據安全等子模塊。系統運營監控提供監控模板、監控配置、監控類別、報警推送記錄、監控記錄、接口監控看板、數據庫接口分析等功能項，提供監控模板、監控范圍配置功能，對主機、接口、數據庫等對象的運行狀態、故障原因等進行跟蹤、記錄和展示。

2.2? 數據模型設計

在全面梳理該煉化企業數據源、數據分布、數據流轉關系、共享應用及管理需求的基礎上，參考ISA95和工業4.0工廠模型中及數據屬性定義，結合煉化企業生產過程和業務屬性，采用面向業務建模方法，設計企業綜合數據庫整體數據模型。數據模型涵蓋生產計劃、生產執行、生產績效的管控鏈主線，以及進廠、倉儲、生產、出廠的業務鏈主線。根據專業化管理要求，在生產執行管控環節增加儲運、設備、能源、安環等專業數據模型。設計裝置、設備、產品、物料、儲罐、料倉、組織等精確映射物理工廠對象的主數據模型，體數據模型如圖3所示。

數據建模的過程按照建模理論分為三步：1）在數據域劃分、整體模型確立之后，梳理各業務系統數據源頭和去向，明確系統間數據交互具體內容，定義共享數據結構，進行概念模型建模；2）在集成接口定義階段，進一步明確每一字段長度和格式，進行邏輯模型建模；3）在數據集成和共享接口開發階段，建立物理數據庫和數據表，通過接口同步數據入庫。最終形成裝置、儲罐、料倉等映射物理工廠的主數據模型，及計劃、生產、儲運、安環、設備等業務域下體現業務流、物料流、財務流的業務數據模型，建成符合生產工藝的物料層級樹、設備層級樹、物料移動關系及組織機構體系，支撐全廠數據資產規范化、可視化管理。

主數據是各應用系統數據標準化和共享的基礎數據，要求完全映射物理工廠中的實體，相關屬性為物理實體的靜態信息，具有通用性強、共享性高、變更頻度低等特點。煉化主數據包含裝置、設備、物料、側線、罐組、儲罐、公用工程設施、能源介質、裝車島、鶴位、碼頭、泊位、組織結構、人員、貨幣、計量單位、國家地區等20多個類型。主數據發布在綜合數據庫中供各系統使用。主數據按版本進行管理，新版本主數據發布時，企業綜合數據庫以消息待辦形式通知相關業務系統進行主數據同步，業務系統訪問綜合數據庫提供的共享接口進行接收處理。

3? 系統研發與實現

3.1? 技術方案

作為智能煉廠統一數據底座和共享中心，企業綜合數據庫要具有高可用、高并發、高性能及高魯棒性等特點，以滿足多應用系統同時訪問、實時調用及大批量取數等場景下的需求。同時，需要滿足上層分析展示需求變化頻繁，數據接口開發配置快速響應，系統運維簡單快捷的需求。因此企業綜合數據庫采用微服務架構，選擇Springboot開發框架，結合Mybatis、Kafka、Redis、RabbitMQ、ES、Activity、druid、log4j、Quartz等核心組件進行接口服務、消息服務、檢索服務、日志服務、任務編排服務等功能的開發。基于PaaS平臺的容器管理功能、微服務管理功能進行容器和微服務可視化配置、自動化監控，使用DevOps自動化流水線，實現一站式應用設計、開發、測試、集成、發布、部署和運維。

3.2? 研發過程

系統研發采用整體設計、迭代開發、分步實施的策略，以3個月為一個迭代周期，先后分為三個階段進行開發：

第一階段為基礎平臺搭建階段，包括PaaS、數據庫、緩存數據庫等集群的搭建，消息、日志、工作流等基礎類庫開發，以及權限管理、系統管理、主數據管理等基礎功能開發。

第二階段為核心功能開發階段，主要包括數據集成管理、數據服務管理、數據地圖、數據目錄、元數據管理等模塊。

第三階段為提升功能開發階段，主要包括運營監控、運營分析、數據質量管理、標準文檔管理、日志管理及待辦事項等平臺輔助功能模塊。

在實施階段，根據各數據域的接口現狀和需求迫切程度，分批次迭代開發各域數據微服務接口，滾動執行接口定義、數據集成配置、數據共享配置、接口調試等步驟，及時滿足各業務系統數據應用需求。

研發完畢的系統界面如圖4、圖5所示。

4? 結? 論

煉化行業數字化、網絡化、智能化發展如火如荼，數據驅動已成為生產運營的新模式及數字化轉型的主要目標。隨著新一代信息技術的應用，改變了傳統的IT架構和開發、部署方式，利用新技術搭建新型平臺、新IT架構已成為趨勢，這種趨勢在新建煉化企業已成為主流。在某大型煉化一體化工程智能工廠項目中，通過規劃設計和研發取得以下成果：1）梳理數據分布和數據流轉關系，編制了包括主數據、數據庫、集成接口等在內的企業數據標準體系，用以個規范各類數據標準化和一致性。2）本著數據管理與數據治理并重的理念，站在煉化企業全局視角規劃了整體數據架構，指導信息系統數據管理和應用。3）利用云計算、微服務、數據治理等技術構建融數據管理和數據治理于一體的綜合數據庫系統，創新數據共享方式，從源頭解決了數據孤島問題。

參考文獻：

[1] 安筱鵬.重構數字化轉型的邏輯 [M].北京：電子工業出版社，2019.

[2] 戴厚良.以數字化轉型驅動油氣產業高質量發展 [J].國企，2021（1）：36.

[3] 馬明，章劍波，胡聯偉.煉化工程行業數字化交付研究與應用 [J].石油化工自動化，2020，56（5）：49-53.

[4] 鄭煒.基于工業互聯網統一數據平臺架構實踐 [J].電子技術與軟件工程，2022（3）：215-218.

[5] 尹巧蕊.數據要素與數據治理—數權世界的雙核驅動 [J].學術交流，2022（2）：44-54.

[6] 任國琦，張賀捷.化工行業集團型企業主數據標準的設計和應用 [J].現代化工，2022，42（1）：21-24.

[7] 王建平.大數據管理平臺在煉化企業管理中的應用 [J].煉油與化工，2017，28（2）：62-64.

作者簡介：王華（1965—），男，漢族，河南漯河人，教授級高級工程師，碩士研究生，主要研究方向：石化企業信息化、數字化轉型及智能工廠；張春生（1982—），男，漢族，河北雄安人，高級工程師，博士研究生，研究方向：數據中臺、數據運營分析。