基于多數據庫融合的現場智能儀表管理系統

寧鵬

(中國石油化工股份有限公司 茂名分公司,廣東 茂名 525011)

隨著“中國制造2025”的全面推進,現場智能儀表在石油化工等工業領域的廣泛應用,管理好現場智能儀表是保障流程安全平穩運行的關鍵。目前,國內應用較為廣泛的設備管理系統主要有Emerson的AMS軟件[1]、浙江中控的SAMS軟件[2]及IDM軟件[3]等。現有的設備管理系統大多關注當前儀表狀態,未將儀表的數據充分利用起來,未能較好地滿足對儀表預測性維護的功能。為提升某石化公司當前現場儀表管理的效率,核心在于管理和利用好現場儀表的數據。本文對現場儀表管理系統的功能及數據特點進行梳理,采用多數據庫融合的方式設計現場智能儀表管理系統軟件。

1 現場智能儀表管理系統的功能及數據庫需求

1.1 系統功能及數據特點

一個可廣泛應用的現場智能儀表管理系統,應具備智能性、可靠性、準確性、經濟性及預測性的特點[4]。一方面,管理系統需準確提供設備基本信息,包括廠商、型號、所在裝置等,幫助用戶管理企業設備資產;另一方面,系統需實現與儀表的實時通信,提供設備運行狀態,幫助用戶掌握設備動態以減少現場巡檢成本。此外,通過對設備數據的綜合分析,系統需及時發現設備故障或對設備狀態進行預判,幫助用戶提前做好維護計劃,保障現場生產的安全性與高效性。基于上述要求,現場智能儀表管理系統主要功能包括設備組態管理、設備運維管理和設備事件管理,現場智能儀表管理系統功能架構如圖1所示。

圖1 現場智能儀表管理系統功能架構示意

1)設備組態管理。設備組態管理是對設備基本組態、報警配置、DD文件、參數配置等數據的管理。基本組態是設備的基本屬性,包括: 身份碼、廠商、類型、版本、物理地址、所屬裝置、位號等。該類數據的準確性是保障現場設備資產準確性的基礎,也是表征設備的重要標識,因此是不可缺失的。在現場智能儀表不發生替換的情況下,該類數據應是固定的。報警配置包括: 各類型儀表的報警名稱、報警等級、報警建議、報警過濾設置等。一般在智能儀表正式上線前會先配置各類儀表的報警,投入使用后可根據現場實際情況進行調整,該類數據變化較小,相對穩定。DD文件、參數配置是現場智能儀表管理的重要內容,通過對DD文件解析才可獲取智能儀表的基本參數信息,包括智能儀表的參數列表、獲取參數的命令等重要信息。因此,該類數據是設備組態管理的核心之一,且越完整系統功能越完善。同樣,該類數據相對較為固定,發生變化的機會較少。

2)設備運維管理。設備運維管理涉及的數據包括: 從儀表采集到的實時報警、實時參數、多變量等運行狀態數據和經過二次分析的KPI報表和狀態診斷、預測結果等數據。運行數據表征著設備的工作狀態,可通過該數據了解設備及整個現場回路的情形,因此是設備管理中的關鍵數據。當對某臺智能儀表監測時,需不斷更新儀表的實時參數,因此數據采集頻率較高,約3 s采集1個參數,部分運行數據,如溫度、壓力等變化較為頻繁,也有部分數據如單位等相對固定。KPI報表、故障診斷與預測分析結果等不僅需要基于設備的當前運行狀態,往往也需要大量設備的歷史運行數據,因此除實時數據外還需存儲其歷史數據。為支持可視化展示,還需統計實時數據,分別記錄每10 min,每1 h,每天等不同時段的平均值、偏差等統計數據。以一個1×103點的裝置為例估計設備運行數據量,每3 s采集1組數據,采集30 d則數據量達到8.64×105條,且每條數據帶有時間戳,數據量較為龐大。

3)設備事件管理。設備事件管理是對儀表操作情況的記錄,如報警的確認、消除,對參數的備份,對智能儀表的標定管理,智能儀表上下線等事件的記錄。記錄的內容包含: 時間、智能儀表基本信息、事件描述等。其中,報警事件、上下線發生略頻繁,按日或月為單位記;其他事件發生頻率相對較低,如標定與備份發生頻率是季度或年度。以一個1×103點的裝置為例估算設備事件數據量,平均每個點位每個月記錄3個事件,則30 d的數據量為3×103條。

1.2 系統對數據庫的應用需求

根據系統功能及所需數據特點,設備組態、設備事件多為非浮點型數據,數據內容較為穩定,數據量較小,數據插入和讀取操作頻率也相對較低,因此對數據庫存儲容量與操作性能需求整體較低,適宜采用傳統的關系型數據庫進行管理。設備運行狀態數據多為浮點型,具有時序特征,對于點數較多的裝置數據量會非常龐大。此外,還需基于數據分析智能儀表健康度,或將數據提供給上層儀控平臺或第三方系統。因此,現場智能儀表管理系統對運行數據的存儲和運行性能都提出了較高要求。

1)運行數據存儲容量需求。例如: 1個1×103點裝置1個月產生的運行數據至少約為1×106條,將這些數據分別寫入傳統關系型數據庫PostgreSQL與時序數據庫InfluxDB進行測試,觀察數據所在文件目錄占用硬盤大小。對于時序數據庫,寫入數據格式為1個timestamp字段,1個字符串字段作為tag,4個float字段作為field。為達到同樣測試條件,PostgreSQL中對tag字段和timestamp字段需建立索引。采用時序數據庫存儲數據時,對計算機空間的占用約為傳統關系型數據庫的3%,總體來說,時序數據庫對數據的壓縮率遠大于關系型數據庫。對于點數較小的裝置,采用如PostgreSQL的關系型數據庫,也能滿足存儲需求。但隨著現場裝置的不斷擴容與參數采集性能的增強,運行數據量將會呈指數型增加,此時關系型數據庫將難以支撐系統的數據存儲需求,且隨著數據量增大,其訪問成本、備份和恢復難度也會增加。為使系統更具可靠性和可擴展性,時序數據庫可更好地滿足數據存儲的需求。InfluxDB與PostgreSQL存儲性能比較: 時序數據庫InfluxDB的數據存儲容量需求為66 M,關系型數據庫PostgreSQL的數據存儲容量需求約為2G。

2)運行數據訪問性能需求。現場智能儀表管理系統需支持對現場儀表歷史運行狀態的回放,以每條數據3 s的頻率,查看1臺儀表過去1 d的參數變化趨勢,需一次性獲取2.88×104條數據。訪問的同時,數據庫也需統計和寫入實時數據。系統應支持一次性獲取上萬條甚至幾十萬條數據,且需保證并發讀寫的時效性,這對數據庫的快速訪問提出較高要求。關系型數據庫借助分區和索引提高訪問效率,但當數據庫容量較大時,訪問效率也會大幅降低。時序數據庫基于時序數據特點,對寫入、存儲、查詢等流程進行優化,具有高并發寫入、低查詢延時、高查詢并發的特點。相比之下,時序數據庫可更好達到數據訪問性能的要求。

2 多數據庫融合的現場智能儀表管理系統

2.1 數據庫技術及設計

2.1.1基于PostgreSQL管理業務數據

PostgreSQL是一個功能非常強大的、開源的對象-關系型數據庫管理系統(RDBMS),選用該系統管理智能儀表的基本屬性與業務數據。將智能儀表的基本屬性,包括設備唯一ID、物理地址、基本屬性存儲于同一張表中,其他表中的數據可用設備ID作為標簽,需要更多信息時可根據該ID去查詢。需要存儲的其他業務數據表有組態數據表、報警事件表、DD文件解析表、操作日志表、報警配置表、參數配置表、用戶管理表等。

2.1.2基于InfluxDB管理智能儀表運行時序數據

時序數據是按時間順序記錄的數據,在存儲于數據庫時具有以下特點: 數據量巨大;讀寫頻繁;幾乎不修改與單個刪除;數據具有冷熱性,即越新的數據越具有價值;不關注數據本身,更關注數據變化趨勢。現場智能儀表的運行數據,如多變量、關鍵參數等,均符合時序數據的特點。時序數據庫是為時序數據優化設計的數據庫,當前,主流的時序數據庫有InfluxDB,OpenTSDB,Promethus等。InfluxDB是由InfluxData公司開發的開源時序數據庫,被廣泛應用于存儲系統的監控數據,IoT行業的實時數據等場景。張世賢等[5]基于InfluxDB搭建監控設備通用運維管理平臺;王博遠等[6]基于InfluxDB搭建長輸供熱系統的監控平臺;劉金[7]利用InfluxDB存儲與分析大規模集群狀態數據。在最新的DB-ENGINES給出的時序數據庫排名中,InfluxDB高居第一,該管理系統選用InfluxDB作為管理運行數據的數據庫。

以多變量數據為例介紹基于InfluxDB管理智能儀表運行數據。InfluxDB中的表稱為Measurement,以tag為標簽,其中timestamp為默認標簽,field為數據值。對智能儀表多變量數據表的設計見表1所列,時間戳和儀表ID為標簽,4個多變量為數據值存儲。InfluxDB可對數據庫設計不同存儲策略和連續查詢,自動清除過期數據,提高數據庫利用率,多變量存儲策略和連續查詢設計見表2所列。

表1 智能儀表多變量數據

表2 智能儀表多變量數據連續查詢策略和存儲策略

2.1.3基于Redis建立智能儀表實例模型

Redis是一種開源的、高性能的基于鍵值的緩存與存儲系統,可提供5種數據類型來適應不同場景下的緩存與存儲要求。查看智能儀表當前參數與狀態是管理系統的重要功能之一,因此管理好智能儀表實時數據是保障系統性能的重要內容之一。本文選用Redis作為智能儀表實時數據的緩存數據庫,采用hash數據結構來存儲智能儀表數據,建立起智能儀表的實例模型。設備實例模型存儲結構見表3所列,以設備ID為整個表的唯一標識,找到對應的智能儀表實例,根據業務需求將數據內容分為實時參數、多變量、OPC參數和報警數據,根據每類數據的名稱找到對應的業務數據。

表3 設備實例模型存儲結構(hash)

2.2 基于多數據庫融合的現場智能儀表管理系統

根據對該石化公司現場智能儀表管理系統數據特征及數據庫應用需求分析,設計了以PostgreSQL,InfluxDB,Redis多數據庫融合為基礎的現場智能儀表管理系統,其整體架構如圖2所示。驅動集群與DCS控制器通信,采集現場智能儀表的數據并推送給數據管理服務。數據管理服務對驅動返回的數據包進行解析、分類、整合,并將數據存儲于對應的數據庫。在InfluxDB中存儲了智能儀表運行的時序數據,PostgreSQL中存儲了智能儀表的組態數據與事件數據,在Redis中以智能儀表為對象存儲了智能儀表參數當前的最新值。根據功能設計各應用服務,如資產管理服務、診斷服務、在線參數服務、報警服務等。各應用服務可根據自身業務需求從對應的數據庫中獲取或寫入數據,如資產管理服務可從PostgreSQL中獲取智能儀表組態信息;在線參數服務可從Redis中讀取智能儀表當前的參數值;診斷服務可從InfluxDB中讀取智能儀表多變量的時序數據。應用服務可根據前端請求內容將數據處理后返回給前端,也可根據前端下發的內容將數據寫入數據庫。

圖2 現場智能儀表管理系統架構示意

3 系統應用案例

目前,該系統已開發完成并在該石化公司現場部分裝置投用,運行狀況良好。其中,智能儀表信息管理的界面,可查看智能儀表的基礎信息和報警事件記錄;智能儀表的診斷界面,可查看智能儀表當前報警狀態及多變量變化趨勢;智能儀表在線參數界面,可查看智能儀表參數的實時值,對參數進行監測。

4 結束語

本文梳理了現場智能儀表管理系統功能及數據特點,并對數據庫應用進行需求分析,設計了基于多數據庫融合的現場智能儀表管理系統。基于PostgreSQL管理業務數據,基于InfluxDB管理運行時序數據,基于Redis管理智能儀表實時數據,解決了數據量大而繁雜、數據讀取頻繁時的數據庫性能瓶頸。系統目前運行穩定,且具有較好的可擴展性,未來基于該系統可進一步挖掘智能儀表效益,幫助企業實現安全、低碳、高效生產的目標。