油庫多源設備數(shù)據(jù)采集和處理系統(tǒng)設計研究

徐敬波,田永強,趙振學,韓玉琴

(中國石油西北銷售公司,甘肅 蘭州 730070)

0 引言

成品油庫是保障區(qū)域成品油供應鏈平穩(wěn)順暢的重要節(jié)點,也是區(qū)域?；钒踩a監(jiān)管的重要單位。運用先進的多源實時數(shù)據(jù)采集和處理技術建設實時、高效的油庫安全生產監(jiān)控系統(tǒng),是降低安全生產風險、提升生產效率和效益的必然舉措[1-2]。

近年來,在信息技術快速發(fā)展的背景下,隨著成品油庫的自動化、信息化,安全、環(huán)保、安防等設備數(shù)量急劇增加。由于油庫數(shù)量多、分布區(qū)域廣、建成年代早、管理主體差異大,各油庫及各種設備采用的工業(yè)通信協(xié)議種類繁多,數(shù)據(jù)交互模式缺乏統(tǒng)一的標準。油庫系統(tǒng)可靠性要求高的實際情況,給集中數(shù)據(jù)采集和處理帶來較大困難。

國內外對于工業(yè)多源數(shù)據(jù)采集開展了大量研究和應用。在國外,開放平臺通信(open platform communications,OPC)基金會推出了開放平臺通信統(tǒng)一架構(open platform communications unified architecture,OPC UA),規(guī)范了工業(yè)設備的統(tǒng)一數(shù)據(jù)交互模式。西門子、ABB等公司已推出了支持OPC UA規(guī)范的設備通信產品,但這些產品在適配性、成本、云-邊結合等方面存在較大限制。在國內的智能制造領域,多源數(shù)據(jù)采集和處理技術也有較多應用[3-5]。該技術實現(xiàn)了可編程邏輯控制器(programmable logic controller,PLC)、工業(yè)機器人、嵌入式傳感器、智能機床等多源異構設施的數(shù)據(jù)采集和處理。但該技術大多以原型系統(tǒng)功能測試為主,大規(guī)模實際應用的案例尚不充足。

針對大規(guī)模油庫多源設備數(shù)據(jù)采集和處理的實際要求,本文提出了1種具備大規(guī)模實時數(shù)據(jù)采集能力和高可用性、支持多種協(xié)議、云-邊結合的通用工業(yè)數(shù)據(jù)采集和實時處理系統(tǒng)。該系統(tǒng)利用邊緣端OPC UA與消息隊列遙測傳輸(message queuing telemetry transport,MQTT)協(xié)議的融合,實現(xiàn)多源現(xiàn)場設備與平臺端之間大規(guī)模實時數(shù)據(jù)采集、傳輸、交互、實時分析和預警,為實現(xiàn)大規(guī)模油庫安全生產的全面感知、互聯(lián)互通、數(shù)據(jù)分析和故障預警提供技術支撐和保障。

1 油庫工控系統(tǒng)和設備基本情況

成品油庫是收發(fā)和儲存汽油、柴油和乙醇等輕質油品的倉庫或設施,按生產類型分為儲罐區(qū)、裝卸區(qū)、輔助作業(yè)區(qū)、行政管理區(qū)、其他區(qū)域等功能區(qū),主要負責公路、管道、鐵路、水路的收付油、罐區(qū)存儲、油品計量、油氣回收等業(yè)務。油庫生產系統(tǒng)主要由儲運、消防、安防、環(huán)保四大類工控系統(tǒng)以及其他輔助傳感、監(jiān)控、執(zhí)行等設備組成,包含大量的閥、泵、流量計、液位儀、安全儀表等關鍵設備。各系統(tǒng)、設備之間業(yè)務有所關聯(lián)。目前,大部分油庫裝卸、計量、工藝設備由單一數(shù)據(jù)采集與監(jiān)視控制(supervisory control and data acquisition,SCADA)系統(tǒng)集中管控。其他功能系統(tǒng)、設備大多由獨立SCADA或簡單上位機進行管理,相互間未實現(xiàn)集成和通信。油庫工控系統(tǒng)和設備如圖1所示。

圖1 油庫工控系統(tǒng)和設備示意圖

2 油庫多源數(shù)據(jù)采集和處理的架構設計

基于OPC UA協(xié)議在工業(yè)協(xié)議轉換、平臺獨立、可伸縮性、數(shù)據(jù)可靠性、用戶認證等方面的優(yōu)勢和在自動化設備、工業(yè)控制、智能工廠領域的長期繼承性等優(yōu)勢,以及MQTT協(xié)議在物聯(lián)網(wǎng)領域適合云-邊通信、低帶寬、低硬件資源的通信優(yōu)勢,本文構建了融合OPC UA和MQTT協(xié)議的物聯(lián)網(wǎng)多源數(shù)據(jù)采集模塊。該模塊能夠有效解決油庫異構設備多、工業(yè)協(xié)議多、數(shù)據(jù)采集量差異大的采集數(shù)據(jù)標準化問題。MQTT協(xié)議便于系統(tǒng)接入各種類型云平臺或物聯(lián)網(wǎng)平臺軟件,以實現(xiàn)云邊融合。

油庫多源數(shù)據(jù)采集和處理架構主要由數(shù)據(jù)采集、數(shù)據(jù)解析、服務構建、數(shù)據(jù)傳輸這4個功能塊組成。

①數(shù)據(jù)采集功能塊。數(shù)據(jù)采集功能塊與現(xiàn)場Modbus、Ethernet IP、RS-485、可尋址遠程傳感器高速通道(highway addressable remote transducer,HART)、開放平臺通信數(shù)據(jù)訪問(open platform communication data access,OPC DA)等工業(yè)協(xié)議適配,和現(xiàn)場設備建立連接,獲取設備連接信息和數(shù)據(jù)請求信息,調用對應協(xié)議的數(shù)據(jù)采集驅動,以實現(xiàn)對油庫工控系統(tǒng)、設備的數(shù)據(jù)采集。

②數(shù)據(jù)解析功能塊。數(shù)據(jù)解析功能塊收集各油庫不同系統(tǒng)、設備等采集的所有變量異構數(shù)據(jù),按照統(tǒng)一標準和規(guī)則格式化為同一格式數(shù)據(jù),實現(xiàn)油庫不同系統(tǒng)、設備采集的數(shù)據(jù)向OPC UA協(xié)議數(shù)據(jù)的解析。

③服務構建功能塊。服務構建功能塊按照場景、區(qū)域、設備數(shù)據(jù)編碼規(guī)則對標準化數(shù)據(jù)進行類別劃分、數(shù)據(jù)處理以及協(xié)議轉換,采用訂閱方式構建OPC UA Server和MQTT Server。MQTT Server提供數(shù)據(jù)上云的物聯(lián)網(wǎng)服務。OPC UA Server為模塊中多個數(shù)據(jù)采集實例提供數(shù)據(jù)同步,同時還能將可選擇的任意變量數(shù)據(jù)發(fā)布成消息隊列、Web Socket、表述性狀態(tài)傳遞(representational state transfer,REST)等類型服務,以直接供外部應用程序訂閱和調用。

④數(shù)據(jù)傳輸功能塊。數(shù)據(jù)傳輸功能塊將油庫工控系統(tǒng)、設備的標準化數(shù)據(jù)統(tǒng)一匯總和處理后,以MQTT Client方式向云端上報數(shù)據(jù),支持云-邊之間數(shù)據(jù)讀寫、發(fā)布訂閱等數(shù)據(jù)交互方式和數(shù)據(jù)訪問授權功能。油庫多源數(shù)據(jù)采集和處理架構如圖2所示。

圖2 油庫多源數(shù)據(jù)采集和處理架構

3 多源數(shù)據(jù)采集和處理的關鍵技術

3.1 油庫場景的統(tǒng)一數(shù)據(jù)編碼規(guī)則

通過對《石油庫設計規(guī)范》(GB 50074)、《危險化學的重大危險源安全監(jiān)控通用技術規(guī)范》(AQ3035)等油庫建設標準和油庫實際使用設備設施的歸納總結,可整合油庫業(yè)務場景、設備安裝區(qū)域、設備類型和設備位號等關鍵信息。油庫場景可采用4層編碼的方式對油庫設備采集數(shù)據(jù)進行變量命名。具體規(guī)則如下。

第一層級為業(yè)務場景標簽。業(yè)務場景標簽主要包括公路付油、鐵路付油、水路付油、管輸付油、公路收油、鐵路收油、水路收油、管輸收油、罐區(qū)轉油、自控電氣、罐區(qū)計量、泵房工藝、安全儀表、油氣回收、消防、可燃氣體、門禁、周界防范、能耗、雨污處理這20種業(yè)務場景。各標簽使用2位大寫英文字母表示,如公路付油規(guī)范用“GF”表示。

第二層級為區(qū)域標簽。區(qū)域標簽主要包括儲罐區(qū)、裝卸區(qū)、輔助作業(yè)區(qū)、行政管理區(qū)、其他區(qū)這5種區(qū)域類型,使用“區(qū)域編碼+編號”表示。

第三層級為設備類型標簽。設備類型標簽按照油庫設備類型進行分類,目前包括罐、泵、閥等41類設備,使用“設備編碼+編號”表示。

第四層級為設備點位標簽。設備點位標簽定義每類設備具體點位狀態(tài)信息,使用2位大寫英文字母表示。

上述4個層級之間采用“.”連接。例如:“GF.TDGQ001.MVD0005.KK”代表“公路付油業(yè)務場景-柴油罐001-開關量閥門編號0005設備-開控制狀態(tài)”。

3.2 多協(xié)議適配、解析和轉換

油庫近期安裝的工控系統(tǒng)、SCADA系統(tǒng)通常均提供標準的OPC UA接口和服務,以簡化數(shù)據(jù)采集和通信。但大量安裝時間較早的工控系統(tǒng)、生產設備通常僅提供Modbus、RS-485等工控協(xié)議進行數(shù)據(jù)通信傳輸,且在現(xiàn)場層面不具備OPC UA服務。數(shù)據(jù)采集模塊必須與上述工控協(xié)議進行適配才能保障現(xiàn)場數(shù)據(jù)的采集和轉換[6-7]。

為解決多協(xié)議系統(tǒng)、設備的數(shù)據(jù)采集,在數(shù)據(jù)采集功能塊端調用與現(xiàn)場系統(tǒng)、設備相匹配的Modbus、Ethernet IP、RS-485、HART、OPC DA等工控協(xié)議數(shù)據(jù)采集驅動程序,多線程采集各系統(tǒng)、設備的現(xiàn)場實時數(shù)據(jù)。在數(shù)據(jù)解析功能塊采用OPC UA 標準的軟件開發(fā)工具包(software development kit,SDK)搭建OPC UA服務器,將采集到的數(shù)據(jù)解析和封裝到OPC UA 服務器中,建立OPC UA節(jié)點名稱與地址空間、設備數(shù)據(jù)的一一對應關系,以實現(xiàn)由傳統(tǒng)工控協(xié)議到OPC UA的轉換。

為實現(xiàn)對多協(xié)議數(shù)據(jù)采集驅動程序的統(tǒng)一管理,需要構建和管理所采集系統(tǒng)、設備的采集配置文件和解析配置文件。采集配置文件包含所采集設備名稱、協(xié)議、地址、端口、采集方式等設備連接信息和數(shù)據(jù)請求信息;解析配置文件包含采集數(shù)據(jù)格式、語義、字節(jié)長度、索引等。數(shù)據(jù)采集過程前調用采集配置文件,可選擇運行對應的驅動程序,以實現(xiàn)設備連接和數(shù)據(jù)讀取;可調用解析配置文件,以實現(xiàn)不同設備讀取數(shù)據(jù)的解析和類型轉換。

3.3 變量數(shù)據(jù)的格式化

對異構工控系統(tǒng)、設備所采集的變量數(shù)據(jù)結構和形式往往不相同。這將影響后續(xù)數(shù)據(jù)的交互、存儲和統(tǒng)一的服務化應用,因此需要對不同變量數(shù)據(jù)進行統(tǒng)一格式化。通過規(guī)范數(shù)據(jù)格式,為上層各項應用提供標準化的數(shù)據(jù)支持。按照MQTT協(xié)議,油庫變量數(shù)據(jù)的格式化定義如表1所示。

表1 油庫變量數(shù)據(jù)的格式化定義

3.4 高可用性設計

3.4.1 軟硬件保障

為保證油庫多源數(shù)據(jù)采集和處理系統(tǒng)的高可用性,需從軟硬件這2個方面采取保障措施。多實例數(shù)據(jù)同步如圖3所示。

圖3 多實例數(shù)據(jù)同步示意圖

在硬件層面,通過在油庫邊緣側采用雙機或虛擬機模式進行冗余布署、負荷均衡和數(shù)據(jù)鏡像,以減少硬件故障導致的數(shù)據(jù)采集故障。在軟件層面,通過多個數(shù)據(jù)采集實例同步數(shù)據(jù),保障采集過程的高可用性。

采集模塊采用主-從模式同步啟動3個或更多的采集實例。采集實例之間采用OPC UA接口協(xié)議進行實時數(shù)據(jù)和配置的同步。油庫數(shù)據(jù)采集模塊的高可用性設計可以消除或最小化由網(wǎng)絡、程序、設備故障導致的數(shù)據(jù)丟失。

3.4.2 數(shù)據(jù)采集實例的同步規(guī)則

數(shù)據(jù)采集實例的同步規(guī)則如下。

①建立實例同步的配置文件,包括本實例標識符(identifier,ID)、其他主從實例ID、采集的數(shù)據(jù)變量、變量節(jié)點名稱、節(jié)點變量值、主從實例的服務級別、其他主從實例相關信息等。主從實例的服務級別規(guī)則為按照實例啟動的時間順序進行級別設置。

②實例加入。新實例加入根據(jù)配置文件進行初始化,按照初始化信息與其他主-從實例建立通信連接,同步獲取正在采集的設備、數(shù)據(jù)等配置信息。

③數(shù)據(jù)同步。實時同步主實例采集的設備全量數(shù)據(jù),建立與其他從實例的同步數(shù)據(jù)接口。所有實例定期向其他實例發(fā)送運行狀態(tài)信息。

④狀態(tài)監(jiān)測。輪詢其他主從實例運行狀態(tài)信息。若主實例超時失效或發(fā)送失效信息,按照實例的服務級別自動選擇級別最高的從實例設置替代為主實例,并從其他實例同步補充完整數(shù)據(jù);若從實例超時失效或發(fā)送失效信息,則重啟新的從實例,由主實例同步相關數(shù)據(jù)。

3.5 云平臺端設計

多源數(shù)據(jù)采集和處理系統(tǒng)的云平臺端主要通過在云端布署的分布式實時數(shù)據(jù)處理集群對大規(guī)模油庫邊緣端采集的實時數(shù)據(jù)進行監(jiān)測、分析、判斷、預警和推送[8-12],實現(xiàn)多座油庫安全生產的智能化綜合管控。云平臺端實時數(shù)據(jù)處理架構如圖4所示。

圖4 云平臺端實時數(shù)據(jù)處理架構

邊緣端采集的大量實時數(shù)據(jù)采用MQTT Client訂閱方式進行數(shù)據(jù)傳輸,以實現(xiàn)邊緣端-平臺端的實時數(shù)據(jù)交互。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),處理速度能達到105～106條/s,同時具備較強的橫向擴展、并行處理能力。平臺端MQTT Client訂閱的數(shù)據(jù)實時寫入Kafka,實現(xiàn)對大量、高速數(shù)據(jù)的實時發(fā)布和訂閱,以及TB級別數(shù)據(jù)的持久化存儲,以確保后續(xù)實時數(shù)據(jù)處理的實施、降低可能存在的數(shù)據(jù)丟失風險。

為了保證Kafka系統(tǒng)配置數(shù)據(jù)的一致性,本文引入ZooKeeper系統(tǒng),用于管理Kafka系統(tǒng)的 broker、topic等配置數(shù)據(jù),從而保證Kafka系統(tǒng)的一致性和高可用性。

系統(tǒng)利用Storm實時數(shù)據(jù)流處理能力,實現(xiàn)大規(guī)模油庫儲運、消防、安防等工藝參數(shù)的實時監(jiān)控、超閾值報警;實現(xiàn)對儲罐液位異常、管線流速異常、設備狀態(tài)異常等的實時判斷預警;實現(xiàn)報警預警的實時推送等功能。

云平臺端采用Redis緩存實時數(shù)據(jù),同步配合Kafka、Storm解決實時數(shù)據(jù)訪問的速度、熱點中間數(shù)據(jù)存儲以及系統(tǒng)并發(fā)請求的效率問題。Redis以節(jié)點名稱為主Key、以變量值記錄數(shù)據(jù)變化。所有數(shù)據(jù)以列表形式存入Redis中。同時,油庫數(shù)據(jù)采集、處理過程中的非實時數(shù)據(jù)存儲和查詢運用MySQL數(shù)據(jù)庫,包括類型、配置、元數(shù)據(jù)、處理的中間數(shù)據(jù)等。實時數(shù)據(jù)、非實時數(shù)據(jù)導入MySQL歷史數(shù)據(jù)庫集群,以實現(xiàn)整體監(jiān)控數(shù)據(jù)的歸檔存儲和離線的大數(shù)據(jù)挖掘。

4 系統(tǒng)功能的實現(xiàn)和測試

基于上述研究內容,針對油庫安全生產監(jiān)控的需求,本文設計和開發(fā)了油庫多源數(shù)據(jù)采集和處理系統(tǒng),并測試了數(shù)據(jù)采集系統(tǒng)的功能和性能。

為了測試多源數(shù)據(jù)采集和處理系統(tǒng)的響應時效性,本文進行了以下軟硬件驗證。硬件驗證包括安全加固的Windows10、10核主頻2.8 GHz Intel Xeon和16 G內存。軟件驗證包括OPC DA Server Simulation、多源數(shù)據(jù)采集和處理系統(tǒng)及MQTT X客戶端軟件。測試過程如下。模擬器模擬1臺生產設備產生50個變量。變量類型為int32。所有變量值每秒更新1次,以OPC DA協(xié)議對外傳輸數(shù)據(jù)。多源數(shù)據(jù)采集和處理系統(tǒng)通過協(xié)議轉換采集該模擬器變量的實時數(shù)據(jù),并發(fā)布MQTT服務。MQTT客戶端軟件以訂閱模式讀取服務中的數(shù)據(jù),記錄設備數(shù)據(jù)采集到客戶端接收全過程的時延。

測試數(shù)據(jù)采集時延基本在200～400 ms。考慮實際環(huán)境中的云-邊MQTT發(fā)布/訂閱之間以及現(xiàn)場設備傳輸?shù)木W(wǎng)絡延時,實測數(shù)據(jù)采集時延為1～1.5 s。

為保證多源數(shù)據(jù)采集和處理系統(tǒng)的實際應用效果,本文使用自動化軟件測試工具UFT、性能測試工具Loadrunner以及測試管理工具ALM,進一步對系統(tǒng)進行功能和性能的深度測試。

數(shù)據(jù)采集的時延測試結果如圖5所示。

圖5 數(shù)據(jù)采集的時延測試

功能測試內容包括油庫儲罐、裝卸區(qū)、泵房等區(qū)域液位、溫度、壓力、可燃氣體、防雷防靜電、高低液位聯(lián)鎖、泄漏、消防等數(shù)據(jù)的實時監(jiān)測、報警和記錄。單庫設備監(jiān)控點為500～1 000個。測試功能為48個。執(zhí)行測試用例為685個。測試結果顯示:數(shù)據(jù)采集系統(tǒng)能夠正確實現(xiàn)上述設備點位的實時數(shù)據(jù)監(jiān)控、報警和記錄等,滿足油庫安全生產監(jiān)控的功能要求。

性能測試內容包括監(jiān)測設備點的并發(fā)能力和實時數(shù)據(jù)處理的系統(tǒng)響應時間。測試結果顯示:在模擬并發(fā)用戶100個、監(jiān)測點10 000個的測試條件下,性能測試平均處理的響應時間不多于2 s,未發(fā)生系統(tǒng)功能失效問題。

本文設計的油庫多源設備數(shù)據(jù)采集和處理系統(tǒng)已實現(xiàn)試點應用。該系統(tǒng)應用于分布在甘肅、江蘇、天津等省市的超過10座成品油庫的近80個獨立工控系統(tǒng)和設備的現(xiàn)場安全生產,設備采集監(jiān)控點超過5 000個。通過實際應用驗證了多源設備數(shù)據(jù)采集和處理系統(tǒng)的有效性和可靠性。

5 結論

多源異構數(shù)據(jù)采集和實時處理是工業(yè)信息化、智能化的基礎技術,也是技術難點之一。本文針對油庫工控系統(tǒng)和設備環(huán)境,設計和實現(xiàn)了1種油庫多源設備數(shù)據(jù)采集和處理系統(tǒng)。該系統(tǒng)具有適配性強、可用性高、擴展能力強等特點,已實際應用于部分成品油庫的安全生產集中監(jiān)控中。后期隨著數(shù)據(jù)采集規(guī)模的增長,該系統(tǒng)將在設備復雜故障預測和診斷、視頻融合處理、綜合決策支持、應急處置等方面提供更強的智能化應用。