基于Spark 的氫能智慧平臺研究

汪方

（安徽工業大學，安徽 馬鞍山 243032）

0 引 言

為實現我國“碳達峰”和“碳中和”目標，發展氫能產業是工業、交通等難以脫碳領域實現低碳化的有效措施。隨著氫燃料電池技術商業化不斷提速，氫能在交通領域的需求更加凸顯[1]。氫能智慧平臺是推動氫能工業信息化、智能化建設的典型應用。

目前氫能智慧平臺大多基于大數據技術、物聯網技術以及機器學習等。湯曉棟等人[2]提出一種加氫站運營管理云服務平臺，研究一種數據采集軟網關，以解決現有站控系統對外接口單一、難以實現多站點并發通信的問題；同時開發加氫站運營管理云服務平臺，實現站內設備管理與安全生產監管。大數據技術在其他領域也有廣泛應用，李春彬[3]提出一種基于Spark 的公路管理和預警平臺，實現公路信息管理、應急事務管理、路網運行監測等功能，提升了公路管理部門路網運行管理和應對突發事件的能力。

加氫站是氫能交通商業化應用的中樞，目前處于高速發展中，截至2022 年3 月，我國已建成加氫站264 座并計劃2025 年建成1 000 座[4]。但是當前企業管理加氫站面臨諸多問題：企業總部難以實時查看旗下全體加氫站的設備運行狀態；不能通過充分挖掘海量的設備數據與運營數據背后的商業價值為企業的管理與決策提供有力的支持；缺乏設備運行數據前瞻性預測來減少安全事故發生的風險；缺乏運營訂單相關數據前瞻性預測來助力企業制定運營策略等。為解決上述問題，本文提出一種結合工業大數據技術、物聯網技術及預測算法的氫能智慧平臺，實現企業實時管理旗下加氫站以及根據平臺統計分析和預測結果制定運營策略。

1 氫能智慧平臺架構

氫能智慧平臺基于工業大數據技術、物聯網技術以及預測模型算法開發，提供了從數據采集、數據處理、分析預測到具體應用整套技術方案。架構上由數據采集層、數據緩沖層、數據處理層、數據儲存層及大數據應用層組成。其中數據采集層實現工業設備網關數據實時采集、站控系統日志數據采集、數據庫數據同步；數據緩沖層發揮數據緩存、流量控制作用，在數據流量突發情況下發揮流量削峰的作用，保障平臺的穩定性；數據處理層實現數據清洗、分流、統計分析等核心計算功能；數據儲存層實現海量工業設備數據與運營數據的存儲與檢索，同時提供數據緩存服務；大數據應用層提供企業實時監管旗下加氫站的客戶端，包含如設備運行數據大屏展示、運營數據實時大屏展示等功能。其架構如圖1 所示。

圖1 大數據平臺架構

1.1 數據采集層

數據采集層實現工業網關數據采集、日志數據采集與數據庫數據采集。根據團體標準《加氫站站控系統技術要求》（T/CSTE 0012—2019）[5]中關于采集數據的要求，工業網關數據采集模塊負責實時采集加氫機、氫氣壓縮機、儲氫瓶組設備、卸氣設備、火氣監測儀器的運行數據。日志數據采集與數據庫數據采集模塊負責采集運營訂單信息等數據。

工業網關數據采集模塊用于站內設備數據實時采集。網關數據采集模塊架構如圖2 所示。

圖2 工業網關數據采集模塊

加氫機、氫壓機、儲氫瓶組、卸氣設備、火氣監測儀器采用RS 485/RS 422 協議傳輸數據，設備接入采集網關后，借助配置工具對網關進行IP 地址配置、設備信息備注等，接著配置設備與網關間的參數，必須保證設備地址、波特率、校驗方式等與網關一致。

在上位機使用工控組態軟件采集數據網關中數據，如WinCC、Kingview 等，通過以太網接口讀取網關數據。工控組態軟件采集的數據按照OPC 協議標準轉換后，通過OPC服務軟件發送至網關數據采集與轉換模塊，該模塊將數據轉換為JSON 數據格式，再使用log4j 將數據處理成實時流日志。大數據平臺對接網關數據采集與轉換模塊，通過Flume 實時采集數據，以上述方式實現網關數據實時采集。

日志數據采集模塊負責實時采集加氫站管理信息系統中的運營數據日志、設備儀器運行日志。該模塊采用Flume 日志采集系統，該系統具有可靠性高、采集效率高、易管理和擴展性強特點[6]，滿足本平臺高效采集日志的需求。

數據庫數據采集模塊負責采集加氫站管理信息系統中數據庫中的運營數據，對于數據庫數據采集使用兩種方式：實時數據庫數據采集方式和離線數據庫數據同步方式。實時數據庫數據采集方式采用Maxwell 框架。離線數據庫數據同步采用DataX 同步工具，并采用朱永波[7]提出的改進意見提升DataX 的性能，實現同步不同加氫站的站控系統數據庫至氫能智慧平臺數據儲存層的Elasticsearch 集群中。

1.2 數據緩沖層

數據緩沖層采用Kafka 消息隊列。在吞吐量上Kafka 達到每秒17.3 萬條。在海量、實時、異構的工業設備數據緩沖處理場景下，Kafka 具有高吞吐量、低延時、高可靠和分布式特性[7-8]。架構中數據緩沖層由3 臺及以上服務器構成Kafka 集群，具備超高吞吐量和低延時，能夠有效提升本平臺數據計算處理效率和保證數據零丟失。

1.3 數據處理層

數據處理層由實時數據流分流模塊、統計分析模塊、預測預警模塊構成。數據處理層采用Spark Streaming流式計算框架。Spark Streaming 是在大數據領域廣泛使用的框架，其集群具有強大的計算能力和存儲容量，由于基于內存計算，其速度約為Hadoop 的100 倍[9]。

加氫站主要有加氫工藝流程和儲氫工藝流程[10]。通過卸氣設備獲得氫氣后，經氫壓機壓縮進入儲氫瓶組儲存，最后通過加氫機為氫燃料電池汽車進行加注。氫壓機、儲氫瓶組、加氫機是加氫站三大核心設備。

實時數據流分流模塊將數據緩沖隊列中的設備數據按照加氫工藝流程、儲氫工藝流程以及火氣監測數據進行分流，分流后的數據經過清洗處理再次存入Kafka 消息隊列對應主題中，數據處理層再次讀取對應主題數據并實時存入Elasticsearch 集群中。

統計分析模塊用于加氫站設備運行數據統計、氫氣儲量統計、運營訂單數據統計。該模塊周期性統計分析上述數據并提供企業分析報告，企業能夠基于運營分析報告，發掘數據背后商業價值，制定運營策略。

預測預警模塊提供設備運行狀態預測預警和運營數據預測功能。設備運行狀態預測預警實現了實時展示預測值，并判斷預測值是否超過標準范圍，若超過標準范圍則觸發預警程序，該程序將該條數據入庫并及時提醒工作人員。運營數據預測功能基于往期運營數據預測未來運營情況，幫助企業制定運營策略。

1.4 數據存儲層

數據存儲層用于存儲設備運行數據、統計分析數據、預測數據和設備異常數據、設備預警數據等，由Elasticsearch搜索引擎和Redis 數據庫組成。ElasticSearch 的突出特點是在提供海量存儲的同時提供近乎實時的搜索服務，保證平臺的實時性。采用Redis 作為數據處理層與應用層的數據緩存，Redis 具備極快的讀寫速度，應用層可直接從Redis 讀取實時數據，降低數據展示時延。

1.5 大數據應用層

大數據應用層是客戶端，提供設備運行數據大屏實時展示、統計分析數據管理功能、設備異常數據管理功能、運營單數據實時展示與查詢功能、設備運行數據預測功能與運營訂單數據預測功能，幫助企業實時管理總體運營和具體加氫站運營。在技術上，采取Spring Boot 結合前端Vue.js 框架進行前后端分離式系統開發，其中Spring Boot 作為目前主流開發框架，具有開發過程簡便、易部署等諸多優點。

2 設備運行數據實時預測算法實現

氫能智慧平臺結合ARIMA 算法實現了加氫站設備運行數據實時預測，前瞻性發現設備潛在的安全風險。

ARIMA 是一種基于時間序列數據分析和預測的模型，廣泛適用于時間序列預測，由Box 和Jenkin 在20 世紀70 年代提出，該模型對非平穩時間序列進行差分計算使其轉換為平穩序列，再基于平穩序列調用ARMA 模型實現預測[11]。該模型適合預測設備運行數據，在短期內準確率較高。

2.1 基本原理

ARMA 模型由自回歸模型（AR）和移動平均模型（MA）組成。

自回歸模型（AR）描述當前值與歷史值之間的關系，公式為：

式中：yt為當前值；μ為常數項；p為階數；γi為自相關系數；yt-i表示往期的值；εt為誤差。

移動平均模型（MA）用于描述自回歸模型中的累計誤差，公式為：

式中：yt為當前值；μ為常數項；q為階數；θi為自相關系數；εt表示誤差序列。

ARMA 模型由式（1）與式（2）組合而成，p為自回歸階數，q為移動平均階數，記為：

ARIMA 模型是先對非平穩數據進行d階差分，將差分后的平穩數據導入ARMA 模型進行計算得到預測值。

2.2 參數的選取

ARIMA 模型需要確定p、d、q三個關鍵參數，p為AR 公式階數，d為差分運算的階數，q為MA 公式的階數。ARMA 模型要求輸入序列是平穩的，采用單位根檢測法（Augmented Dickey Fuller, ADF）判斷序列的平穩性。先假設序列不平穩（存在單位根），根據單位根檢測法得到ADF檢驗表。根據檢驗表中p值判斷差分階數d，若p<0.05，此時對應的差分階數就是模型中的d值。在確定序列具有平穩性后進行p和q值的參數估計。繪制輸入序列的自相關函數（Autocorrelation Function, ACF）和偏自相關函數（Partial Autocorrelation Function, PACF）的圖，按照表1 準則確定參數p、q。

表1 ARMA（p，q）模型識別準則

自相關函數（ACF）用于判斷序列中不同時間取值之間是否相關，根據以下公式計算：

式中：n為序列數；xt是序列中的具體值。

偏自相關函數（PACF）用于判斷長度為k的序列首尾兩個值，即x(t)和x(t-k)兩個變量是否具有相關性。

2.3 ARIMA 模型算法測試

以預測加氫機加注流量為實驗案例，預測效果如圖3所示。

圖3 加氫機加注流量預測

圖3 為加氫機即將結束加氫過程中的數據預測，預測趨勢與實際趨勢相同，預測方差為0.059，準確率約為93%。

以預測加氫機出口壓力為實驗案例，預測效果如圖4所示。

圖4 加氫機出口壓力預測

圖4 為加氫機平穩加氫時出口壓力數據預測，預測趨勢與實際趨勢相同，預測方差為0.1，準確率約為86%。

由此可知，采用ARIMA 模型預測設備運行數據效果良好且預測速度快，滿足實時預測要求。

3 結 語

本文提出一種從設備數據采集、數據處理、數據存儲、分析預測到應用的氫能智慧平臺，同時將ARIMA 模型算法應用于加氫站各類設備運行數據實時預測中，有效地解決了企業管理旗下加氫站的諸多問題，發掘運營數據商業價值，助力氫能應用發展。