基于強化學習算法的能源工業云網智能接入方法研究

孫喜民 王明達 常江 陳昕 李海茹

摘 要：針對多種通信協議結合強化學習算法設計一個通用的可智能解析的協議接口，加快協議間的模式匹配，降低數據傳輸的延時性，提高工業物聯網的時效性。實現無縫切換不同的數據接口以適應不同的網絡通信模式。同時，如何通過強化學習使獲取的動作策略確定一種統一的數據接口規范，可使得平臺接入體系對于多源異構電工裝備的數據達到良好的兼容性，為電工裝備智慧物聯體系與應用提供數據基礎。

關鍵詞：能源工業云網 強化學習 智能接入 邊緣數據處理

Abstract：A universal intelligently resolvable protocol interface is designed for multiple communication protocols combined with reinforcement learning algorithm to speed up pattern matching between protocols， reduce the delay of data transmission， and improve the timeliness of the Industrial Internet of Things so as to realize seamless switching between different data interfaces to adapt to different network communication modes. At the same time， how to determine a unified data interface specification for the acquired action strategy through reinforcement learning can make the platform access system achieve good compatibility with the data of multi-source heterogeneous electrical equipment， and provide data basis for the intelligent system and application of electrical equipment.

Key words：energy industry cloud network， reinforcement learning， intelligent access， edge data processing

1 引言

2020年國家電網“建設互聯共享能源工業云網，賦能能源行業數字化轉型升級”成功入選國資委優秀案例，作為國家電網公司打造的國內能源行業首個全域工業互聯網賦能平臺，能源工業云網以電為中心創新價值鏈，以數為要素貫通業務鏈，以智為要義升級產業鏈，打造設計制造協同、生產管理優化、設備健康管理、產品增值服務、制造能力交易等解決方案，支撐能源互聯網各環節設備工業互聯，提升全產業鏈資源要素配置效率和產品創新力。國網電商公司（國網金融科技集團）作為建設運營的主要支撐單位，已完成能源工業云網8大應用中心建設落地，同時與眾多單位開展了深入合作，打造多個試點應用，有效推動智能制造、智慧交易、智能運維等場景產業鏈協同，為“立足能源根本、堅持開放合作、深耕垂直領域”的總體思路，重點聚焦能源生產、裝備制造和能源消費三大領域，整合平臺能力、推動業務集成、聚合客戶資源，支撐能源互聯網 “源、網、儲、荷”各環節設備工業互聯，構建“互聯共享 全域賦能”的能源工業互聯網生態體系奠定了堅實基礎。其實作為工業互聯網的能源工業云網中的設備接入的科研工作和技術發展已經開展多年，但通過對較有影響的國際會議和期刊進行跟蹤與分析，面向能源工業互聯網的設備數據標準與接入體系研究尚處于起步階段。

2 強化學習算法原理

強化學習是從控制理論、統計學、心理學等相關科學發展而來的一種機器學習方法，最早可以追溯到巴普洛夫的條件發射實驗，直到上世紀八、九十年代強化學習技術開始在人工智能、機器學習和自動控制等領域中得到廣泛研究與應用，很快被認為是設計智能系統的核心技術，尤其。人類或者智能體（統稱為智能體）很多時候需要與外界環境進行交互與學習，所謂強化學習是指人類或者智能體從環境狀態到行為映射的學習，目的是使系統行為從環境中獲得的累積獎勵值達到最大（其工作原理圖如圖1）。在強化學習過程中，通過所設計的算法把外界環境轉化為最大化獎勵量。

其中強化學習Agent為自治智能體，也是學習的主體，其特點有三：

（1）Agent主動對環境做出試探。

（2）環境對試探動作必須做出評價性反饋（好或者壞）。

（3）在動作-評價影響或者刺激過程中，環境要給出行動改進方案，直到達到既定目標（滿足一定的目標函數）為止。

一般來講，強化學習算法包含的基本要素有：策略、值函數、回報函數及環境模型等四個要素，四者之間的關系如圖2所示。

其中策略給出Agent在給定時間內的行為方式定義，因此，一個策略就是從環境感知的狀態到這些狀態中可采取動作的一個映射，一般有確定性策略和隨機策略之分;值函數用于對第一個狀態起Agent所能積累的回報的匯總，在決策和評價過程中也是需要考慮最多的環節;回報函數是強化學習算法執行過程中的目標，它把環境中感知到的狀態映射為單獨的一個獎賞（），而且它可以作為策略進行變化或者改變的標準;環境模型主要用于模擬環境行為，即：給定一個狀態和動作，環境模型經過計算可以預測必定導致的下一個狀態和下一個獎勵。環境模型一般用于通過具體函數做出的規劃。

3 能源工業云網智能接入的體系架構與特點

能源工業云網設備智能接入體系的研究包含設備通信協議智能解析和設備編碼統一規范。數據接入難度和成本是制約工業互聯網平臺應用的核心痛點之一，能源工業云網正嘗試提供面向不同設備的綜合性接入技術方案，推動平臺快速應用落地。存量設備接入仍以邊緣協議解析為主要方式，逐步從個性方案發展成為平臺通用服務。具有較強工業協議積累的企業正在將接入方案轉化為平臺服務，將解析能力下發至邊緣設備實現數據接入。未來，數據接入方案將內嵌在新增設備中，直接連平臺有望成為重要趨勢，SDK等數據接入方案在商業物聯領域已普遍應用，正在加速向工業互聯領域延伸。

4 強化學習的設備多源異構數據融合技術

該技術突破傳統了工業互聯網差異化數據融合的束縛，建立統一的數據接入標準，為數據共享與交互提供底層保障?；趶娀瘜W習的數據壓縮融合、冗余去除及降噪處理技術，主要體現在自主感知和異構分析技術。能源工業云網智能接入體系框架如圖4所示。

結合強化學習框架設計統一數據接口標識規范。針對能源行業設備數據而言，編碼標識種類繁多、不統一;與產業化結合形成多源異構數據。按照“充分應用物聯網、人工智能等現代信息技術和先進通信技術，實現能源行業各個環節萬物互聯、人機交互，打造狀態全面感知、信息高效處理的要求，實現跨專業、跨系統的數據共享理念，見圖5。

在數據接口規范生成模型構建中，融合強化學習框架來進行設計，分別將數據規范樣本集、數據規范樣本、多源異構數據編碼方案和規范編碼的信息有效性，與強化學習中的智能代理、動作空間、環境獎賞與環境狀態進行功能映射，其具體的編碼標識規范體系結構如圖所示。將樣本生成策略映射為強化學習理論中的智能代理，在整個學習過程中，它會根據環境狀態St與獎賞值Rt來生成作用于環境的動作t，也就是規范樣本t。同時，將現存的多源異構設備數據編碼方案映射為體系架構中的學習環境，常見的編碼方式有KKS電廠標識系統、國網電力設備編碼、和ERP設備編碼。環境中的這些編碼方式，根據從動作t中得到的數據編碼規范進行規范化編碼。并在環境中分別對規范化編碼信息的廣泛兼容性、靈活擴展性、和方便使用性進行衡量，根據衡量結果生成當前新的環境狀態St+1，并返回一個獎賞值Rt+1。

通過這樣的模型設計，可以充分利用強化學習理論來選擇累積回報最大的數據接口規范設計。在數據接口規范生成策略的學習過程中，我們可以明確任務所對應的馬爾科夫決策過程四元組，也就是狀態空間、動作空間、狀態轉移概率和獎賞，這是一種模型已知的學習過程。因此在對策略進行評估時，將策略的累積獎賞定義為公式（1）、（2）所示：

其中公式（1）表示“T步累積獎賞”在有模型學習中的計算方式，公式（2）表示“γ折扣累積獎賞”在有模型學習中的計算方式。表示從狀態x出發，使用策略π所帶來的累積獎賞。

以上技術可以突破傳統工業互聯網差異化數據融合的束縛，建立統一的數據接入標準，為數據共享與交互提供底層保障。

參考文獻：

[1]安實，崔娜，李靜.基于多智能體博弈的路徑選擇策略仿真研究[J].交通信息與安全，2009，27（3）：1-5.

[2] 杜威，丁世飛.多智能體強化學習綜述[J] . 計算機科學，2019，46（8）：1-7.

[3] 丁曉燕，席裕庚.基于博弈模型的多智能體覆蓋控制問題[J].計算機仿真，2009，26（10）：148-152.

[4]杭飛.基于博弈論的多智能體協同控制算法[J].電腦與信息技術，2014，22（2）：14-17.