基于邊緣計算與強化學習的配電物聯網體系架構研究與應用

官國飛，宋慶武，張萬生，徐 妍，李 澄，蔣 超

(1.江蘇方天電力技術有限公司，江蘇 南京 211100；2.江蘇潤和智融科技有限公司，江蘇 南京 210012)

0 引言

構建融合人工智能技術、現代信息技術、泛在物聯網技術的智慧配電物聯網體系架構系統被視為協同環(huán)境、資源、社會發(fā)展三者可持續(xù)和諧發(fā)展的直接途徑之一，是實現人類千年發(fā)展大計的重大戰(zhàn)略部署，具有顯著的異構數據融合、電力與信息雙向互動、高度的自主感知與決策、廣泛的能量交換等特性[1]。智慧配電物聯網體系架構系統一般涵蓋異構數據獲取、配電運行自主感知、輸電運行自主決策、電網資產自動化管理等功能，實現電網運維全壽命周期下的人機交互、時標信息提取、供配電運維數據收集與應用、電網運維健康狀態(tài)評估及故障預警等功能，為高度市場化下的電網運維提供借鑒。以國家電網公司關于新型智慧配電物聯網體系架構系統總體規(guī)劃綱要為總指導[2]，深度剖析泛在物聯網與智慧電網融合背景下涌現的萬物云化下的智能決策與協同自治、能源生產與消費雙向互逆流動、云管邊端數據控制流深度融合、邊緣計算泛化能力與學習能力均衡、多維差異性數據融合傳送機制、數據融合及優(yōu)先級自動退避機制等新型需求，構建具有自我感知、自我分析、自我決策屬性的智慧配電物聯網體系架構系統是國家電網公司在新時代的重大戰(zhàn)略部署[3]，對統籌協調電網企業(yè)、電網用戶、電網市場可持續(xù)健康發(fā)展具有重要意義。

在此，通過融合泛在物聯網與分布式智慧電網智能體系，建立多維差異性信息物理高度融合模型，構建自主全面感知、全局最優(yōu)協同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯網體系架構[4]，引入邊緣計算機制增強配電物聯網體系架構的邊緣計算層級，實現邊緣計算泛化能力與學習能力的動態(tài)平衡，引入強化學習算法實現配電物聯網體系架構的智能決策與協同自治。在典型環(huán)境下對智慧配電物聯網體系架構進行多維度性能仿真，從而驗證該物聯網體系是否能夠較好解決配電物聯網自主感知與智能決策之間的耦合矛盾[5]，實現全局最優(yōu)，具有穩(wěn)定性高、抗干擾性強、自主感知性高等優(yōu)勢。以國網江蘇省電力有限公司轄區(qū)某小型配電網為效能評價載體，開發(fā)對應的原型系統并對模型進行了實證分析，驗證體系架構是否具備配電設備泛在互聯、運維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運維環(huán)境下的協同自愈等完整體系效能。

1 融合泛在物聯網與智慧電網的配電體系架構設計

針對能源大規(guī)模開發(fā)利用背景下的若干新型需求，對智慧電網配電體系架構進行內涵優(yōu)化，處于能源革命中心環(huán)節(jié)的智慧電網系統對自主感知與決策屬性具有很強的依賴性，智慧電網逐漸呈現出明顯的集群全局協同控制屬性。引入多智能體思想，構建智慧電網海量異構設備的信息共享與自我學習機制[6]，實現社會屬性下的智慧電網海量異構設備全局協同控制，基于多智能體共享信息的智慧電網體系架構具備智慧電網電力線路參數實時全景感知與融合、異構網絡拓撲快速計算與暫存、歸一化格式下的多線程傳輸、實時解碼與全景復現等全方位立體智慧電網全壽命周期拓撲與數據建模體系效能，構建具備智慧電網電力線路參數獲取、傳送、解碼回復、全景復現等全鏈復現機制，設計了基于多智能體思想的智慧電網全壽命周期拓撲與數據建模體系專用架構，如圖1所示。以智慧電網全壽命周期拓撲與數據建模體系全鏈條運維需求為指引[7]，將智慧電網全壽命周期拓撲與數據建模體系架構劃分為數據感知層、信息共享層、自我決策層、人機交互層等，其中，數據感知層借助嵌入Storm流計算的數據融合算法對線上電壓、網絡功率分布、功率損耗、阻抗參數、電壓降落、潮流計算、竊電檢測等多維數據進行快速計算與暫存；信息共享層通過多智能體機制，把配電網電力線路相關核心參數視為具有自主感知與決策能力的智能體，在自身狀態(tài)更新的同時主動向外界共享自身狀態(tài)信息；自我決策層引入第二代機器學習中的深度強化學習算法實現異構智慧配電網策略自動最優(yōu)生成與數據自主精確建模機制，利用多智能體共享信息生成目標智慧電網參數策略集合，為智慧電網系統全局最優(yōu)決策提供支撐，實現智慧電網系統整體運維成本最低；人機交互層利用跨平臺應用系統實現友好人機交互。

圖1 基于多智能體思想的智慧電網體系架構示意

為落實國家相關部門以及國家電網公司關于落實國家關鍵信息基礎設施保護、分級等級保護、電力行業(yè)泛在網絡安全防護要求[8]，融入多維度網絡安全防護技術，構建萬物云化環(huán)境下面向配電物聯網安全體系架構，如圖2所示。萬物云化環(huán)境下，融合泛在物聯網的配電網具有較強的開放包容性，很容易遭受不法分子的網絡攻擊，電力行業(yè)關乎國計民生，電力數據歷來作為國家秘密妥善保管，構建可信互聯、分層防護、精準防護、安全互動、自主感知防護為一體的全面防護體系至關重要。以基于多智能體思想的智慧電網體系架構為網絡安全防護設計藍本，在數據感知層分別獨立設置場級防護、邊級防護、端級防護，其中，場級防護與邊級防護互為耦合，場級與邊級通過輕量級防護實現協議解析軟防護，引入區(qū)塊鏈技術實現電網漏洞精準挖掘，通過構建邊緣流量分析機制實現全網總線安全；端級防護通過在用戶終端設備中安裝固件監(jiān)測[9]、安全基線設置、安全SDK開發(fā)、漏洞管理學系統、設備管理系統等軟件進程實現端級設備安全；在網絡層(對應圖1中的信息共享層與自我決策層)通過管級防護實現數據與控制流安全，管級防護主要通過構建網絡安全接入(包含泛在電力物聯網所有通信載體技術)與網絡狀態(tài)審計機制實現開放模式下信息共享的安全性；在應用和平臺層(對應圖1中的人機交互層)通過云級防護實現人機數據交互的安全性，通過引入多種云安全插件，實現無縫隙的應用安全。

圖2 萬物云化環(huán)境下面向配電物聯網安全體系架構示意

2 基于邊緣計算與強化學習的配電物聯網體系架構實現

與萬物云化環(huán)境下基于邊緣計算與強化學習的配電物聯網體系架構相對應，構建泛在物聯網下的全面云化機制，實現配電設備泛在互聯、運維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運維環(huán)境下的協同自愈等全壽命周期內的動態(tài)實時全景感知是基于邊緣計算與強化學習的配電物聯網體系架構的內在需求，以配電物聯網全壽命周期實時監(jiān)測體系全鏈條運維需求為指引，對基于邊緣計算與強化學習的配電物聯網體系架構關鍵模塊進行工程化研發(fā)。以基于邊緣計算與強化學習的配電物聯網體系架構全鏈功能數據流走向邏輯為依據，辨識其核心功能涵蓋配電網狀態(tài)數據全景感知與融合、配電物聯網智能決策與協同自治、軟硬件深度解耦與數據協同等，分別引入基于泛在物聯網的狀態(tài)全景感知與融合計算子架構、基于強化學習的配電物聯網智能決策與協同自治子架構、基于邊緣計算的軟硬件深度解耦與數據協同子架構等進行效能實現。

2.1 基于泛在物聯網的狀態(tài)全景感知與融合計算子架構

依據國家電網公司指導性技術文件《配電網智能化改造技術規(guī)范》中的相關指導性意見，以國家電網公司IEC61850行業(yè)標準規(guī)范為設計指導[10]，結合國家電網江蘇省電力有限公司轄區(qū)某小型配電網主體設備現狀，對基于泛在物聯網的狀態(tài)全景感知與融合計算子架構進行可行性方案設計。配電網狀態(tài)全景感知與融合計算子架構采用工業(yè)級兼容性數據采集模塊，選用北京恒頤創(chuàng)興科技有限公司研發(fā)的泛在物聯網框架協議下的智能RTU數據采集終端HY-MON-02為電力設備物資數據全景感知硬件載體，內置32位意法半導體微處理器，工業(yè)級頻率可達400 MHz，支持ZigBee無線自組網等多種數據通信方式，具有故障自修復功能，內置64 G大容量數據存儲器，可以分時進行高速原始數據暫存，掉電不丟失，為全景還原配電網真實工作狀態(tài)提供基礎原始數據[11]。針對基礎原始數據存在的有益信息冗余嚴重、內存資源消耗量較大、格式多維且優(yōu)先級不明確等弊端，融合嵌入Storm流計算的數據融合算法對基準位移、環(huán)境溫度、環(huán)境濕度、機體噪音、機體振動、泄露電流、動作電壓、諧波電流等多維差異數據進行快速計算與暫存，獲取連續(xù)時間序列下的全景觀測數據，改善基礎原始數據維度分散且存儲無序，給出具有一致性解釋的歸一化全景數據集，則基于泛在物聯網的狀態(tài)全景感知與融合計算子架構邏輯如圖3所示。

圖3 基于泛在物聯網的狀態(tài)全景感知與融合計算子架構邏輯示意

基于硬件資源消耗與實時性考慮，提高多維差異數據分布式實時處理的效率和容錯水平，針對基于模糊神經網絡的多傳感器數據融合算法存在的大體量差異多維數據數據流融合效率較低、分布式數據采集框架下的有益信息攝取效能較低，并行實時流處理機制缺失等弊端，給出了一種融合嵌入Storm流計算的數據融合算法。涵蓋基準位移、環(huán)境溫度、環(huán)境濕度、機體噪音、機體振動、泄露電流、動作電壓、諧波電流等配電網多維差異數據以大量、快速、時變的流形式持續(xù)到達，具有時間序列持續(xù)性、潛在大小不可估計性、原始數據源復雜且格式多維、具有周期性的存儲覆蓋性、數據整體系統價值性等屬性，在進行數據歸一化處理的同時進行實時計算，構建配電網數據全景感知與融合計算同步機制。如圖4所示，給出了配電網數據全景感知與融合計算同步機制工作流程[12]，Storm集群采用主從架構方式，主節(jié)點是Nimbus，從節(jié)點是Supervisor，有關數據融合相關的信息存儲到ZooKeeper集群中，采用Topology進行數據流與數據融合并行計算，存在數據融合進程的Topology與Spout/Bolt內置的 Task任務具有一對多的物理映射，均勻分布在多個從節(jié)點Supervisor蘊含的多個Worker內部，而每個Worker又與 Executor存在一對多的物理映射，則根據實際對Topology的配置在運行時進行融合計算并分配。

圖4 狀態(tài)全景感知與融合計算子架構同步機制工作流程示意

2.2 基于強化學習的配電物聯網智能決策與協同自治子架構

基于強化學習的配電物聯網智能決策與協同自治子架構開創(chuàng)了解決高維、復雜、耦合、非線性、連續(xù)狀態(tài)空間下的自我感知、自主決策屬性下的配電物聯網智能控制的新途徑，具備未知復雜環(huán)境下的高維信息感知融合能力與耦合高維因素作用下的決策能力[13]，較好地解決了智能感知與決策模型空間限制性問題。基于強化學習的配電物聯網智能決策與協同自治子架構包括狀態(tài)參數自主全面感知、配網調度全局最優(yōu)協同、物理資源虛擬化管控、軟硬件深度解耦等子過程，如圖5所示。其中，狀態(tài)參數自主全面感知子過程對原始配電網運維產生的海量狀態(tài)參數進行清洗處理，為了便于進行狀態(tài)參數自主全面感知，引入數據流觸發(fā)機制，配電網上電運維即時進行狀態(tài)參數采集；配網調度全局最優(yōu)協同子過程利用預處理過的數據進行強化學習，在深度卷積神經網絡過程中融入Q學習機制[14]，基于單層Q網絡模型，通過輸入信息異道機制實現交互環(huán)境獎勵值與動作執(zhí)行獎勵值隔離，融入雙重Q網絡(策略網絡和估值網絡)實現配網調度全局最優(yōu)感知與決策；物理資源虛擬化管控及軟硬件深度解耦子過程進行強化學習效果的分析測試與軟硬件縱向擴展，利用單層Q網絡模型中內置的卷積核學習運行環(huán)境數據，雙重Q網絡內置卷積核學習動作信息數據，實現物理資源的虛擬化管控，進而實現配電網軟硬件資源的深度解耦。

圖5 基于強化學習的配電物聯網智能決策與協同自治子架構邏輯示意

為了準確高效地傳輸智能決策與協同控制流，基于配電物聯網設備存在多維耦合的實際情況，選用Mesh自組網實現控制流可靠傳輸。采用直接序列擴頻技術構建數據包多線程傳輸機制，融入基于Mesh協議的節(jié)點網絡自組織和自愈功能，通過協調網絡拓撲結構的自組網協調器實現多線程傳輸，如圖6所示。

圖6 傳輸智能決策與協同控制流數據包多線程傳輸工作流程

協調器軟件主要分為設備通信初始化子進程、面向傳感器集群的協調器自組網子進程、路由節(jié)點和傳感器節(jié)點入退網子進程。數據信息處理(包括數據收發(fā)功能)子進程等具體工作流程如下：

a.ZigBee多節(jié)點無線物聯自組網上電啟動后進行協調器軟件初始化并實時監(jiān)測傳感器集群硬件自組網是否成功。

b.開啟節(jié)點網絡監(jiān)測機制，若監(jiān)測到網絡[15]，則選擇協調器或者路由節(jié)點作為初始父節(jié)點申請加入網絡，否則把節(jié)點屬性設置為協調器組建網絡機制。

c.開啟子節(jié)點入退網監(jiān)測機制，如果申請入網，則根據組網需求增加子節(jié)點并為子節(jié)點分配NWK參數，如果申請退網，釋放原有的NWK參數關聯。

d.開啟多維數據傳輸機制，選擇被測數據傳輸子節(jié)點，接收終端節(jié)點的多維數據進行數據上傳。

ZigBee多節(jié)點無線物聯自組網工作在2.4 GHz頻段，劃分為16個信道，步長值為5 MHz，編號為1l～26，協調器通過調用信道輪詢函數對信道能量波動進行實時掃描，能量水平高標志該信道無線信號活躍，協調器根據能量掃描信息選擇一個可以利用的信道建立自己的無線網絡實現多維數據有效傳送。

2.3 基于邊緣計算的軟硬件深度解耦與數據協同子架構

邊緣計算的本質在于擴展數據來源結構，實現萬物云化環(huán)境下的異構數據多維耦合，構建軟硬件深度解耦與數據協同子架構。經過融合嵌入Storm流計算的數據融合算法處理形成的具有一致性解釋的歸一化全景數據集，引入邊緣計算進行數據源遷移，采用ZigBee多節(jié)點無線物聯自組網進行數據編碼打包操作，通過基于Mesh協議的自組網協調器實現編碼數據包多線程傳送。設定傳送頻率為250 Hz，則每秒有250個數據包進入上位機存儲單元，每個數據包由33個字節(jié)組成，包括固定起始字節(jié)區(qū)、數據索引標識區(qū)、通道1～8電力設備物資多維狀態(tài)數據區(qū)、校驗數據區(qū)、固定結束字節(jié)區(qū)等，按照時間序列正序對各區(qū)進行數據包實時解碼，為應用軟件端進行數據合并、重塑和復現提供有序數據素材。如圖7所示，融入邊緣計算模型，PyCharm內核集成開發(fā)環(huán)境下，基于Python 3.7.4內核，引入Numpy擴展程序庫，對經過邊緣計算模型處理過的數據包進行格式歸類，生成CSV格式文件，借助Pandas結構化數據集處理工具集創(chuàng)建合并數據表，利用Merge函數對合并數據表進行交集處理、實現匹配合并；利用Append函數對匹配合并數據集進行重塑處理，建立時間序列與面板對象的物理映射[16]，通過Levels進程建立有益信息推斷鑰匙機制，實現基于數據特征的分組標記；利用Group_by和Pivote_table函數對分組標記數據集進行相關性合并與冗余度校驗，給出融合時間和空間序列的全景數據復現集，通過Pyecharts類庫，實現邊緣計算模型下的軟硬件深度解耦與數據協同。

圖7 基于邊緣計算的軟硬件深度解耦與數據協同子架構邏輯示意

對基于邊緣計算的軟硬件深度解耦與數據協同子架構進行公式化處理并編程實現，基于Python 3.7.4內核，在PyCharm集成開發(fā)環(huán)境下，選取某小型配電網增量變電站感知傳感器集群中的變壓器感知數據為驗證載體，利用國網江蘇省電力有限公司轄區(qū)內某220 kV變電站為基礎原始數據采集環(huán)境，選取2019年6月—12月配電網所屬的某型號主變壓器中性點電流感知數據為仿真數據載體，對基于邊緣計算的軟硬件深度解耦與數據協同子架構進行了仿真驗證，仿真參數設定如下：初始化訓練網絡，128×128×24；折扣因子γ初始值，0.98；學習率α初始值，0.001；動作獎勵值的絕對值，[0,1.1]。仿真環(huán)境設定如下：Python3.6.5編譯內核；TensorFlow-GPU 1.8.0；Keras 2.2.2和Gym0.10.8。仿真結果如圖8所示。

由圖8可知，基于邊緣計算的軟硬件深度解耦與數據協同子架構具有較好的數據融合與邊緣數據遷移效能，具備基于功能區(qū)劃分的數據定位、基于冗余度分析的數據合并、基于Append函數的數據集匹配合并及重塑處理、建立時間序列與面板對象的物理映射，基于Levels進程建立有益信息推斷鑰匙機制，構建基于數據特征的分組標記下的融合時間和空間序列的全景數據遷移集等基于邊緣計算的軟硬件深度解耦與數據協同子架構完整壽命周期實現效能，為實現配電物聯網架構下的軟硬件深度解耦與數據協同提供有力支撐。

圖8 基于邊緣計算的軟硬件深度解耦與數據協同子架構仿真效能

3 配電物聯網體系架構工程化應用效能驗證

為了實際驗證文中所提基于邊緣計算與強化學習的配電物聯網體系架構系統在一線運維環(huán)境下的實際效能，選取國家電網智慧供應鏈中的實物ID系統驗證配電物聯網體系架構的工程應用效能。引入電網實物資產統一身份編碼機制，具體如圖9所示，實現電網主配網存量全息運維數據的一鍵式獲取，借助配電物聯網體系架構提供的基于強化學習的配電物聯網智能決策與協同自治機制，構建具備編碼自動分配與一致性校驗、隱患排查信息完整可追溯、跨系統貫通與平臺可移植、全息數據深度聚類分析與主動預警等功能的電力資產全局協同精準化管理架構。借助基于邊緣計算與強化學習的配電物聯網體系架構可以便捷地構建實物 ID 在智慧供應鏈中的應用原型系統，系統具備電力設備全息數據便捷獲取與融合、電力資產普查臺賬實時更新、隱患排查數據的實時反饋與預警等全方位立體電力資產普查與隱患排查體系效能，主配網設備物料分類、增存量設備分類、資產普查分類、隱患排查分級預警等多碼對應的一致率達100%，實現了電力資產全息數據全維度收集、全過程追蹤、全方位共享，驗證了基于邊緣計算與強化學習的配電物聯網體系架構工程應用層面的時效性，提供了定量化的案例參考。

基于經濟性考慮，采用微應用擴展的模式對國網江蘇省電力有限公司轄區(qū)某小型配電網現役的ERP系統進行適應性改造，增加多維差異性信息物理高度融合模型構建、配電物聯網體系架構的邊緣計算層級擴展、配電物聯網體系架構的智能決策與協同自治等全方位立體配電物聯網全壽命周期軟件處理進程，分配單獨的內存資源，定期進行業(yè)務數據內網交互，實現架構內數據全景共享，如圖10所示。從構建泛在物聯網下的全面云化機制，實現配電設備泛在互聯、運維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運維環(huán)境下的協同自愈等全壽命周期內的動態(tài)實時全景感知等層面對微應用擴展模式下的配電物聯網體系架構進行工程化應用布置，為基于邊緣計算與強化學習的配電物聯網體系架構在國網江蘇省電力有限公司轄區(qū)內推廣應用提供案例支撐。

結合圖9給出的實物ID在供應鏈中配電物聯網應用場景拓撲和圖10給出的面向工程化應用的配電物聯網體系架構軟硬件部署方案，從定性和定量2個層面分析基于邊緣計算與強化學習的配電物聯網體系架構的工程化應用效能，選取國網江蘇省電力有限公司轄區(qū)某小型配電網現役的TDS-FDS-200型低壓配電網作為對照組，從運維數據感知有效率等多維度驗證了配電物聯網體系架構的工程應用效能，如表1所示。

圖9 實物 ID 在供應鏈中配電物聯網應用場景拓撲示意

圖10 面向工程化應用的配電物聯網體系架構軟硬件部署

表1 配電物聯網體系架構工程化應用效能對比

4 結束語

以國家電網公司關于新型智慧配電物聯網體系架構系統總體規(guī)劃綱要為總指導，著重針對國家電網公司現役的配電網絡架構存在的可擴展性較差、全網運維狀態(tài)感知失衡、邊緣網端劃分密集且計算困難、協同自治與智能決策機制缺失、對抗環(huán)境下的模型性能下降嚴重等固有弊端，提出了一種基于邊緣計算與強化學習的配電物聯網體系架構模型。通過引入邊緣計算機制，從根本上優(yōu)化了配電物聯網的遠端計算性能，擴展了數據來源渠道，實現了萬物云化環(huán)境下的異構數據多維耦合，構建了融合時間和空間序列的全景數據復現集，通過Pyecharts類庫，實現邊緣計算模型下的軟硬件深度解耦與數據協同；通過在強化學習中融入深度學習，構建具有自主感知與自主決策屬性的面向配電物聯網的多維差異性信息物理高度融合模型，構建自主全面感知、全局最優(yōu)協同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯網體系架構。選取恰當的典型仿真場景，在Gym-TORCS環(huán)境下對架構感知決策進行效能仿真驗證，在此基礎上，國網江蘇省電力有限公司轄區(qū)某小型配電網為效能評價載體，對架構模型進行了工程應用分析，結果表明架構模型具備自主全面感知、全局最優(yōu)協同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯網體系架構效能，較好地解決了配電物聯網自主感知與智能決策之間的耦合矛盾，實現全局最優(yōu)，具有穩(wěn)定性高、抗干擾性強、自主感知性高等優(yōu)勢，符合智慧配電網體系在萬物云化環(huán)境下的發(fā)展趨勢。