數字孿生輔助的智慧園區物聯終端接入調度方法

賈澤晗,于子淇,石 珵,廖海君,周振宇,孫 健,白暉峰,張 頡

(1.華北電力大學新能源電力系統國家重點實驗室,北京 102206;2.北京智芯微電子科技有限公司,北京 100192;3.國網四川省電力公司電力科學研究院,四川 成都 610041)

0 引言

智慧園區通過物聯網、大數據等新一代信息技術手段實現園區產業發展智能化。能源系統是智慧園區的重要基礎設施,其低碳運行是實現“3060”雙碳目標、構建新型電力系統的重要環節[1]。數字孿生通過部署大量物聯終端采集海量實時信息,為實現智慧能源管理提供數據支撐和精確指導[2]。然而,基于數字孿生的能源管理模型構建需頻繁的數據交互,使園區面臨隱私和安全威脅。

聯邦學習是保障能源管理模型構建中數據交互安全性和隱私性的有效方法,其通過解耦模型訓練與原始數據上傳解決隱私泄露問題,保障數字孿生能源管理模型構建的安全性[3],其核心機理為允許終端利用本地數據分布式地訓練能量管理本地模型,并將訓練好的本地模型上傳至中心控制器進行聯邦聚合訓練,從而獲得能量管理全局模型。文獻[4-5]提出將聯邦學習與數字孿生相結合,解決了模型訓練與隱私保護之間的沖突。文獻[6]采用統一的認證機制對源數據進行安全管理,對于擴展智慧園區的安全應用場景具有重要意義。基于聯邦學習的能源管理模型構建需要調度合適的終端接入基站進行能源管理本地模型訓練,以提高能源管理全局模型的精度。然而,終端接入調度還需解決如下技術挑戰。

首先,異質物聯終端具有差異化計算能力,需要優化接入調度來提高長期能源管理全局模型訓練精度。其次,智慧園區電磁干擾、噪聲,會導致模型參數傳輸錯誤,惡化能源管理模型的精度。最后,不同業務終端具有差異化的接入需求,需要建立長期的接入優先級約束,以滿足重要終端的接入需求。

數字孿生通過提供能量、計算資源、信道特性等狀態信息估計,能夠輔助進行接入調度優化[7]。文獻[8-9]提出了基于數字孿生的邊緣網絡,并利用數字孿生輔助強化學習完成終端接入調度。然而,上述文獻忽略了電磁干擾、噪聲對模型參數傳輸的影響。文獻[10]分析了電磁干擾、噪聲等因素對全局模型精度的影響,并通過優化功率控制、資源塊分配和終端接入調度降低全局模型損失函數,但忽略了長期接入優先級約束。

因此,針對上述問題,本文基于聯邦學習的智慧園區數字孿生框架,構建園區高精度能源管理模型,并提出了一種基于數字孿生和深度Q 網絡(Deep Q Network,DQN)的終端接入調度算法。優化目標是在長期接入優先級的約束下,通過優化終端接入調度最小化能源管理模型損失函數。結合李雅普諾夫優化與DQN 算法求解上述優化問題,并利用數字孿生完成關鍵狀態信息估計,提高學習性能。最后通過仿真分析驗證所提算法的有效性。

1 系統模型構建

基于聯邦學習的智慧園區數字孿生架構如圖1所示,目的是通過數字孿生輔助聯邦學習構建一個智慧園區的能源管理模型。其中,基于聯邦學習,物聯終端訓練能源管理本地模型,并將訓練后的模型參數經由園區基站上傳至邊緣服務器。邊緣服務器聚合收集到的終端能量管理本地模型,以獲得能源管理全局模型。數字孿生通過與物聯終端實時交互,以構建智慧園區的數字化表示。同時,數字孿生為智慧園區能源管理模型構建提供實時狀態估計,輔助接入調度決策,提高能源管理模型精度。

圖1 基于聯邦學習的智慧園區數字孿生架構

具體來說,該架構主要包含3層,即終端層、邊緣層和數字孿生層。在終端層,每個電力物聯終端執行能源管理本地模型訓練過程,并將模型參數和終端接入優先級、能量、計算資源等信息上傳到邊緣層。邊緣層由基站、邊緣服務器和能源管理中心組成,邊緣服務器根據收集的本地模型參數進行邊緣聚合,以構建能源管理全局模型,為智慧園區能源管理、分布式能源出力預測、柔性負荷調控和儲能調控等業務提供支撐。數字孿生層在邊緣服務器上構建,通過與終端實時交互,即收集終端上傳的接入優先級、能量、計算資源等信息,保持與物理網絡同步[11]。同時,數字孿生可以為邊緣服務器提供智慧園區狀態信息估計,指導能源管理模型構建與終端接入調度優化。數字孿生輔助聯邦學習的智慧園區能源管理模型構建主要包含能源管理全局模型下發、能源管理本地模型訓練、模型參數上傳和邊緣聚合等過程。

1.1 能源管理全局模型下發及本地模型訓練

考慮智慧園區中有I個終端,集合表示為U={u1,u2,…,u I}。將總時間周期劃分為χ次迭代,集合定義為T={1,2,…,χ}。假設信道狀態信息在一次迭代過程中保持不變,而在不同迭代間發生變化[12]。考慮到智慧園區終端數量龐大,受傳輸資源的限制,邊緣服務器無法同時調度所有終端進行模型參數上傳,需要優化接入調度決策,選擇合適的終端參與能源管理本地模型訓練,以提高能源管理全局模型的精度。假設基站在每次迭代可以調度N?I個終端進行模型上傳。定義第t次迭代可用終端集合為S(t)∈U。定義終端接入調度指示變量為x i(t)∈{0,1},x i(t)=1表示終端u i計劃在第t次迭代進行模型參數上傳,否則x i(t)=0。分別定義終端u i在第t次迭代訓練的本地模型與全局模型,分別為v i(t)和v g(t)。被調度終端u i下載第t-1次迭代的能源管理全局模型作為本地模型M i,并將M i的參數設為全局模型參數,即v i(t-1)=v g(t-1)。

定義D i為終端u i用于訓練本地模型M i的數據集。考慮到終端間數據的異構性,本文采用上采樣或下采樣等方法首先對各終端數據集進行均衡化處理,保障終端信息模型的一致性。定義ζj和?j為數據集D i中單樣本的輸入和目標輸出。單樣本損失函數l(v i(t-1),ζj,?j)用于表示實際輸出與目標輸出之間的偏差。因此,u i在數據集D i上的損失函數可以計算為

式中:d i為數據集D i中的樣本數量。損失函數可以反映本地模型的精度,并指導參數v i(t)的更新,即

式中:μ為學習速率。

1.2 模型參數上傳及數據包錯誤率模型

在第t次迭代,當x i(t)=1時,u i將本地模型參數v i(t)和接入優先級、能量、計算資源等狀態信息上傳至邊緣服務器。一方面,u i上傳本地模型參數用于構建能源管理全局模型;另一方面,u i上傳狀態信息用于保證數字孿生與物理網絡同步。然而,智慧園區環境中強電磁干擾和噪聲會導致模型參數傳輸錯誤[13]。因此,邊緣服務器采用循環冗余校驗檢測接收到模型參數的數據包是否發生錯誤。包錯誤率表示為

式中:k為與編碼增益有關的常數;δ和I i(t)分別為噪聲功率和電磁干擾功率;H i(t)為信道增益;P i(t)為傳輸功率。定義二進制指示變量a i(t)∈{0,1},a i(t)=1表示終端u i在傳輸中沒有發生包錯誤,否則a i(t)=0。a i(t)計算為

1.3 邊緣聚合

當所有調度終端完成模型參數上傳后,邊緣服務器執行邊緣聚合過程,獲得能源管理全局模型。能源管理全局模型聚合公式為

采用全局損失函數[14]來量化能源管理全局模型的精度,能源管理全局模型的損失函數表示為

2 問題建模與轉化

2.1 接入優先級約束

根據業務重要性和服務質量要求,終端具有不同的接入優先級。在聯邦學習過程中,接入優先級高的終端需完成足夠次數的本地訓練和參數傳輸,以確保能源管理模型充分掌握其運行特征。長期接入優先級約束定義為

式中:e i為選擇u i進行本地訓練和參數傳輸次數的最小概率。

2.2 能源管理模型損失函數最小化問題建模

本文旨在利用聯邦學習技術,在數字孿生的輔助下,通過優化電力物聯終端接入調度策略,構建智慧園區能源管理模型。優化目標為在接入優先級的長期約束下,最小化智慧園區能源管理模型損失函數。定義x=(x i(t)∶u i∈S(t),t∈T)為終端接入調度向量,優化問題建模為

式中:C1和C2為基站最多可以同時調度N個終端上傳模型參數;C3為長期接入優先級約束。

基于文獻[10]中的推導可知,對于給定的傳輸功率,能源管理模型的損失函數取決于數據包錯誤率和終端接入調度決策,因此優化式(8)可等價轉化為

2.3 問題轉化

由于短期的終端調度決策與長期優化目標和約束相耦合,轉化后式(9)難以直接求解。基于李雅普諾夫優化中虛擬隊列[15]的概念可以實現長期約束和短期終端調度優化的解耦。長期接入優先級約束C3可以轉化為隊列穩定性約束,定義接入優先級赤字虛擬隊列為K i(t),其更新計算為

K i(t)表征了終端u i在第t個時隙實際接入性能與規定約束之間的偏差。如果K i(t)是平均速率穩定的,那么C3自動滿足。式(9)可以轉化為

定義向量A(t)=[K i(t)],李雅普諾夫函數可表示為

李雅普諾夫漂移定義為李雅普諾夫函數在連續2次迭代的條件期望變化[16],表示為

為實現智慧園區能源管理模型損失函數在隊列穩定性約束下的最小化,定義漂移加懲罰為

式中:V為平衡優化式(11)與隊列穩定性的權重參數。因此,式(11)可以轉化為在C1~C2約束下,最小化ΔVL[A(t)]的上界問題,表示為

式中:C為常數,不影響李雅普諾夫優化。因此,式(11)轉化為

可以看出,通過最小化李雅普諾夫漂移加懲罰的上界,可以在滿足隊列穩定性的同時最小化懲罰,即在滿足終端長期接入優先級約束的前提下,最小化智慧園區能源管理模型損失函數。

3 基于數字孿生和DQN的終端接入調度優化

3.1 MDP建模

本文提出基于數字孿生和DQN 的終端接入調度算法來求解轉優化后的式(16)。首先,接入調度問題可以建模為馬爾科夫決策過程(Markov Decision Process,MDP)模型,其關鍵元素包括狀態空間、動作空間與成本函數[17]。

1)狀態空間。狀態可以通過數字孿生估計獲得。定義K(t)={K1(t),…,K i(t),…,K I(t)}、H′(t)={H′1(t),…,H′i(t),…,H′I(t)}、I′(t)={I′1(t),…,I′i(t),…,I′I(t)}。其中H′i(t)和I′i(t)分別表示由數字孿生估計的信道增益和電磁干擾估計值。狀態空間定義為G(t)={K(t),H′(t),I′(t)}。

2)動作空間。動作空間定義為終端接入調度指示變量x i(t)的集合,即A(t)={x1(t),…,x i(t),…,x I(t)}。

3)成本函數。成本函數定義為θ(t)。

3.2 DQN 算法

DQN 在Q-learning 的基礎上發展而來,是將深度學習與強化學習結合起來,從而實現從感知到動作的端對端學習的一種新的算法。Q-learning適用于狀態和動作空間是離散且維數不高的優化問題求解,其估計了在狀態s下選擇動作a的價值,即Q值[18],計算為

式中:η、R、γ和s′分別為學習速率、回報值、折扣因子和下一狀態。在每次迭代,Q-learning 基于估計的Q值,利用ε-貪婪算法完成動作選擇。

Q-learning使用Q 表儲存每個狀態、動作對的Q值。然而,當狀態和動作空間是高維連續時,需要大量的存儲資源來存儲每個狀態、動作對的所有Q值,導致Q-learning 實用性差和效率低。因此,針對維度詛咒問題,考慮到深度神經網絡自動提取復雜特征的強大能力,本文利用DQN 將Q表的更新問題轉換成一個函數擬合問題,其概念是利用深度神經網絡將狀態和動作之間的映射關系近似到Q值,而不是直接計算和存儲它們。具體來說,DQN 通過更新深度神經網絡參數v(t),使Q函數逼近最優Q值,即

式中:ρ為策略,即狀態和動作之間的映射。

3.3 基于數字孿生和DQN 的終端接入調度算法

本文采用數字孿生和DQN 求解智慧園區能源管理模型構建的電力物聯終端接入調度問題。其中,數字孿生用于為DQN 調度決策提供精準狀態估計。DQN 可以利用深度神經網絡從歷史數據中提取特征,并基于估計的Q值學習最優策略。如圖2所示,本文所提基于數字孿生和DQN 的終端接入調度算法主要包含接入調度決策、模型下載、本地訓練、本地模型參數上傳和邊緣聚合。

圖2 基于數字孿生和DQN的終端接入調度算法框架

首先,初始化虛擬隊列積壓和接入調度指示變量為0。在每次迭代初,邊緣服務器基于數字孿生提供的狀態信息,估計動作Q值Q[G(t),v(t)],并選擇終端進行參數傳輸,獲得接入調度策略π(t)。

其次,被選擇終端u i∈π(t)下載能源管理全局模型v g(t-1),利用本地數據集執行本地訓練,并將訓練后的模型參數傳輸到基站。在此基礎上,根據公式(10)更新K i(t+1)。

隨后,基于收集到的模型參數,邊緣服務器執行邊緣聚合過程,獲得能源管理全局模型v g(t)。根據公式(16)計算成本θ(t),并將數字孿生轉移至下一狀態G(t+1),即

最后,邊緣服務器計算DQN 損失函數為

基于梯度下降法[19],DQN 網絡參數v(t)更新為

式中:η為DQN 學習 速率。

本文提出基于數字孿生和DQN 的終端接入調度算法的算法表如下所示,包含初始化、決策和學習3個階段。

算法表 基于數字孿生和DQN 的終端接入調度算法

1)輸入:I,χ,N,V,{K i(t)};

2)輸出:x;

3)階段一:初始化

4)設置K i(t)=0,x i(t)=0,θ(t)=0,?u i∈U,?t∈T;

5)循環while≤χ。

6)階段二:決策

7)邊緣服務器基于數字孿生提供的狀態信息,估計動作Q值Q(G(t),v(t)),并選擇終端進行參數傳輸,獲得接入調度策略π(t);

8)foru i∈π(t);

9)終端u i下載能源管理全局模型v g(t-1),利用本地數據集執行本地訓練,并將訓練后的模型參數傳輸到基站;

10)根據公式(10)更新K i(t+1);

11)end for

12)邊緣服務器執行邊緣聚合過程,獲得能源管理全局模型v g(t);

13)根據公式(16)計算成本θ(t),并將數字孿生轉移至下一狀態G(t+1)。

14)階段三:學習

15)邊緣服務器根據公式(20)計算DQN 損失函數?;

16)邊緣服務器根據公式(21)更新DQN 網絡參數v(t);

17)t=t+1;

18)end while

本文所提基于數字孿生和DQN 的終端接入調度算法能夠實現終端接入優先級感知。由公式(10)可以看出,當終端u i被選擇進行本地訓練和參數傳輸的次數與規定約束偏離嚴重時,K i(t)逐漸增加,導致成本函數θ(t)增加,迫使基站調整接入調度策略,從而實現接入優先級感知,滿足終端接入需求。

4 仿真分析

本文以智慧園區電動汽車儲能能量調控為場景,園區光伏總裝機容量為600 k W,園區內包含100個電力物聯終端,用于采集電流、電壓等信息,并參與能源管理模型訓練。基于文獻[20]中提供的園區負荷以及分布式光伏出力數據,訓練分布式能源管理模型。本文通過仿真分析驗證所提基于數字孿生和DQN 的終端接入調度算法的性能,對比算法為基于上置信界的終端接入調度算法,其在長期接入優先級約束下,通過優化終端接入調度以最小化迭代時延,但是未考慮包錯誤對能源管理模型訓練的影響[21]。

仿真參數設置如表1所示。能源管理模型損失函數隨迭代次數的變化情況見圖3。當χ=300時,相較于對比算法,所提算法的損失函數降低了41.89%。這是因為所提算法利用循環冗余校驗緩解了包錯誤對損失函數最小化的不利影響。除此之外,相較于對比算法,基于數字孿生輔助的DQN 更適合解決較大狀態空間優化問題。

表1 仿真參數

圖3 能源管理模型損失函數隨迭代次數的變化情況

接入優先級赤字對比見圖4。接入優先級赤字即虛擬隊列K i(t)的隊列積壓,其表征了終端實際接入性能與規定要求之間的偏差。與對比算法相比,所提算法降低了56.74%的接入優先級赤字波動。雖然對比算法也具有接入優先級感知,但是所提算法在數字孿生的輔助下性能更優。這是由于數字孿生為DQN 提供了對關鍵狀態信息的準確預測,從而提高了學習性能。

圖4 不同算法接入優先級赤字對比

能源管理模型損失函數與接入優先級赤字隨權重V的變化情況見圖5。由仿真結果可以看出,隨著V的增大,所提算法越來越關注損失函數最小化而忽略接入優先級性能,因此損失函數逐漸降低,接入優先級赤字逐漸上升。此仿真結果為實際應用中V參數值的設置提供了參考,通過合理設置V參數值可以實現損失函數與接入優先級赤字的有效折中。

圖5 能源管理模型損失函數與接入優先級赤字隨V 的變化情況

能源管理模型損失函數與接入優先級赤字隨N的變化情況見圖6。其中,柱狀圖表示能源管理模型損失函數變化情況,折線圖表示接入優先級赤字變化情況。仿真結果表明,隨著可調度終端數量N的增加,所提算法和對比算法的能源管理模型損失函數與接入優先級赤字均減小。一方面,基站能夠調度更多的終端參與能源管理本地模型訓練和參數上傳,降低了能源管理模型損失函數;另一方面,N增加使每個終端被調度的幾率增加,終端的長期接入優先級約束得以保障。由仿真結果可以看出,所提算法性能始終優于對比算法。當N=24時,相較于對比算法,所提算法降低能源管理模型損失函數17.62%,降低接入優先級赤字49.63%。這是由于所提算法利用循環冗余校驗緩解了包錯誤對損失函數最小化的不利影響,同時利用數字孿生為DQN 提供了準確的狀態信息預測。

圖6 能源管理模型損失函數與接入優先級赤字隨N 的變化情況

能源管理模型應用于園區電動汽車儲能能量調控時的性能對比見圖7。圖中余電量表示園區光伏出力與負荷之間的不平衡量。考慮將訓練后的能源管理模型應用于電動汽車充放電調度,其中負值表示電動汽車放電量、正值表示電動汽車充電量。由仿真結果可以看出,相比于對比算法,基于所提算法訓練的能源管理模型性能更優,其調控電量與余電量吻合度更高、調控誤差更低,平均調控性能提高了46.06%,驗證了所提算法的有效性。

圖7 能量調控性能對比

5 結論

本文提出了一種基于聯邦學習的智慧園區數字孿生框架,以構建園區能源管理模型。在此基礎上,提出了一種基于數字孿生和DQN 的終端接入調度算法,通過優化電力物聯終端接入調度策略,實現了能源管理模型損失函數的最小化。仿真結果表明,與基于上置信界的接入調度算法相比,所提算法能夠降低智慧園區能源管理模型損失函數41.89%,降低終端接入優先級赤字波動56.74%,減小平均調控誤差46.06%。該研究為智慧園區低碳運行、新型電力系統建設和智慧城市建設提供理論支撐。本文的主要研究總結如下。

1)高精度能源管理模型。本文基于數字孿生實現智慧園區狀態信息估計,利用DQN 算法完成電力物聯終端精準調度,實現能源管理模型長期損失函數最小化。同時,本文采用循環冗余校驗檢測錯誤模型參數,進一步提高能源管理模型的精度。

2)接入優先級感知。本文將長期接入優先級約束轉化為隊列穩定性約束,通過最小化接入優先級虛擬隊列赤字,實現接入優先級感知。

然而,本文只考慮了通過物聯終端接入調度實現智慧園區數字孿生的構建,未考慮網絡中通信、計算、緩存等資源的優化對數字孿生精度的影響;網絡環境中的干擾、信道狀態等信息的新鮮度對數字孿生的優化同樣重要。因此在未來研究中,將進一步考慮多維資源的聯合優化以及信息新鮮度對能源管理模型的影響。