基于5G與CNN的智能電網穩定性預測①

呂 超,朱雪陽,丁忠林,丁 儀,朱秋陽

1(南京南瑞信息通信科技有限公司,南京 211106)

2(南京郵電大學 通信與信息工程學院,南京 210003)

第5 代移動通信技術(fifth-Generation,5G)是繼4G 之后,為了滿足智能終端的快速普及和移動互聯網的高速發展而正在研發的下一代無線移動通信技術[1].目前,國內外正在對5G 移動通信技術進行研究[2–5].5G 不僅為我們帶來了更好的寬帶體驗,也將對電力行業產生深遠的影響[6–10].其中,智能電網作為5G 與電力行業交叉融合下的一項典型應用,正在快速發展[11–13].

作為電力系統的一項重大創新,智能電網方便了電力系統的管理,在很大程度上能夠提升電力系統的服務質量.但是,電力網絡中的傳感器及其他接入設備的增多,將給電力系統帶來了較大的負擔.為了向用戶提供源源不斷、質量合格的電能,要求電力系統具有很高的穩定性和可靠性[14,15].

目前,很少有對智能電網穩定性預測的相關研究,但有許多針對電力系統穩定性分析的研究可供參考.隱形梯形積分法是電力系統暫態穩定性分析中的最基本的數值計算方法之一,文獻[16]通過采用隱形梯形積分法得出系統最大相對搖擺角曲線圖,進而去判定系統的暫態穩定性.文獻[17]運用電力系統動態等值分析原理,以耦合特性分析為切入點研究電力系統穩定性分析方法,但該方法不能較好的適應于非線性系統.文獻[18]針對該問題,提出了一種適合非線性復變系統的綜合動態等值法來評估電力網絡的靜態電壓穩定性.元件參數也是影響系統穩定性的重要因素之一,文獻[19]綜合運用攝動原理、軌跡靈敏度方法、參數靈敏度分析方法研究了同步發電機、調速器、勵磁系統、主要輸電線路和變壓器等參數對電網暫態穩定性的影響.除了以上的數值分析方法,文獻[20]從動力學角度出發,將電力網絡的非線性動力學方程和復雜網絡相結合來研究電力網絡的穩定性.

在5G 時代,機器學習和深度學習賦予了這個社會“智能”,這些概念自提出以來就得到了廣泛的關注,并且出現了多方面的應用.文獻[21]使用機器學習前沿算法XGBoost 算法對電力系統暫態穩定性問題進行建模,并將模型輸出進行概率化,以評估模型預測的可靠程度.分布式智能電網(Decentralized Smart Grid,DSG)是針對存在彈性節點的電力網絡所提出的新技術,陳旭等人為了分析DSG的系統穩定性,應用具有代表性的6 種機器學習分類模型,結合電力系統安全性、穩定性、經濟性3個方面的需求測試了各分類模型對DSG 系統穩定性預測的效果[22],然而由于電力數據龐大且參數眾多,簡單的機器學習模型并不能滿足對電力網絡準確預測的要求.因此,本文提出了一種基于卷積神經網絡的智能電網穩定性預測算法,首先對從智能電網中采集到的數據進行處理,之后將其輸入到CNN 模型中,經過不斷的迭代運算,最終得到一個電力網絡穩定性預測模型.經過仿真驗證,該模型對于智能電網穩定性預測有較高的準確率.

1 基于CNN的智能電網穩定性預測

有關機器學習的各種算法例如決策樹,隨機森林,SVM (支持向量機),KNN (最近鄰算法)在電力系統中都有廣泛的應用.在這些傳統的機器學習算法上,雖然能夠得到對電力網絡穩定性的預測,但是需要耗費不小的精力去對特征進行處理,并且預測的準確度不夠高.本章將介紹一種基于CNN的智能電網穩定性預測的算法,該算法由兩個卷積層,兩個池化層以及兩個全連接層構成,仿真驗證了該算法有良好的準確率.并且本文還比較了Adam[23],RMSprop[24]、SGD 以及帶有動量的SGD (MSGD)4 種不同優化算法對于模型訓練的影響[25].

1.1 基于卷積神經網絡的數學建模

本文采用的卷積神經網絡的基本單位為神經元,神經元的結構模仿了人類腦部的神經系統,多個神經元相互連接而成一個神經網絡.一個基本的神經元由線性函數和激活函數兩部分構成,神經元的一側接收輸入信號,經過線性函數的加權和加偏置處理,將結果輸入至激活函數,之后由另一側輸出最終結果.具有3個樹突的單個神經元建模如圖1所示.

圖1 單個神經元建模圖

神經元模型的公式為:

其中,wi為線性函數的權重,b為偏置單元.

接著,需要通過損失函數來優化模型,損失函數的定義如下:

其中,n為訓練集的數量,h(i)為預測的輸出,y(i)真實值.

單層的神經元構成的神經網絡雖然簡單,但學習能力有限,只能處理一些簡單的線性分類任務,具有很大的局限性.而通過電力系統采集到的數據具有非線性和復雜的特點,因此,為了處理這些較為復雜的問題,本章采用了引入非線性函數的CNN來進行智能電網穩定性的預測.基于CNN的電力網絡穩定性預測建模如圖2所示.

圖2 基于CNN的智能電網穩定性預測建模圖

卷積神經網絡的工作原理就是通過不斷地迭代去更新線性函數的權重和偏置單元,使得損失函數的值最小,同時得到一個較高的分類準確度.CNN 具有參數共享和稀疏連接的功能,這些功能模仿了生物視覺細胞只對局部視野或者特征敏感的特點.

基于CNN的智能電網穩定性預測模型通過卷積層自動提取與電網穩定性相關的12個特征,再經過池化層對數據進行降維,最后通過全連接層以及Softmax分類函數得到預測結果.衡量CNN 模型優劣的Accuracy值的范圍在0 到1 之間,Loss 值一般也在1 以下.Accuracy值越低,Loss 值越高,則代表該模型的預測結果較差,反之則表明模型越優.

1.2 基于CNN的智能電網穩定性預測

除了分析電網系統維護人員的不良行為或者誤觸行為,依據電網產生的數據對其穩定性預測也是有效減少電力事故,提高電力系統安全性的有效方法.因此,本文提出了基于CNN的智能電網穩定性預測模型,該模型采用了kaggle 上來自國外某電網系統采集到的68000個數據.

對于數據集,由于各個特征值的范圍不同,因此需要對數據進行預處理.預處理的目的是將數據的大小歸一到一個統一的尺度內,加快模型的訓練速度,提高分類精度.數據預處理的方式通常有兩種:一種是標準化,另一種是歸一化.歸一化方法容易受到數據集結構不均衡的影響,因此在這里采用標準化對數據進行預處理.處理的步驟如下:首先求取各個特征的數學期望E(Xi)和標準差Si,然后根據以下公式得到標準化值:

其中,Xij是數據第i個特征的第j個值,E(Xi)為第i個特征的均值,S i為第i個特征的標準差.

CNN 模型自動會提取電力網絡中參與者的反應時間,標準功率,價格系數等12個特征,并對其進行標準化,為了能夠將數據輸入CNN 模型中,需要調整數據結構將其轉化為與CNN 輸入矩陣大小一致的特征矩陣.

本節首先將經過標準化處理電力網絡數據集后得到的12個特征轉化為矩陣,并輸入CNN 模型進行特征的提取.其中,CNN 模型中卷積層的權重更新如下:

(1)首先,需要定義誤差函數,公式如下:

其中,N是樣本的個數,K是樣本的類別(即樣本被分K類),ynk表示第n個樣本yk的第k維,pnk是第n個樣本pk網絡輸出的第k維.

最小化式(4)中的C可更新網絡的權值,使得CNN 模型的輸出預測值更加接近真實值.

(2)其次,定義卷積層第l層的輸出xlj為:

其中,xlj表示第i層的第j個特征,f是CNN的激活函數,M j表示輸入數據的特征矩陣,為l層中連接輸入的第i類特征和輸出的第j類特征的卷積核,blj則為l層中j特征對應的偏置參數.

(3)誤差靈敏度δlj可表示為:

(4)接下來求誤差函數對偏置和卷積核的偏導:

式(7)、式(8)是對l層中所有的誤差靈敏度進行求和,(u,v)是靈敏度矩陣中各元素的位置.

CNN 模型中池化層的權值更新如下:

(1)池化層的第l層的輸出xlj可被定義為:

其中,f是激活函數,down是下采樣操作,bkj為偏置.

池化層中誤差函數C對偏置bj的偏導等于卷積層中誤差函數E對偏置bj的偏導.

在神經網絡中,常用的非線性激活函數有Sigmoid函數、ReLU 函數、tanh 函數等,其中Sigmoid 函數和tanh 函數隨著自變量x的增加,其梯度會越來越小,趨近于0,這將導致迭代過程中權重的值更新緩慢,因此,為了解決梯度消失這個現象,在CNN 模型中采用ReLU函數作為激活單元.ReLU 函數在x>0時梯度恒為1,在x<0時恒為0,結構簡單并且計算成本較低,速度較快,為CNN 模型的快速收斂提供了保障.

激活單元ReLU 函數的定義為:

在CNN 模型中,不同的優化算法對電力網絡穩定性預測的準確度不同,并且不同的優化算法的收斂速度也不一致.因此,為了找到一個適合此模型的最優化算法以及比較不同優化算法之間的差異,本文分別采用了Adam[23],RMSprop[24]、SGD 以及帶有動量的SGD(MSGD)4 種不同優化算法對CNN 模型進行優化[25].

SGD 算法即隨機梯度下降算法,它可以加快收斂的速度,使Loss 函數收斂到更小的最小值,然而,由于更新的頻率比較快,SGD 會產生梯度震蕩,導致收斂不穩定.因此,本文采用了加有動量的SGD 算法對權重w和偏置b進行更新,帶有動量的SGD 會在前一步的累計梯度上有一個跳躍,之后加入了一個修正單元對其進行修正,更新公式如下:

其中,β為超參數,取值0.9 左右,α是學習速率,取值0.01 左右.

RMSprop 優化算法采用指數加權平均,旨在消除梯度下降中的擺動,如果在某一處梯度值比較大,則指數加權平均的結果就大,反之則小,以此來保證不同維度的梯度值都處在同一范圍,進而提高的穩定性.它的更新公式如下:

其中,β為超參數,取值0.9 左右,α是學習速率,取值0.01 左右,ε是一個偏差修正單元,取值一般為10?8.

Adam 結合了Momentum 梯度下降法和RMSprop算法,它能加快模型的學習速度.Adam 算法的參數更新公式如下:

其中,β1和β2為梯度累計的指數,是兩個超參數,在一般情況下 β1取 值0.9,β2取值0.999,dw和bd是在一次batch 上,損失函數L關于權重w和偏置b的梯度值;vdw和vdb是算法在前t?1次迭代過程中的累計的梯度動量,同樣的,sdw和sdb也是算法前t?1次迭代過程中的累計的梯度動量.

算法在前期的迭代中會出現不小的偏差,為了解決這個問題,在公式中加入了偏差修正:

加入偏差修正之后,即可對權重和偏置進行更新,公式如下:

其中,α為學習速率,在訓練過程中可以通過微調學習速率來優化權重的更新速度,ε為超參數,取值通常為10?8.

在智能電網穩定性預測算法中,CNN 模型中的權重w和偏置b在一次次的迭代過程中不斷被更新,CNN算法通過不斷地迭代,去更新權重w和偏置b,使得Loss函數無線逼近一個趨近于0的極小值,同時Accuracy函數會不斷增大,表明模型的預測效果在不斷地迭代中變得越來越好.

2 結果及分析

本文提出了一種基于CNN的智能電網穩定性預測算法,采用了kaggle 上來自國外某電力系統的數據,該數據包含60000個樣本,它含有每個網絡參與者的反應時間、每個網絡參與者產生(正)或消耗(負)的標準功率、每個網絡參與者的價格彈性系數等12個特征.

為評價基于CNN的智能電網穩定性預測模型的訓練效果,本節利用相同的數據集進行了Loss 函數和Accuracy 函數的仿真,并對比了SVM、AdaBoost,隨機森林3 種不同的算法,如圖3和圖4所示.

從圖3、圖4可以看出,本文提出的算法與SVM、AdaBoost,隨機森林相比,有著較高的準確率.圖3表明,隨著數據量的增大,算法的準確度不斷提高,并且CNN 算法的準確度要遠遠高于其余3 種算法;圖4表明,損失函數隨著數據量的增大而不斷減小且逐漸趨于穩定,CNN 算法的損失函數始終處于最低水平.因此,可以認為CNN 算法可以更好地為智能電網的穩定性作出預測.

圖3 不同模型準確度比較

圖4 不同模型損失函數比較

本文還比較了Adam[23],RMSprop[24]、SGD 以及帶有動量的SGD(MSGD)4 種不同優化算法對于CNN 模型訓練的影響[25],如圖5和圖6所示.

從圖5、圖6可以看出,CNN 模型的Accuracy 值與訓練集的數量成正相關,Loss的值與訓練集的數量之間成負相關,并且隨著智能電網數據集的增加,該模型的Loss 值和Accuarcy 值逐漸趨于平穩.圖5表明,在相同的數據集下,MSGD 算法的準確度>Adam>RMSprop>SGD,且隨著數據集的增大,SGD 算法的準確度逐漸趨于穩定且始終大于其余3 種算法.圖6表明,4 種優化算法的損失函數都隨著數據量的增大而減小并趨于穩定,且MSGD 算法的損失函數始終小于其他3 種算法.這表明了,帶有動量的SGD 算法比RMSprop、Adam、SGD 算法有更好的訓練效果.

圖5 準確度和訓練集數量的關系

圖6 損失函數和訓練集數量的關系

圖7、圖8表明,CNN 模型的Loss 值與迭代次數成負相關,Accuracy 值與迭代次數成正相關.從圖7可以看出,算法的準確度:MSGD>Adam>RMSprop>SGD,并且隨著迭代次數的增加,準確度不斷提高.從圖8可以看出,隨著迭代次數的增加,四種優化算法的損失函數都逐漸下降,且MSGD 算法的損失函數始終低于其他3 種算法.這表明MSGD 算法比SGD、RMSprop以及Adam有更低的誤差損失,用MSGD 算法去優化CNN 模型具有更好的效果.

圖7 準確度和迭代次數的關系

圖8 損失函數和迭代次數的關系

綜上可以看出,與SVM、AdaBoost,隨機森林相比,CNN 模型特可以更好地幫助我們去預測智能電網的穩定性,這是因為CNN 特有的參數共享和稀疏連接功能可以自動化處理高維特征;對于CNN 模型的優化方面來講,Adam和RMSprop是僅次于MSGD的最優的兩個算法,這兩種算法都能夠自適應學習速率,其中,RMSprop 采用了遞推的形式記錄歷史梯度平均作為動量,緩和了參數變化的劇烈程度;Adam 綜合了Momentum和RMSprop,既記錄了歷史梯度均值作為動量,又考慮了歷史梯度平方和實現各個參數學習率的自適應調整,因此,兩種算法都具有較好的訓練效果.SGD 方法的訓練效果最差,這是由于SGD 方法的更新方向完全依賴于當前的batch,更新不穩定造成的,而在引入動量后,它的更新在一定程度上保留了之前的方向,同時利用batch的梯度對當前方向進行微調,這樣一來,可以學習得更快同時還有一定擺脫局部最優的能力,因此,MSGD的訓練效果很好并且超過了Adam和RMSprop 算法.

3 結束語

本文提出了一個基于5G和CNN的智能電網穩定性預測算法,首先對電力網絡產生的數據進行采集,接著針對采集到的數據進行預處理并輸入進CNN 模型,經過CNN的卷積、池化、以及Softmax 函數等的處理以及不斷地迭代,最終得到智能電網穩定性預測模型.同時,為了探究不同優化算法對于CNN 預測模型的影響,分別利用SGD、MSGD,RMSprop 以及Adam 對模型進行優化和訓練,對比了3 種算法在不同情況下的Accuracy和Loss 值變化情況.最終的結果表明,帶有動量的SGD 算法(MSGD)去優化CNN 模型可以達到98.13%預測效果,利用該模型可以有效地幫助電力系統對未知的問題提前預警,降低了安全隱患,避免了電力事故的發生.