基于深度置信網絡狀態最優反饋的智能發電控制策略

戚煥興,殷林飛,萬俊,黃陽龍

(1.廣西電網北海供電局,廣西壯族自治區北海市536000；2.廣西大學電氣工程學院，南寧市530004)

0 引 言

在控制工程中，狀態反饋量與控制性能的矛盾始終存在。一方面，系統中更多的狀態反饋信息參與反饋控制將增加控制環與被控系統的耦合性，從而達到更優的控制性能。系統全狀態信息協同反饋是實現最優控制的前提[1]。另一方面，實際系統中，全狀態信息的測取通常是困難的，測取的狀態量越多，由于各種因素導致的誤差也會越大，個別狀態信息甚至無法測取，因此全狀態最優反饋(full state optimal feedback,FSOF)控制[2]在實際工程中存在較大局限[3]。這一矛盾在互聯電力系統自動發電控制(automatic generation control,AGC)問題中尤其凸顯。由于二次設備測量誤差等原因[4]，各區域電網實時獲取其他區域電網的準確狀態信息較為困難，并且由于區域跨度大，狀態信號的傳輸時延較大[5]，增加了信號的不確定性。因此，長期以來，全狀態最優反饋控制在AGC應用中一直受到限制[6]。相反的，基于輸出反饋的AGC策略，如比例-積分 (proportional integral,PI)控制[7]、次優(sub-optimal,SO)控制[8]等算法，雖然控制耦合性和控制性能欠佳，但因為易于實現，在我國得到推廣使用并成為主流[9]。

然而，近年來，電力系統逐漸復雜化、多樣化，為自動發電控制帶來了新的難題。一方面，新能源機組裝機容量逐年增加，發電能源逐漸環境友好化，風力發電[10]、光伏發電[11]等電站的出力具有較大的不穩定性，調頻能力較差[12]，出力的隨機變化常被納入負荷擾動范疇,發電側出力的整體隨機性增加；另一方面，家庭分布式發電入網增加[13]、電動汽車逐漸興起[14]一定程度上增加了負荷的隨機性，負荷側甚至可能出現功率倒送的情況，配電網模型面臨重構[15]。電力系統負荷-頻率控制(load-frequency control,LFC)模型日趨復雜化，傳統AGC策略逐漸無法滿足電力系統頻率穩定性的要求。

近年來，一些新的控制算法逐漸被引入自動發電控制領域，如模糊控制[16]、強化學習控制[17]以及自適應控制[18]等，這些算法的引入在相當程度上改善了自動發電控制的性能，但其控制過程均缺少對整個系統全狀態信息的協同考慮，無法在性能指標上達到最優控制，存在一定的局限性。

針對上述問題，本文結合深度置信網絡(deep belief network,DBN)與最優控制理論，提出深度置信網絡狀態最優反饋 (deep belief network state optimal feedback,DBNSOF)算法，引入DBN對全狀態最優反饋AGC系統進行學習，依靠DBN強大的非線性表達能力，辨識部分狀態信息與最優控制值之間的高階函數關系，最終，DBN根據所輸入的系統部分狀態量，計算并輸出近似最優發電調控值。該算法可實現非全狀態信息反饋下的系統近似最優發電控制。

本文所提出的DBNSOF算法，一方面，減少了AGC狀態反饋量，降低對電氣測量及通信設備的要求，在實際系統中更易實現；另一方面，DBN的非線性表達能力提高了反饋狀態量與被控系統間的耦合程度，提升了AGC性能，將更好地匹配與滿足智能電網背景下的運行需求[19]。

1 全狀態最優反饋控制

在DBNSOF算法中，DBN的模型訓練是基于數據實現的。因此，首先要實現基于全狀態最優反饋的控制系統，以便于數據獲取。本節對互聯電力系統LFC模型的全狀態最優反饋控制的實現進行介紹。

1.1 IEEE標準兩區域互聯系統的LFC頻域模型

首先，建立互聯電力系統的初始LFC模型，系統LFC頻域模型圖如圖1所示，表1給出了系統參數。

圖1 兩區域互聯電力系統負荷-頻率控制模型Fig.1 LFC model of two-area interconnected power system

表1 兩區域互聯電力系統參數值Table 1 Parameter values of two-area interconnected power system

如圖1所示的互聯電力系統中，區域調度中心AGC將輸出機組功率調控命令ΔPc1和ΔPc2(即二次調頻命令)，伴隨慣性時間Tg，該命令傳遞到調速器從而得到調節汽門的開度變化量ΔXg1與ΔXg2，再經Tt延時傳遞至汽輪機從而得到調控發電機組機端出力變化量ΔPg1與ΔPg2，與區域外傳輸功率偏差量ΔPtie、負荷擾動量ΔPL進行加減運算后得到區域功率—負荷偏差量，經延時比例響應后，輸出區域頻率偏差量Δf1與Δf2。而1/R1與1/R2分別作為Δf1與Δf2的負反饋增益，構成一次調頻環。

如表1所示，系統參數中，PAN與PBN為區域基準功率容量；fN為額定頻率；Tg1與Tg2為調速器慣性時間常數；Tt1與Tt2為汽輪時間常數；R1與R2為一次調頻的調差系數；B1與B2為頻率偏差響應系數；Kp1與Kp2為負荷-頻率調節效應系數；Tp1與Tp2為其慣性時間常數；T12為聯絡線同步系數；α12為區域傳輸權重系數。

1.2 IEEE標準兩區域互聯系統狀態空間模型

為求取上述系統的全狀態最優反饋控制解，需將頻域模型轉化為時域模型，系統的狀態空間表達式如下：

(1)

其中，系統狀態量具體為：

X=[ΔXc1ΔPg1Δf1ΔPtieΔXc2ΔPg2Δf2]T

(2)

U=[ΔPc1ΔPc2]T

(3)

ΔPL=[ΔPL1ΔPL2]T

(4)

式中：X為狀態向量；U為控制向量；ΔPL為擾動向量；A、B、G分別為狀態矩陣、控制矩陣、擾動矩陣，且均為定常實矩陣，各矩陣取值由系統內部耦合特性決定。

如果對該系統狀態空間添加線性最優反饋環，只能根據擾動進行延時比例調節，如文獻[20]中最優控制僅能對區域頻率偏差、傳輸功率偏差進行有差調節，存在局限性。二次調頻環應能實現對系統的無差調節，因此，需要對原系統狀態空間增加積分器，引入新的狀態量。在此引入區域控制誤差(area control error,ACE)的積分作為系統新增狀態量，該狀態量可表達為：

EACi=BiΔfi-ΔPtie

(5)

(6)

式中:i=1,2，分別代表兩個區域。

因此，新增積分項后的狀態空間表達式為：

(7)

系統狀態量為：

(8)

式中：Aa、Ba和Ga的取值詳見附錄A。

判斷該系統狀態空間的能控性，系統能控性矩陣為：

(9)

矩陣M滿秩，系統能控，新增的ACE積分項不改變閉環最優系統穩定性與可解性。

由于負荷擾動項的存在，無法直接求解該狀態空間的全狀態最優反饋矩陣，需進行等效變換，化為標準型。

電力系統負荷具有階躍性，在實際系統中，負荷變化可被視為不斷進行短期階躍的過程，而系統內部狀態變化可視作從一個穩態轉移到另一個穩態的過程。在此基礎上，定義新的擾動變量為：

(10)

定義新的狀態空間為：

(11)

(12)

其中，穩態量ΔXae應為：

(13)

且應有：

ΔXgie=ΔPgie=ΔPLie

(14)

(15)

式中:i=1,2。

因此，近似等效轉換后的狀態空間應為：

(16)

其中，系統零狀態為:

(17)

至此，經過以上等效變換，系統的全狀態最優反饋矩陣已可進行求解。

1.3 全狀態最優反饋控制的求解

首先，建立動態性能指標泛函為：

(18)

式中：J為性能指標泛函；Q為狀態偏差量的權系數矩陣，為半正定實對稱方陣；R為控制偏差量的權系數矩陣，為正定實對稱方陣。Q和R可以從系統內部狀態量與外部控制量綜合衡量AGC性能。

令：

(19)

(20)

構建哈密頓函數：

(21)

(22)

(23)

求解式(24)，可得：

(24)

(25)

綜上，全狀態最優反饋矩陣求解完畢。全狀態最優反饋下的兩區域系統如圖2所示，經系統全狀態協同反饋，AGC將輸出最優發電調控值。

圖2 基于全狀態最優反饋的兩區域互聯電力系統負荷-頻率控制系統Fig.2 LFC system of Two-area interconnected power system applying FSOF

2 深度置信網絡狀態最優反饋算法

第1節中建立的FSOF系統存在狀態反饋信息過量問題，在實際電力系統中難以實現。因此，本節提出了深度置信網絡狀態最優反饋算法解決這一問題。

2.1 深度學習與DBN理論基礎

深度學習[21]是機器學習的分支，基于深度神經網絡(deep neural networks,DNN)實現，通過反向傳播(back propagation,BP)算法[22]、對比散度(contrastive divergence,CD)算法[23]等方法對數據樣本進行學習，DNN將獲取合適的權重與偏置等參數，不斷逼近所需表達的自然模型或函數。

本文采用的DNN類型為深度置信網絡(deep belief network,DBN)[24]。DBN是由多個受限玻爾茲曼機(restricted boltzmann machine,RBM)堆疊而成的多層神經網絡，其模型結構如圖3所示。

圖3 深度置信網絡模型Fig.3 Model of deep belief network

與傳統BP神經網絡不同，DBN是一種基于能量定義的模型，其訓練過程是基于能量驅動的。

DBN的能量函數可表示為：

(26)

式中：v是可見神經元的狀態向量；h是隱藏神經元的狀態向量；vi是第i個可見神經元的狀態量；hj是第j個隱藏神經元的狀態量；wi,j是連接權重；bi是可見神經元的偏置；cj是隱藏神經元的偏置；θ是所有連接權重和偏置的參數集合。可見，vi和hj的乘積可表示兩者之間的相關程度，其與連接權重wi,j一致時，能夠得到θ的最大似然估計量。

DBN中神經元的激活是基于概率分布的，(v,h)狀態的聯合概率分布可表示為：

(27)

式中：Z(θ)為歸一化函數，其目的是使所有概率分布的總和等于1，可表達為：

Z(θ)=∑v,he-E(v,h 丨θ)

(28)

DBN內各可見神經元及隱藏神經元的激活概率可分別表示為：

(29)

(30)

DBN的訓練過程可分為以下兩個部分：

1)采用CD算法，對各RBM層進行無監督的逐層初始化訓練，獲取適宜的RBM層內權重及偏置。該部分為DBN的預訓練過程，具體實現如下所示。

步驟1：初始化權重、偏置及其他網絡參數；

步驟2：令訓練樣本(輸入樣本)為vi，根據式(31)計算對應隱層節點的概率，并從這一概率分布中獲取隱層節點激活向量樣本hj；

步驟3：運算vi和hj的外積，此為“正梯度”；

步驟5：運算v′i和h′j的外積，此為“負梯度”；

步驟7：判斷能量函數是否到達訓練目標值，若到達，訓練結束；否則重復步驟2—6。

2)首尾相接堆疊各RBM構成DBN，采用誤差反向傳播算法，對DBN進行有監督的訓練，具體實現步驟如下所示。

步驟1：按batch加入訓練樣本(輸入樣本與輸出樣本)；

步驟2：根據輸入樣本與激活函數σ(·)對神經元進行激活，得到對應的DBN輸出值；

步驟4：根據誤差函數的梯度等，修正權重及偏置，如

(梯度下降法)；

步驟5：判斷誤差函數E是否到達所設定的目標精度，若到達，訓練結束；否則重復步驟1—4。

DBN的預訓練提升了復雜模型對關鍵特征的提取能力，一定程度上降低了深度網絡的訓練難度。完成訓練后，DBN已經具備樣本特性，可根據輸入信息，計算輸出符合樣本特性的結果。

2.2 深度置信網絡狀態最優反饋算法

圖4闡述了DBNSOF算法及其智能發電控制器(smart generation controller,SGC)的實現過程。

圖4 深度置信網絡狀態最優反饋算法Fig.4 DBN state optimal feedback control algorithm

DBNSOF算法可分為如下2個部分和8個步驟。

1)建立基于全狀態最優反饋的負荷-頻率控制(FSOF-LFC)系統仿真模型。

步驟1：建立電力系統LFC模型；

步驟2：按1.2節對初始LFC模型的狀態空間作等效變化，按1.3節求取FSOF-LFC系統(參見圖2)；

步驟3：建立FSOF-LFC系統的仿真模型，對系統輸入各類負荷擾動，采集系統狀態量和與最優發電調控量的樣本集；

2)實現基于DBN的智能發電控制器。

步驟4：確定DBN架構、訓練算法、目標精度等網絡初始化參數；

步驟5：選定DBN的輸入狀態量；DBN輸出已確定為區域最優發電調控值；

步驟6：加入步驟3中采集的訓練樣本，根據2.1節中的方法，訓練DBN；

步驟7：判斷訓練是否收斂。若收斂，建立基于DBN 的LFC系統，加入負荷擾動，測試所訓練DBN的控制特性指標；否則返回步驟4；

步驟8：判斷DBN具備近似最優控制特性，即，DBN是否與全狀態最優反饋控制的響應特性具有近似性。若近似最優，將DBN封裝于SGC，投入調度中心使用，并根據更新樣本集按2.1節的DBN有監督訓練算法對DBN進行在線(自適應)訓練，對DBN進行微調，增強其泛化能力，否則返回步驟5。

DBNSOF算法中的關鍵點在于DBN輸入狀態量的選定，需從兩方面權衡考慮：一方面，選定的狀態反饋量應與發電調控量有較高的耦合性，以確保DBN訓練收斂及其泛化能力；另一方面，選定的狀態量應易于測量，并在保證自動發電控制性能的前提下盡可能少，以確保工程中易于實現。此外，需選取適宜的DBN架構與訓練算法，以保證訓練的收斂性和效率。

2.3 CPS指標

本文將基于控制性能標準(control performance standard,CPS)評價AGC性能，以下對CPS指標進行介紹。

電力系統自動發電控制的目標是使控制區域的頻率偏差Δf盡量小，并使各區域間的非計劃傳輸功率ΔPtie也盡量小[25]。因此，為共同衡量Δf、ΔPtie帶來的影響，北美電力可靠性委員會(NERC)在1997年提出了統計學性能指標CPS[26]，共同權衡了ACE和Δf帶來的影響。ACE和Δf越小，CPS指標越優，自動發電控制性能就越優。CPS具體分為CPS1和CPS2兩個指標，如下：

(31)

(32)

其中，CPS1指標一般取其1min平均值。CPS指標合格充要條件為：滿足CPS1>200% 或滿足CPS1>100% 且 CPS2>90%。

3 仿真算例

本節通過仿真實驗，驗證DBNSOF算法的控制性能。仿真實驗的硬件環境為CPU型號為i5-7500 3.40 GHz、RAM容量為8 GB的個人工作站；軟件環境為MATLAB R2019b。

3.1 基于DBNSOF的智能發電控制器的實現

本節對基于DBNSOF算法的SGC實現過程作具體介紹，如以下步驟所示。

步驟1：此算例以基于IEEE標準兩區域系統進行仿真，建立如圖1所示的電力系統LFC模型。

步驟2：根據1.2與1.3節求解得全狀態最優反饋控制解，所得最優反饋矩陣K0取值詳見附錄A，FSOF-LFC系統詳見圖2。

步驟3：在Simulink中建立步驟1中求解的全狀態最優反饋控制系統仿真模型(如圖2所示)，對系統輸入各類負荷擾動，其中包括正弦型擾動、白噪音型擾動、斜坡型擾動等典型擾動，同時對系統中的各狀態量和最優發電調控量進行采樣。此次采樣的仿真時間為107 824 s，實際樣本寫入時間為213 s。

步驟4：構建由3層RBM堆疊而成的DBN，DBN預訓練采用CD算法，BP訓練采用基于共軛梯度的BP算法[27]，訓練均方誤差目標精度設定為9 MW2。

步驟5：DBN輸入選定為自區域頻率偏差與傳輸功率偏差及其組合運算值，其中運算方式包括組合基本四則運算、積分運算等，共構成6個輸入，DBN輸出為區域最優發電調控值;

步驟6：對DBN加入對應類型的訓練樣本，按2.1節中的方法，訓練DBN。其中，預訓練(無監督訓練)樣本來自于步驟3中所采集的區域頻率偏差和傳輸功率偏差；有監督訓練樣本來自于所采集的區域頻率偏差、傳輸功率偏差和區域最優發電調控值。此次訓練中，兩區域DBN訓練樣本均超100萬組，訓練誤差下降過程如圖5所示，已收斂至目標精度。理論上，兩DBN均應已具備最優發電控制特性。將DBN封裝于SGC內，輸入區域頻率偏差Δf與傳輸功率偏差ΔPtie，即可輸出近似最優發電調控值ΔPao，SGC模型如圖6藍色區域所示。

圖5 深度置信網絡訓練過程Fig.5 DBN training process

步驟7：對所設計的SGC作初步仿真實驗，測試其發電控制響應特性。首先在Simulink環境中進行建立LFC仿真模型，如圖6所示，模型參數見表1，其中，智能發電控制器通過S-function模塊調用訓練好的DBN實現。向區域1輸入500 MW的階躍負荷擾動，DBNSOF、FSOF、SO、PI等控制算法下的發電控制響應如圖7所示，控制性能指標如表2所示，其中，td是延遲時間，tr是上升時間，ts是調節時間，Mp是超調量，ess是穩態誤差(tss=60 s)，上述指標將用于衡量不同控制算法響應的相似程度。根據圖表可知，DBNSOF控制與FSOF控制的各控制特性十分相近。

表2 階躍負荷擾動下的AGC性能指標Table 2 AGC performance index under step load disturbance

圖6 DBNSOF控制下的兩區域互聯系統負荷-頻率控制模型Fig.6 LFC model of two-area interconnected power system under DBNSOF control

圖7 階躍負荷擾動下的自動發電控制測試Fig.7 Automatic generation control test under step load disturbance

相較之下，SO控制存在振蕩，PI控制的響應較慢，均劣于DBNSOF控制與FSOF控制。綜上，所訓練的DBN是具備近似最優控制特性的，基于DBNSOF算法的SGC已設計完成。本例具有典型性，對于其他電力系統LFC模型的SGC的設計工作，也可參照如上步驟進行。

3.2 仿真運算與分析

為驗證DBNSOF算法的近似最優性、穩定性與魯棒性，在此對3.1節中所實現的SGC作進一步仿真。

考慮實際電力系統是一個典型隨機系統，在系統參數和外部負荷擾動上均具有高度隨機性，該文將分別基于標稱參數IEEE標準兩區域系統LFC模型和參數攝動IEEE標準兩區域系統LFC模型進行仿真(以下簡稱“標稱參數系統”和“參數攝動系統”)。其中，標稱參數系統中各系統參數是固定的，具體值見表1；參數攝動系統中各系統參數在表1的基礎上附加幅值為±0.3 pu、采樣周期為30 s的白噪音擾動，白噪聲擾動是功率譜在整個頻域內均勻分布的噪聲擾動，理論上可覆蓋實際系統中因各類情況產生的參數攝動。對標稱參數系統和參數攝動系統輸入正弦擾動與白噪音擾動疊加形成的復合負荷擾動，其中，正弦擾動的周期為1 256 s，幅值為1 000 MW，白噪音擾動的幅值為±200 MW，采樣周期為10 s。采用4種算法進行仿真運算，AGC仿真結果如圖8和圖9所示，CPS指標統計結果如表3和表4所示。其中的DBNSOF、FSOF、SO和PI分別代表深度置信網絡狀態最優反饋、全狀態最優反饋、次優和比例-積分控制算法。

圖8 標稱參數系統的自動發電控制仿真結果Fig.8 AGC simulation results of nominal parameter system

圖9 參數攝動系統的自動發電控制仿真結果Fig.9 AGC simulation results of system with uncertain parameters

表3 標稱參數系統的AGC仿真結果統計表Table 3 AGC simulative statistical results of nominal parameter system

表4 參數攝動系統的AGC仿真結果統計表Table 4 AGC simulative statistical results of system with uncertain parameters

由以上算例分析結果可知，總體上，在上述兩次仿真中，DBNSOF的發電控制響應曲線均與負荷擾動曲線高度擬合，響應準確且迅速，仿真時段內的Δf平均值為0.009 82 Hz(取表3和表4中更不利的數據，下同)，ACE平均值為22.585 MW，CPS1的平均值為199.729%，CPS2合格率為98.556%，各項指標在各算法中均為最優。DBNSOF算法在復雜擾動下標稱參數系統仿真中的響應特性(圖8(b))與圖7一致，驗證了DBNSOF的穩定性。DBNSOF算法在參數攝動系統仿真結果，對比標稱參數系統仿真結果無明顯控制性能指標下降(對比表3和表4)，驗證了DBNSOF算法的魯棒性。

以下將DBNSOF算法與其他算法作具體對比分析：

1)對比FSOF控制算法：在標稱參數系統中，DBNSOF算法在復雜擾動下的控制曲線仍與FSOF算法十分相似，各性能指標也十分相近(見表3)，進一步驗證了DBNSOF所具備的近似最優性。在參數攝動系統中，DBNSOF算法的各性能指標對比標稱參數系統時無明顯下降，優于具有參數依賴性質的FSOF算法(見表4)。該現象是DBN非線性處理能力和泛化能力的體現。

2)對比SO控制算法：SO的超調和振蕩使其能在連續負荷擾動中更早達到下一短期穩態值，因此其在標稱參數系統仿真中達到了更好的性能指標(見表3)。然而，振蕩系統的魯棒性一般較差，在某些參數攝動情況下可能面臨失穩問題，這在此次仿真中得到體現(見圖9(b))，各性能指標急劇下降(見表4)，這一風險是電力系統所不能承受的。此外，SO的振蕩性質對調頻機組有不利影響。DBNSOF算法在上述問題中均優于SO算法。

3)對比PI控制算法：在標稱參數系統中，P系數和I系數整定良好的PI算法與DBNSOF算法的控制性能差距并不十分明顯。然而，在某些系統參數攝動下，P分量可能引起振蕩(如圖9(b)所示)，導致控制性能指標下降(如表4所示)，加大了與DBNSOF算法的差距。因此，DBNSOF算法是優于PI算法的。

綜上，基于DBNSOF算法的SGC具備近似最優發電控制特性，其CPS指標在上述算法中最優，并具備更強的魯棒性。

本文設計的SGC在投入調度中心AGC系統使用后，仍可根據更新的發電調控歷史數據進行在線訓練和參數更新，SGC的泛化能力、穩定性與魯棒性也將進一步增強。

4 結 語

本文提出了深度置信網絡狀態最優反饋算法，利用深度置信網絡的非線性表達能力，實現了減少狀態反饋量與提升自動發電控制性能的雙目標，實現了由自區域頻率偏差與傳輸功率偏差組合反饋下的互聯電力系統近似最優發電控制，可以解決全狀態最優反饋控制在AGC中的應用難題，符合智能電網建設中對AGC性能的更高要求。同時，DBN的在線學習能力可以適應電力系統產生的實時變化，更適用于系統隨機性更強的現代電力網絡。

此外，本文所提出的DBNSOF算法并不局限于自動發電控制，對其他控制問題，如自動電壓控制，也有借鑒意義，后續將應用此算法進行無功優化等方向的研究。