深度學習在電力系統中的應用研究綜述

葉 琳， 楊 瀅， 洪道鑒， 陳新建

（1. 國網浙江省電力有限公司， 杭州 310007；2. 國網浙江省電力有限公司臺州供電公司， 浙江 臺州 318000）

0 引言

人工智能、 機器學習和深度學習是當今機器智能領域最流行的詞匯。 機器學習可以看作人工智能的一個分支， 而深度學習則是一種特殊的機器學習手段[1]。 下文將以深度學習為重點介紹幾種常見的機器學習方法的特點及其在電力系統運行領域中的應用。

深度學習的興起源于計算機計算能力的增強和大數據技術的發展， 其核心思想是通過增加神經網絡的層數來讓機器自動地從大規模數據中抽取特征。 深層神經網絡技術能夠取得巨大進步和其在訓練算法上所取得的重大進展是分不開的。傳統的反向傳播算法隨著傳遞層數的增加， 殘差會越來越小， 出現所謂的“梯度彌散”現象， 因而不適合深層網絡的訓練[2]。 為了解決該問題，1997年Hochreiter 和Schmidhuber 提出了LSTM（長短時記憶網絡）。 LSTM 隱藏層的關鍵是信息流， 它負責將存儲器信息從序列的初始位置傳輸到序列的末尾， 并利用4 個相互交互的“門”單元， 來控制在每一時間步對記憶信息值的修改。 LSTM 模型不但解決了梯度消失問題， 還能長時間保持信息。 另一種方法是Soeer 等人于2011 年提出的時間遞歸神經網絡， 該模型被廣泛應用于句子組塊和語法處理。 與時間遞歸神經網絡相對應的是結構遞歸神經網絡， 該結構將數據在空間維度上展開， 并以一種結構樹的形式進行展示， 數據之間的聯系體現為整體與局部之間的空間組合關系。

當今使用較為廣泛的還有一種稱為CNN（卷積神經網絡）的模型， 與傳統神經網絡的全連接結構不同， CNN 采用局部連接的結構， 顯著削減了網絡中自由參數的數目， 從而使得使用反向傳播進行并行學習成為可能。 CNN 的結構避免了對輸入數據復雜的預處理， 直接對輸入數據進行處理， 實現了端到端的學習過程。

綜上所述， 深入學習技術具有兩大明顯優勢：在不依賴監督信息的情況下從未標記的數據中進行學習的能力； 特征的自動提取能力[3]。

1 機器學習關鍵及前沿技術

綜合分析現有技術文獻發現， 當今機器學習關鍵及前沿技術主要有： 遷移學習、 強化學習、生成對抗神經網絡、 膠囊網絡、 引導學習等。

遷移學習松弛了常規機器學習中訓練數據和測試數據必須遵從獨立分布的約束， 使其能夠獲得兩個不同但又彼此聯系的數據集間的特征與信息， 從而實現先驗知識的遷移和重復使用。 有關此方法的文獻報道較多， 不再贅述。

強化學習主要用于解決決策優化的問題， 即在特定狀態下， 采取什么行動才能使收益最大。有關此方法的文獻報道較多， 不再贅述。

生成對抗神經網絡利用已有數據生成充分接近源數據的生成數據， 一定程度上解決數據量不足的問題[20]。

膠囊網絡不僅可以學習輸入數據的特征， 還可以學習特征的變形（例如圖像的旋轉、 移動等），降低了網絡的復雜度。

引導學習將知識分析與數據分析挖掘相融合，實現結合人類積累經驗與機器智能共同解決問題，達到在經驗指導下的機器學習。

1.1 強化學習

人工智能的三大驅動力是大數據、 機器學習和GPU（圖形處理單元）。 其中機器學習可以分為3 種類型： 監督學習、 無監督學習和強化學習[4]。

強化學習嘗試解決決策優化的問題[5-7]， 其最流行的應用之一是谷歌AlffaGo 的升級——AlphaGo Zero。 相比AlphaGo， AlphaGo Zero 放棄了先驗知識， 不必人為設計特征， 直接將棋盤上黑白棋子的擺放情景作為原始數據輸入到機器模型中， 機器采用強化學習進行自我博弈， 不斷提升自身水平最終出色完成整個比賽。 AlphaGo Zero的成功證實了即使沒有人類的經驗和指導， 通過深度強化學習仍然可以出色完成指定任務。

1.2 遷移學習

目前， 大部分機器學習具有良好應用效果的前提是： 訓練數據和測試數據的特征和分布情況一致。 如果2 組數據差異較大， 機器學習算法需要耗費較長時間來獲得新的訓練數據， 同時也要重新訓練模型[8-12]。 因此， 對于每個執行任務來說，傳統機器學習都要通過訓練隨機獲取的數據來進行學習。 人類可以靈活應用自己的知識來快速求解新問題或找到更好策略， 比如一個人在學會蛙泳之后， 再學自由泳就可以很快掌握。 由此學者們受到啟發， 開始研究遷移學習[12-16]。 與傳統機器學習不同的是， 遷移學習旨在將一個領域（源領域）中已經學習的知識和數據應用到其他相近領域（目標領域）， 用于解決目標領域數據缺乏問題，使得目標領域能夠取得更好的學習效果[17-19]。

1.3 生成對抗神經網絡技術

強化學習算法成功促進了深度學習的進步，但這種算法是經過平均最大化的最終獎勵來實現訓練目的， 其結果也由“獎勵函數”給出。 然而，很難給出獎勵函數來精確地評估來自周圍環境的反饋， 故強化學習算法在實際運用上存在很大局限性。 2014 年Ian J. Goodfellow 在文獻[20]中首次定義了對抗網絡模型， 其思想源于博弈論中的二人零和博弈。

該模型由判別模型和生成模型組成。 對抗神經網絡通過生成模型來學習數據分布情況， 然后生成新的數據。 例如， 從大量圖片中進行學習，然后生成新的照片[21]。 此外對抗網絡模型具有強大的表達能力， 可以在向量空間內執行算術運算，并能夠將其轉化為特征空間內的運算。

1.4 膠囊網絡技術

深度CNN 對某類別的數據集進行適當訓練后， 可以對屬于此類別的數據進行較好的預測。但是如果更改了輸入數據的一部分（例如一些圖像像素）， 訓練好的網絡分類效果就會變差。 為此Hinton 等人提出了膠囊網絡的概念[22-23]。 在傳統神經網絡中， 如果需要具有更強的學習能力， 通常做法是增加網絡的層數； 而膠囊網絡則是通過在該層的里面嵌套新的層， 這樣便形成一個內部嵌套層， 稱為膠囊。 因此膠囊網絡可近似看作將傳統網絡中的輸入層、 中間層及輸出層的標量擴展為向量。

CNN 雖然代表著圖像識別領域內的較高技術， 但還是存在著一些問題。 例如圖1（b）對圖1（a）的綿羊圖像進行了一定的平移和旋轉， CNN若要得出它們是同一種動物的結論需要使用復雜的算法。

圖1 綿羊圖像識別

由于膠囊網絡不但可以學習輸入數據的特征， 還可以學習特征的變形。 這樣利用膠囊網絡便可容易得出圖1（a）與圖1（b）為同一只綿羊的結論[4]。 有了這種檢測能力后， 采用同一組膠囊單元便能夠實現對不同特征的變體（例如旋轉、 移動及其組合）的檢測。

1.5 引導學習

文獻[24]和[25]提出了基于“知識功能單元”的機器學習方法。 該方法模擬學校學生的學習情境，教授將所具備的知識、 技能傳授給學生， 學生將所學到的知識應用到實際問題中來提高自己的技能。 基于類似的思路和方法， 引導學習假設學習器在分析數據前已經掌握了最基礎的知識， 從而達到更高級的學習水平， 解決更復雜的問題。

引導學習的關鍵是將先驗知識進行數學處理、 模型化處理， 然后輸入到“知識”函數單元中，當學習器對樣本空間進行學習迭代時， 指導學習器對參數集進行優化。 引導學習模型由基準知識單元K、 樣本單元S、 知識函數單元F、 參數優化單元O、 學習模型單元M 共5 個模塊組成[24]。

引導學習將知識分析與數據挖掘相結合， 充分利用了確定性知識泛化能力的魯棒性。

2 電力系統運行領域中的機器學習應用場景

上述文獻分析表明， 單純依靠一種機器學習理論效果有限， 通常需要綜合運用多種技術才能解決電力系統運行中的相關問題。

2.1 電力系統穩定分析領域中的應用實踐

穩定分析是電力系統安全運行的重要內容，其中低頻振蕩和次同步振蕩又是電力系統穩定分析中的典型問題。 下文將對用于處理低頻振蕩問題的機器學習方法進行分析。

目前進行電力系統低頻振蕩的分析方法主要有基于系統結構和運行參數的模型分析方法和基于仿真或實測信號的分析方法。 傳統的信號分析方法包括Prony 算法、 HHT 變換、 S 變換等[26-27]。這些方法均根據擬提取的特征來選擇相應的特征， 而方法的設計則需要以實際經驗和專業知識為基礎， 并要耗費大量的時間去調試， 工作效率低下。 隨著人工智能技術的發展， 許多智能技術可用于解決該問題， 文獻[28]使用GSO（群搜索優化）算法進行低頻振蕩的模態辨識， 該方法在特征提取方面實現了部分智能化， 但仍無法完全解決特征的提取問題。 而深度學習則具有自動提取信號特征的優勢， 文獻[29]利用DBN（深度置信網絡）來識別低頻振蕩的模態數， 然后利用Prony 算法分析模態信息。 文獻[30]利用DNN（深度神經網絡）來對網側變流器輸出變量的穩定性進行判斷，測試結果表明預測的正確性可達到99%。 文獻[31]為了對配電網頻率信號進行檢測， 利用強化學習方法來分析頻率信號， 并使用動態決策智能算法來設置告警閾值。

由于DBN 無法體現振蕩信號前后時刻的時序關聯， 建議使用RNN（循環神經網絡）或具有記憶功能的LSTM 模型進行分析。 在振蕩頻率信號中可能會出現很多畸變， 可以使用膠囊神經網絡技術來實現對變形特征的分析。 另外， 如果存在分析數據不足問題， 可以使用生成對抗神經網絡技術來處理。

2.2 電力系統協調調度領域中的應用實踐

在含有可再生能源的協調調度中， 為了對可再生能源的發電量進行預測， 需要考慮太陽輻照度和溫度等數據具有時間順序和離散特性。 文獻[32]基于相似時刻構造輸入向量， 分別對各時刻的光伏出力進行預測； 使用了小波變換與DBN 相結合的方法， 小波變換用于信號的分解， DBN 將分解后的信號進行特征提取。

針對電力系統運行過程中負荷及故障的不確定性， 文獻[33]在經濟調度中建立了風險調度模型。 由于風險調度是一個基于潮流的復雜非線性規劃問題， 求解非線性規劃問題的經典優化算法存在全局收斂性差、 要求精確數學模型等缺點。而智能求解算法具有對特定數學模型依賴性低、應用簡單等優勢， 但是對相似任務的優化是孤立進行的， 不能有效保留以往任務的經驗和知識，很難進行大規模復雜風險調度的快速優化。 針對上述問題， 該文獻采用了遷移學習算法將在源領域中所學習到的知識或策略應用到相似但不相同的目標領域， 復用已有經驗以加速新任務的學習速度。

文獻[34]針對電力系統能源優化問題， 改變了傳統的線性動態優化算法， 采用深度強化學習算法（結合深度學習與強化學習的優勢）進行優化處理， 與傳統的啟發式策略相比， 該方法能夠使得發電量與負載的動態變化更加平衡。

2.3 電力系統負荷和發電預測領域中的應用實踐

依據預測周期和目的的不同， 負荷預測大致分為長期負荷預測、 中期負荷預測、 短期負荷預測以及超短期負荷預測。 短期負荷預測通常用于預測從第二天到下一周的電力負荷大小， 預測目標通常是某個區域的承載能力或每日和每周的電力消耗數據。 短期負荷預測的方法眾多， 常用的智能算法有神經網絡和支持向量機。 但在負荷數據分析中發現， 由于人們活動的周期性， 同一周的相應情況往往相似， 不同周的相應情況往往不同， 如果不加以區分地將全部的實例用來訓練模型， 不同類別的實例就會因其差異性影響模型最終的訓練效果。 為了解決該問題， 文獻[35]充分利用遷移學習在處理“兩個不同但又彼此聯系”類型數據上的優勢， 將7 周數據中的1 周數據作為目標任務， 其余6 周數據作為源任務進行遷移學習。

另外， 考慮到負荷的變化曲線受自身歷史運行狀態、 氣象因素、 電力用戶特征等多重因素的影響， 文獻[36]使用MaXNet 深度學習框架來綜合分析各因素對電力負荷的影響。 為了處理負荷數據的時間序列問題， 文獻[37]采用基于LSTM模型并進行了基于時間序列的交叉驗證。 文獻[38]對IPSO（粒子群優化算法）、 帶嵌入層的LSTM、 帶嵌入層和卷積層的LSTM 3 種不同方法的預測結果進行了對比， 結果表明帶嵌入層和卷積層的LSTM 預測效果最佳。

可見，現代教育技術課程與教學改革受到政策和教育技術發展的雙重影響。而現代教育技術課程與教學改革又需依賴現代教育技術教材，因此，本研究旨在分析現代教育技術教材建設現狀，預測新教材的發展趨勢，并對未來新教材的建設提出幾點建議。

新能源技術的大規模發展和發電資源的不確定性給電力系統運行帶來了一定的挑戰。 文獻[39-41]利用機器學習策略進行發電功率預測。 文獻[39]使用SDAE（堆疊式降噪自動編碼器）來分析風力資源在時序上的非線性、 動態性問題， 對比結果顯示， 相比于傳統反饋神經網絡結構和支持向量機策略， SDAE 的風電功率預測誤差（以誤差均值表示）分別降低了3.49%和1.59%。 文獻[40]使用RNN 結構中LSTM 模型來對氣象預報數據進行分析， 為了降低LSTM 模型輸入變量的維數，文獻采用了主成分分析法。 為了提取風電數據中的特征， 文獻[41]使用DBN 對歷史數據進行分析，測試結果表明，DBN 可以有效降低預測數據誤差。

2.4 電力系統運行監控中的應用實踐

機器學習在電力系統運行監控中的應用大致分為主站監控、 變電監控和輸電監控3 個方面。

深度學習在主站監控領域研究較少， 只有零星利用傳統機器學習算法進行主站告警信息處理的報道。 文獻[42]基于模型驅動的思想， 設計了具有智能推理功能的變電站告警系統。 文獻[43]在對電力調度系統的告警信號文本信息進行處理時，采用隱馬爾科夫模型中的Viterbi 算法進行分詞。

在變電站監控方面， 文獻[44]在智能變電站智能視覺系統的開發中， 將傳統的機器學習算法和視覺跟蹤技術相結合來跟蹤和識別變電站內的移動物體（如人員）。 對于變電站中人行為的監控，文獻[45]建立了工作人員闖入、 誤入限制區域甚至危險區域的變電站監控圖像異常狀況模型， 該模型采用CNN 結構； 在模型構建時采用了基于矩陣2-范數的池化方法， 同時利用一種非線性修正函數作為神經元激勵函數， 相比于傳統激勵函數提高了識別的準確率。 針對變電站工作人員訓練數據缺乏問題， 文獻[46]采用遷移學習技術進行處理， 由于人員相對于整個變電站監控畫面來說顯示較小， 采取了全卷積大尺度檢測技術檢測人的行為， 而對周圍的多種設備進行忽略。 相反， 文獻[47]和文獻[48]對變電站中的設備進行監控， 文獻[47]針對變電站的紅外及可見光圖像提出配準方法， 使用CNN 解決了其灰度差異較大的問題。 同時， 針對VGG16 模型對于紅外和可見光相似度不能很好學習的問題， 采用Triplet loss訓練方法進行處理。 文獻[48]則將深度學習算法與設備視頻圖像技術相結合， 對變電站中的指針儀表設備圖像進行研究， 構建了基于深度CNN的實時儀表指針識別系統。

在輸電系統監控領域， 文獻[49]設計了基于深度學習的目標檢測系統， 通過對Faster R-CNN模型進行改進， 增加了目標分類網絡的層數， 提高了對目標的識別能力； 同時， 基于遷移學習的思想， 利用模型微調法對檢測模型進行訓練。 對于輸電線路附近的危險源， 文獻[50]采用稀疏自編碼從圖像和視頻信號中進行特征學習， 利用softmax 進行危險源的分類。 而針對輸變電設備故障的診斷， 文獻[51]將改進RNN 與LSTM 模型相結合來對網絡模型進行訓練， 從而對面向文本的非結構化數據進行處理。

3 應用前景

隨著機器學習在電力系統運行領域中的廣泛應用， 電力系統運行性能將在眾多領域發生更新， 本文從以下幾個方面重點闡述機器學習技術的應用前景。

電力系統運行時， 常常需要各種人員的電話指令， 如果能利用深度學習在音頻/視頻等處理方面的優勢將音頻信息解讀為機器能夠正確理解的語言， 便可以更好地實現電網運行監控的無人值守。 此外， 在電站操作票中存在各種文本信息，可以利用深度學習的自然語言處理功能對操作票信息進行語義語法分析， 進而與SCD（變電站配置描述）文件信息進行搜索匹配， 實現操作命令的自動執行。 同時利用深度學習技術可以有效處理監控主站信息中的告警， 例如利用深度學習中的文本分類功能對紛繁的主站告警信息進行分類。

（2）機器學習技術將推動電力系統調度水平的顯著發展。

目前， 電力系統的潮流調節、 AVC（自動電壓控制）、 AGC（自動發電控制）更多依靠專家的個人經驗， 假如能夠利用深度學習技術將專家的模糊調節經驗轉化為機器語言清晰的調節規則， 將實現電力系統調度的自動智能調節， 大大提高工作效率。

（3）機器學習技術將能更好地處理電力系統運行中的隨機性和不確定性事件。

電力系統運行中存在著眾多不確定影響因素， 如負荷的隨機擾動和設備元器件的偶然故障等。 近年來， 隨著新能源并網發電的普及， 新能源的隨機性和間歇性進一步加劇了電力系統運行的不確定性。 電力系統運行中各類不確定問題的出現使得與運行相關的潮流計算、 調度、 規劃及輔助決策方法等需要逐步由確定性向不確定性轉變。 針對上述問題， 可以在機器學習中增加不確定因素的隨機變化， 比如在神經元之間分配隨機過程傳遞函數， 或是給神經元隨機權重。 當然，如何利用機器學習來實現這一想法需要考慮更多細節。

（4）機器學習技術將促進電力市場的進一步發展。

在電力市場中， 中長期合約電量與現貨市場的比例分配之間相互影響、 相互關聯。 在合約電量確定后， 如何通過現貨市場的調節作用來保障電網物理系統和電力市場系統的協調平穩運行，需要利用深度學習技術來應對外部環境的變化。

另外一個比較前沿的研究領域是將電力系統的運行與人腦運轉進行類比， 包括兩者的結構、感知、 分析和自主決策等方面。 比如將電網中的輸電線路比作人腦中的神經網絡， 電網中的量測設備與人體的感官進行類比等， 文獻[52]就對“電力腦”進行了相關描述。 總之， 隨著機器學習技術在電力系統運行領域的廣泛應用， 將使得電力系統運行更加經濟、 安全和可靠。

4 結語

與專家系統、 模糊控制等傳統人工智能不同， 機器學習算法的產生與發展側重于實際應用效果， 這也導致了任何一種機器學習策略都不是放之四海而皆準的， 電力系統運行情況的復雜程度更凸顯了機器學習算法選擇的重要性。 因此在學習策略的選擇上， 首先要對所需解決問題的特點進行分析， 根據實際問題來進行選擇。 另外還需要強調的是， 每種方法都有其自身的優點和不足， 可以將2 種或幾種方法進行有機結合， 將更有利于問題的解決。