基于注意力與長短期記憶網絡的變壓器代理模型

金 亮 馮裕霖 曹佳豪 王艷陽

基于注意力與長短期記憶網絡的變壓器代理模型

金 亮1,2馮裕霖1曹佳豪1王艷陽1

（1. 天津市電工電能新技術重點實驗室（天津工業大學），天津 300387； 2. 省部共建電工裝備可靠性與智能化國家重點實驗室（河北工業大學），天津 300130）

由于需要考慮換能效率、噪聲、體積和質量等因素，電力變壓器的設計參數和性能數據往往十分復雜，因此，如何建立變壓器代理模型是亟需解決的問題。采用代理模型的優化算法（SBO）能有效解決數值模擬直接優化耗時長的問題。本文用深度學習建立變壓器設計參數和性能數據的代理模型，實現變壓器性能優化目標的高精度預測，有效降低變壓器性能分析與優化所需時間。首先基于長短期記憶網絡（LSTM）的深度學習模型，建立非晶合金變壓器各個參數間的非線性映射，并加入注意力機制來增強模型的預測效果。最后，通過有限元仿真實驗對提出的深度學習代理模型進行驗證，并與其他常用的代理模型進行比較，證明了注意力機制與長短期記憶網絡代理模型在預測精度方面的優越性。

非晶合金變壓器；有限元方法；代理模型；深度學習；長短期記憶網絡；注意力

0 引言

電力變壓器作為電網中能量轉換、傳輸的核心，其性能直接關系到電力系統運行的可靠性和經濟性。隨著我國經濟水平的不斷提高，人們對于電力能源的需求日益增加。由于人類生產生活對供電量的需求不斷增長，對電力變壓器的設計、制造和優化也有了更高的要求。電力變壓器優化設計作為一個多學科設計優化問題（multidisciplinary design optimization, MDO），通常由電、磁、熱、機械和力學等多個物理場組合而成。在復雜的工作環境下，受線路條件、空氣、溫度等影響，變壓器內部與外部的相互作用加劇，很難找到設計參數與優化目標之間的變化規律。因此，如何針對電力變壓器龐大而復雜的非線性數據進行優化設計成為一個值得關注的問題。

傳統變壓器設計方法主要包含磁場分析法和解析法[1]。磁場分析法和解析法因與經典電磁理論結合緊密被廣泛應用。傳統的變壓器設計在尋求本系統最優解的時候，很少考慮不同部件之間相互影響的問題。按照這種設計模式得到的結果往往只是局部最優，而非全局最優。隨著有限元計算與仿真技術的發展，計算機仿真技術廣泛應用于實際產品設計中，通過有限元軟件對變壓器系統進行全方位數字化建模與仿真，再輔之以物理樣機的驗證形式，從而加快設計進度，降低設計成本，減少設計反復等。但是復雜電力變壓器系統涉及機械、電氣、力學等多學科領域，設計變量、目標函數和約束邊界眾多，模型的迭代次數和計算時間會隨著數據維度和物理場的增加呈現幾何級數的增長[2]。變壓器優化設計問題通常采用現代啟發式優化算法進行全局尋優，比如遺傳算法[3]、模擬退火算法[4]、粒子群算法[5]和差分進化算法[6]等。這些優化算法能夠獲得理想結果，但需要的仿真次數多，計算時間長，影響電力變壓器的設計周期。

基于代理模型的優化算法（surrogate-based optimization, SBO）只需少數樣本數據即可建立擬合目標值與輸入變量之間數學關系的代理模型，再借助現代啟發式優化算法快速尋找到全局最優值[7]。該算法可以在很大程度上減少仿真次數，適合有限元仿真和電力變壓器性能預測等高計算成本的應用場合[8]。代理模型主要包括克里金模型[9]、神經網絡模型[10]、徑向基函數[11]、支持向量回歸模型[12]等。常用的代理模型面對愈加復雜的變壓器優化設計問題，預測效果并不能令人滿意[13]。伴隨深度學習模型的興起，深度學習模型作為一種新形式代理模型受到廣泛關注。深度學習模型具有結構簡單、映射能力強的特點，一旦結構的初值被賦予后，訓練過程則可自動完成。邵振峰開發一種基于深度學習的工作流程來繪制森林生物估計量，其預測精度和擬合程度均超過其他模型[14]。Gao開發了一種基于深度學習的代理模型以取代與最大傳輸能力（total transfer capability, TTC）相關的耗時的微分代數計 算[15]。Barmada S. 提出了使用兩種不同的卷積神經網絡模型進一步減少電磁設備優化過程中的總體計算時間[16]。綜上所述，深度學習相比傳統的代理模型方法，通過堆疊多層神經網絡自動提取深層次特征，大大降低了對算法設計人員經驗的依賴，增強了預測結果的準確度。

本文考慮到長短期記憶網絡（long-short term memory, LSTM）對復雜數據進行深層次特征提取的特點，提出一種新的電力變壓器性能預測方法。首先，本文通過搭建非晶合金電力變壓器模型，對變壓器中電磁、力學等多物理場進行仿真分析。然后，基于LSTM模型建立一種基于Attention-LSTM的變壓器的代理模型，通過注意力（Attention）機制提高代理模型的預測精度，并且有效降低代理模型訓練所需的時間。最后，采用有限元方法對變壓器進行仿真，驗證算法的可靠性。

1 基于深度學習的代理模型

1.1 循環神經網絡工作原理

循環神經網絡（recurrent neural networks, RNN）是一種具有記憶功能的深度神經網絡，可用于處理具有前后非獨立特征的序列數據，是深度網絡模型之一。單個隱藏層的循環神經網絡結構如圖1所示。圖1中，x、s、o分別為時刻輸入層、隱藏層、輸出層的值，為輸入層到隱藏層的權重矩陣，為輸入層到隱藏層的權重矩陣，為隱藏層至其自身的權重矩陣。雖然RNN可以很好地解決性能參數預測問題，但是循環神經網絡存在梯度下降快、很難訓練、無法收斂到最優解等問題。而LSTM有選擇性地保存信息，并且對于復雜數據可提高預測效率，往往表現出比RNN更好的預測效果。

1.2 長短期記憶神經網絡模型

傳統代理模型的共同特點是將復雜數據作為模型的輸入，通過預處理等方法選擇主要特征來最大化地保證代理模型的精度。在處理后，復雜數據中的原有特征常常會出現缺失的情況。LSTM是一種特殊的循環神經網絡結構，只要有適當的權重矩陣和足夠的網絡單元，就可以在保證合適精度的前提下，作為代理模型使用。

圖1 循環神經網絡結構

LSTM是基于RNN改進的一種算法，將RNN中的神經元替換為一個擁有記憶能力的線性神經元即為LSTM模型。在LSTM記憶神經元內部加入遺忘門、輸入門和輸出門，目的是實現保存、寫入和讀取的特殊功能，這些門都是邏輯單元，根據輸入序列，所有記憶單元被連接，解決了循環神經網絡中的梯度下降快、無法收斂到最優解等問題，在性能參數預測中取得了很好的效果，LSTM模型結構如圖2所示。

圖2 單個隱藏層的LSTM模型結構

計算節點由輸入門、輸出門、遺忘門和cell組成，其中cell是計算節點核心，用以記錄當前時刻狀態，根據圖2描述記憶模塊中各單元的具體運算關系如下。

遺忘門：使模型有選擇性地遺忘一些數據。

輸入門：管理模型新輸入信號數據。

輸出門：使模型可以有選擇性的輸出結果。

更新神經元的記憶狀態：由遺忘門保留的記憶數據和輸入門輸入的數據組成。

模型總輸出：分別輸出到下個神經元部分和輸出到下一層網絡對應位置。

式中：為外界的輸入數據；為上一個神經元需要遺忘的數據；為神經元新輸入的數據；為該神經元對外的輸出結果；為神經元更新后的記憶狀態；為該模型的總輸出；為sigmoid函數；tanh為雙曲正切函數；f為遺忘門，決定哪些歷史信息從細胞狀態中丟棄，控制是否遺忘；a為輸入門，負責處理當前序列位置的輸入，決定哪個狀態將被更新；o為輸出門，決定輸出部分單元狀態；fio分別為與x和h-1對應的遺忘門、輸入門、輸出門轉換的權重矩陣；fa、o分別為遺忘門、輸入門、輸出門轉換的偏移向量。

1.3 注意力機制

注意力機制通過對模型輸入變量進行計算，賦予輸入變量不同的權重，對關鍵影響因素賦予更高的權重，以幫助模型做出更準確的判斷。同時，由于Attention機制可以高度并行的計算，因此計算時間幾乎不受影響。因此，在LSTM模型中引入Attention機制如圖3所示，突出了重要因素，提高了預測效果。

圖3 Attention機制結構

式中：為節點對輸出的注意力概率權重；為第個輸入元素對應的隱藏層狀態值；為輸入變量的個數。

通過計算每個隱層向量的得分，評估向量對輸出結構的影響程度，分析各個隱藏層數據的相關程度，計算出每一個輸入數據對輸出結果的注意力概率權重，計算公式為

式中：為輸出結果與隱藏層數值的相關程度；、分別為權重矩陣和偏置向量。

2 電磁仿真計算與代理模型構建

2.1 非晶合金變壓器模型

本文選取一臺小型非晶合金變壓器作為研究對象，通過在鐵心上繞制勵磁繞組，制成一個單相非晶合金變壓器樣機，有限元方法建立的非晶合金變壓器的三維仿真模型，如圖4所示。其主要參數見表1。

圖4 變壓器三維仿真模型

表1 非晶合金變壓器參數

變壓器的設計需考慮體積和振動等問題。變壓器的大小主要由磁心尺寸確定，磁心的尺寸取決于窗口面積和磁心有效截面積的乘積，用p來表示。

式中：w為窗口面積；e為磁心有效截面積。

式中：1為一次側有效值電壓；p為匝數；AC為磁通密度；為磁通量；f為波形因數。

設繞組的電流密度為，導線的截面積1/。令窗口面積利用系數為w。一次、二次繞組的有效值電流分別為1、2，繞組面積全部利用時，有

由式（11）推出

式中：2為二次側有效值電壓；為頻率。

式中：1、0分別為一次側、二次側功率；為變壓器效率。

由式（13）分析可知變壓器大小受到鐵心長度、窗口高度、窗口寬度、線圈匝數和線圈導線截面積等多個參數影響，并且是非線性相關的。

通常情況下，非晶變壓器鐵心區域中交變磁場產生感應電場，該電場產生感應電流即渦流，而工頻交流激勵下，位移電流可忽略不計，麥克斯韋方程組可表示為

式中：為磁場強度（A/m）；為電場強度（V/m）；為磁通密度（T）；為電流密度（A/m2）。

引入磁矢位定義矢量磁位，可得到求解鐵心電磁場的微分方程

在交變磁場作用下，非晶鐵心產生磁致伸縮效應為

變壓器鐵心內某點的振動方程表示為

式中：為質量矩陣；為阻尼矩陣；為剛度矩陣；為節點位移；主要包括麥克斯韋力和磁致伸縮力。鐵心振動主要來自于磁致伸縮效應，采用加速度作為分析鐵心振動的研究目標。由上面分析可知變壓器鐵心振動中的電磁計算是變壓器內的電、磁和力學相互之間高度耦合問題，輸入與輸出之間的關系具有非線性的特性。

2.2 樣本建立

本文選取5個結構參數作為輸入變量{1,2,3,4,5}，每個變量各取4個值，變壓器鐵心體積、振動加速度z為輸出變量，采用全面試驗設計方法來獲取樣本數據，這樣可以獲得具有很強代表性的樣本數據點，且滿足回歸建模所需的樣本數量。經有限元方法計算得到結構參數與目標函數的數據共1 024組。5個結構參數的取值水平見表2。

表2 5個結構參數的取值水平

采用歸一化方法將有限元軟件計算得到的樣本數據集的輸入變量歸一化為均值為0、方差為1的數據集。利用交叉驗證的方法將歸一化后數據集劃分為訓練數據集和測試數據集，其占比分別為80%和20%。

2.3 預測評價指標

選取平均絕對百分誤差（mean absolute percentage error, MAPE）作為LSTM模型預測效果的評價指標，MAPE值越小表示代理模型的精確度越高，即

2.4 有限元計算結果與實驗對比

為驗證非晶合金鐵心振動有限元計算結果的準確性，采用振動測量分析儀對非晶變壓器小型樣機的鐵心振動加速度進行測量。三軸加速度傳感器探頭粘貼在樣機上部與模型參考相近處，將供電頻率設置為50Hz，調節勵磁電流使非晶變壓器鐵心在其運行穩定時由振動分析儀測量并記錄振動數據。變壓器樣機的振動測量采用振動噪聲分析儀作為信號采集裝置，具體實驗裝置如圖5所示。

圖5 變壓器樣機振動實驗裝置

非晶鐵心樣機的振動加速度實驗測量結果與有限元仿真計算結果分別如圖6和圖7所示。實測振動數據為：軸振動加速度峰值約為1m/s2；軸振動加速度峰值約為0.27m/s2；軸振動加速度峰值為0.15m/s2，與有限元模型的計算結果相近。由于有限元模型中對變壓器樣機底部加有固定約束，而實驗測試時，樣機體積較小其底部直接放于地面，難以達到理想的固定約束要求，因此實驗測試值與有限元仿真計算結果波形會存在一定差異。實驗測量與有限元計算結果的振動周期同為0.01s，因此可驗證有限元模型的正確性，其可以用于非晶合金變壓器空間樣本點的計算。

圖6 振動加速度實驗測量結果

圖7 振動加速度有限元計算結果

3 代理模型預測結果分析

3.1 代理模型預測結果

為驗證所提出方法的合理性，在得到的最優Attention-LSTM模型的預測結果中隨機選取100組測試集預測結果與有限元計算結果進行對比，鐵心體積和振動加速度的相對百分誤差（MAPE）如圖8所示。鐵心體積的預測結果MAPE普遍在2.5%以下，振動加速度的MAPE大多在5%以下?？梢宰C明本文提出的Attention-LSTM預測模型具有優異的預測效果，能夠準確地表達出非晶合金變壓器的5個結構參數與振動、體積之間的非線性關系，從而避免了復雜的電磁分析計算。

3.2 代理模型效果對比分析

主成分分析（principal component analysis, PCA）法常用于傳統代理模型處理復雜數據問題前的數據預處理。因此，采用傳統代理模型BP神經網絡、徑向基函數（radial basis function, RBF）、支持向量機（support vector machine, SVM）對使用PCA方法降維后的數據進行訓練和預測。使用PCA方法對傳統代理模型的影響如圖9所示。使用PCA方法對原有數據降維后，幾種代理模型的預測精度均有提升。使用PCA方法可以有效提升傳統代理模型處理復雜數據的能力。

圖9 PCA對傳統代理模型的影響

不同于傳統代理模型，Attention-LSTM模型具有多層神經網絡自動提取深層次特征的能力。因此，Attention-LSTM模型在處理復雜數據問題時并不需要使用PCA方法進行預處理。PCA對LSTM模型的影響如圖10所示。PCA方法對于Attention-LSTM模型的預測效果并沒有明顯的提升。證明Attention- LSTM模型在處理復雜數據問題時，并不依賴PCA方法，因而降低了模型的復雜程度。

圖10 PCA對LSTM代理模型的影響

為驗證Attention-LSTM模型的有效性，將Attention-LSTM模型與傳統代理模型的預測結果進行對比，不同代理模型的預測精度對比見表3。

表3 不同代理模型對比

將復雜數據經過PCA預處理后的BP神經網絡、徑向基函數和支持向量機方法與Attention-LSTM算法對200組測試數據集的預測精度數據進行對比，結果見表3?？梢钥闯觯珹ttention-LSTM模型的預測精度最高，并且相較于其他經過PCA處理的代理模型，LSTM模型在引入Attention機制后，增強了數據的預測精度。使用有限元仿真計算模型計算變壓器樣機的時間約為12min（720s），而Attention- LSTM模型的運算時間僅為33s，約為有限元模型計算時間的1/20，極大減少了樣機的計算時間，提高了該類工程問題的計算效率。

4 結論

本文基于Attention-LSTM建立了用于非晶合金變壓器性能參數預測的代理模型。根據變壓器結構與實際應用中需要解決的問題，建立典型的變壓器樣本數據，通過合理的分析策略完成了模型參數的確定及案例驗證。實驗結果證明，Attention-LSTM作為變壓器代理模型具有很好的預測精度，可以準確地表達變壓器結構參數與振動之間的非線性關系，并與有限元分析方法可以相互驗證。這為處理變壓器優化設計中的復雜數據問題提供了一種新的代理模型建立方法。

[1] 王輝. 變壓器磁場分析法與解析法的應用對比[J]. 變壓器, 2000, 37(8): 22-26.

[2] 李冰, 王澤忠, 劉恪, 等. 特高壓變壓器直流偏磁對繞組電流的影響[J]. 電工技術學報, 2020, 35(7): 1422-1431.

[3] 陳偉根, 滕黎, 劉軍, 等. 基于遺傳優化支持向量機的變壓器繞組熱點溫度預測模型[J]. 電工技術學報, 2014, 29(1): 44-51.

[4] DANESHMAND S V, HEYDARI H. A diversified multiobjective simulated annealing and genetic algo- rithm for optimizing a three-phase HTS transformer[J]. IEEE Transactions on Applied Superconductivity, 2016, 26(2): 1-10.

[5] 潘再平, 張震, 潘曉弘. 基于QPSO算法的電力變壓器優化設計[J]. 電工技術學報, 2013, 28(11): 42-47.

[6] TRIA L R, ZHANG D, FLETCHER J. High-frequency planar transformer parameter estimation using differ- ential evolution[C]//2015 IEEE International Magnetics Conference (INTERMAG), Beijing, 2015.

[7] FORRESTER A I J, KEANE A J. Recent advances in surrogate-based optimization[J]. Progress in Aerospace Sciences, 2009, 45(1): 50-79.

[8] 張劍. 基于代理模型技術的高速列車性能參數設計及優化[D]. 成都: 西南交通大學, 2015.

[9] XIA Bin, REN Ziyan, KOH C S. Utilizing kriging surrogate models for multi-objective robust optimi- zation of electromagnetic devices[J]. IEEE Transa- ctions on Magnetics, 2014, 50(2): 693-696.

[10] 陳亞, 李萍. 基于神經網絡的短期電力負荷預測仿真研究[J]. 電氣技術, 2017, 18(1): 26-29.

[11] 楊杰, 黃晨, 石恒. 徑向基函數神經網絡補償的懸浮球懸浮高度自適應滑?？刂芠J]. 電氣技術, 2020, 21(2): 26-30.

[12] 彭珍瑞, 鄭捷, 白鈺, 等. 一種基于改進MCMC算法的模型修正方法[J]. 振動與沖擊, 2020, 39(4): 236- 245.

[13] ACAR E, RAIS-ROHANI M. Ensemble of meta- models with optimized weight factors[J]. Structural and Multidisciplinary Optimization, 2009, 37(3): 279- 294.

[14] SHAO Zhenfeng, ZHANG Linjing, WANG Lei. Stacked sparse autoencoder modeling using the synergy of airborne LiDAR and satellite optical and SAR data to map forest above-ground biomass[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(12): 5569-5582.

[15] QIU Gao, LIU Youbo, LIU Junyong, et al. Analytic deep learning-based surrogate model for operational planning with dynamic TTC constraints[J]. IEEE Transactions on Power Systems, 2020: 1-8.

[16] BARMADA S, FONTANA N, SANI L, et al. Deep learning and reduced models for fast optimization in electromagnetics[J]. IEEE Transactions on Magnetics, 2020, 56(3): 1-4.

Transformer surrogate model based on attention and long-short term memory

JIN Liang1,2FENG Yulin1CAO Jiahao1WANG Yanyang1

(1. Tianjin Key Laboratory of Advanced Technology of Electrical Engineering and Energy, Tiangong University, Tianjin 300387; 2. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130)

The design parameters and performance data of power transformers are often very complex considering many factors such as energy exchange efficiency, noise, volume and weight. Therefore, how to establish transformer surrogate model is an urgent problem to be solved. The surrogate-based optimization (SBO) can effectively solve the problem of long optimization time. In this paper, the surrogate model of transformer design parameters and performance data is established by deep learning to achieve high precision prediction of transformer performance optimization objectives and effectively reduce the time required for transformer performance analysis and optimization. Firstly, based on the deep learning model of long-short term memory network (LSTM), the nonlinear mapping between various parameters of amorphous alloy transformer is established, and the attention mechanism is added to enhance the prediction effect of the model. Finally, the proposed deep learning surrogate model is verified by finite element simulation experiment and compared with other commonly used surrogate models. The results show that the attention and long-short term memory surrogate model is superior in prediction accuracy.

amorphous alloy transformer; finite element method; surrogate model; deep learning; long-short term memory (LSTM); attention

國家自然科學基金面上項目（51977148）

2020-12-12

2020-12-29

金 亮（1982—），男，博士，副教授，主要研究方向為工程電磁場與磁技術、電磁場云計算和電磁無損檢測等。