基于多時間尺度的電力變壓器異常數據檢測

趙 亮，孟令雯，張銳鋒，余思伍

（1.南方電網數字電網研究院有限公司，廣州 510000；2.貴州電網有限責任公司電力科學研究院，貴陽 550000）

隨著智能電網的建設和發展，準確地監測變壓器的運行數據，對電力系統的安全運行具有重要的現實意義[1]。由于電力變壓器監測的數據復雜多樣，會出現數據冗余或缺失，從“臟數據”中得出的結論，對配電網的運行狀態的研究不具有任何參考價值。因此，如何準確地檢測出運行過程中的異常數據是至關重要的。

專家學者對異常數據檢測方法進行了一系列研究。文獻[2]利用中心聚類方法來檢測和描述時間序列中的異常數據，該方法提出使用空間和時間聚類法來分析每個窗口的結構，同時考慮每個子序列的異常程度。文獻[3]檢測異常數據是通過稀疏表示的方法來檢測和清理，其創新之處在于能夠捕捉變量關系和時域的相關性。文獻[4]利用支持向量機來檢測和處理核電站收集的數據是否具有異常數據，這種方法能夠降低噪聲對其產生的影響，并提高多重異常檢測效果，降低了誤報率。然而，上述方法在小樣本數據中的效果表現較好，但針對智能電網中的大數據檢測效果較為一般，具體表現為不能找到準確的異常點，誤報率高，不能確定異常點是否反映了電力設備的異常運行狀態。

近年來，隨著深度學習技術的發展，長短期記憶網絡（LSTM）[5-7]和循環神經網絡（RNN）[8-10]在大數據的時序數據研究中逐步得到廣泛的應用。LSTM雖然彌補了RNN 的梯度爆炸、梯度消失以及長期記憶不足的問題，但其在時序數據上的預測表現能力仍不能夠滿足配電網實際的生產環境[11]。為此，本文提出了一種基于MT-LSTM 的電力變壓器異常數據檢測方法，同時針對LSTM 隱藏的節點進行分組，每組的學習參數都是由不同尺度的時間特征來更新。基于上述方法設計的MT-LSTM 能夠快速提取分組特征，并且保證每組都有不同時間尺度上的記憶，使得本文方法在實際應用中，對具有多樣性和復雜性的數據都具有很好的檢測性能。最后，通過與傳統方法的實驗結果進行對比、分析，表明本文方法能夠提高異常數據檢測的準確率。

1 LSTM 神經網絡結構

LSTM 神經網絡通過一個狀態轉換函數將輸入數據轉換成內部隱藏狀態結點ht，通過該轉換函數轉換后，可以處理任意長度的時序數據。該隱藏狀態結點是函數f 在第t 個時間點，由當前輸入量xt，以及前一個隱藏結點ht-1作用產生的，具體公式如下：

通常，將xt與ht-1通過仿射變換進行元素級的非線性組合，這種非線性組合過程是一種狀態到另一種狀態的映射過程，這個過程是由狀態轉換函數f 實現的。

圖1 表示LSTM 神經網絡結構[12]，虛線代表遞歸式連接，實線代表當前連接。圖2 表示LSTM 的單元結構，x=｛x1，x2，…，xT｝表示當前時間的輸入，h=｛h1，h2，…，hT｝表示隱藏狀態。從圖1 和圖2 中可以看出，這些門（如輸出門Output Gate o，輸入門Input Gate i 以及遺忘門Forget Gate f）和存儲單元允許LSTM 對記憶的內容自適應地遺忘、記憶和展示。如果檢測到需要的特征，即記憶內容，那么該特征將被認為是非常重要的，遺忘門將會關閉，并攜帶記憶內容跨越多個時間步長，為下一次使用做準備。這個過程需要LSTM 具有長時間的記憶功能，這也是LSTM 的長期依賴性的表現。如果這個記憶內容不是所需要記憶的，遺忘門就將打開，釋放該特征。

圖1 LSTM 神經網絡結構Fig.1 LSTM neural network structure

圖2 LSTM 單元結構Fig.2 Unfolded LSTM

2 MT-LSTM 神經網絡

LSTM 可以捕捉時序數據中的長期和短期依賴關系，但長期依賴關系需要沿著序列逐一傳送，進而會造成特征記憶的更新與遺忘的不及時，在傳輸過程中可能會丟失一些重要的信息[13]。此外，當使用通過時間的反向傳播（BPTT）時[14]，錯誤信號會通過多個時間步驟進行反向傳播，對于長文本，訓練效率較低。例如，如果一個有價值的特征出現在一個長文檔的開頭，需要通過整個文檔來反向傳播錯誤。

本文受已有工作的啟發[15]，使用延遲連接和在不同時間尺度上運行的單元來改進簡單的LSTM。本文將LSTM 單元劃分成g 個組：G1，G2，…，Gg。每個組Gk（1≤k≤g）在不同的時間段被激活Tk。相應地，門和權重矩陣也被劃分，以保持相應的LSTM組。選擇Tk∈｛T1，…，Tg｝的周期集是任意的，本文使用指數系列的周期。組Gk的周期為Tk＝2k-1。組G1是最快的一組，可以在每個時間步長中執行，組Gk是最慢的一個。

在時間步驟t，存儲單元向量和隱藏的群體Gk的狀態向量在2 種情況下被計算出來情況。

（1）當Gk組在時間步驟t 被激活時。該組的LSTM單元通過以下公式計算[16-17]：

式中：itk，ftk，okt分別是在t 時間步驟下分組Gk的輸入門、 遺忘門以及輸出門的向量；ckt和hkt分別是在分組Gk的存儲單元和隱藏狀態量。

（2）當Gk組在時間t 處于非激活狀態，那么LSMT單元將保持不變，不會更新。

2.1 更新策略

LSTM 的反饋機制是由時間步長t-1 到t 的遞歸連接來實現的。由于LSTM 組的更新頻率不同，所以可以把不同的組看作是人的記憶。快速組是短期記憶，而慢速組則是長期記憶。因此，為解決短時記憶和長期記憶之間的反饋問題，本文考慮了2 種反饋策略來定義不同組之間的連接模式。

（1）由快到慢的更新策略。當把短期記憶積累到一定程度時，會將一些有價值的信息從短期記憶儲存到長期記憶中。因此，首先定義一個從快到慢的策略，該策略用較快的組來更新較慢的組。當且僅當Ti≤Tk，從組j 到組k 是存在連接關系；當Ti＞Tk時，這時權重矩陣位將會設置為0。

（2）由慢到快的更新策略。考慮一個長期記憶可以被“提煉”為短期記憶，即當且僅當Ti≥Tk，從組到組是存在連接關系。當Ti＜Tk時，這時權重矩陣位將會設置為0。

2.2 動態選擇多尺度LSTM 單元組

本文另一個考慮是有多少個LSTM 單元組需要被使用，給長時間記憶的LSTM 單元組多于短時間記憶，這個組的長度依賴于輸入數據的序列長度。本文使用一個簡單的動態策略來選擇最大的組數，然后根據不同的任務選擇最好的作為超參數。在不同的任務上組數的上界計算方式為

式中：L 為輸入數據的平均長度，因此最慢的一組至少會被激活2 次進行更新。

3 算例分析

在實驗中，隱藏層在最后時刻有一個全連接層，然后是一個非線性softmax 層用于預測在給定時序數據時分類預測的概率。該神經網絡使用基于梯度優化[18-19]的更新規則，通過反向傳播法進行訓練。誤差傳播的反向傳播與LSTM 相似，唯一的區別是誤差的反向只從時間t 這個步驟開始執行，并在LSTM 單元組中進行傳播。LSTM 單元組的錯誤在時間上被復制回來，在那里它被添加到反向傳播中，進行神經網絡參數更新。

為驗證基于MT-LSTM 的電力變壓器異常數據檢測方法的準確性，本文使用ETDataset 數據進行分析，該數據包含一共8 列，包括“HUFL”，“HULL”，“MUFL”，“MULL”，“LUFL”，“LULL”和“OT”，其中“OT”為油溫數據。

變壓器油溫異常檢測從本質上可以當作一個預測問題，為此，首先對數據進行預處理，分為異常狀態和正常狀態兩類；其次，為了能夠讓模型更好地針對數據進行檢測，根據已有文獻的模型評估方法[20]，在原有數據上進行處理，即改變原有的油溫值，并把其當作異常值。

本文采用油溫異常檢測的混淆矩陣來描述檢測結果，如表1 所示。

表1 油溫異常值檢測的混淆矩陣Tab.1 Confusion matrix for oil temperature outlier detection

由于人工處理的異常數據點在整個數據集占10%，為了避免數據不平衡對數據準確率產生影響，即將原始的異常數據檢測為真實數據的情況。本文采用如下評估公式：

式中：SE 表示靈敏度；SP 表示特異度；G 表示幾何均值，G 越大，說明檢測效果越好。

為了獲得較好的預測效果，首先采用最大值最小值歸一化方法，對數據進行標準化處理，然后使用一周數據預測變壓器一天的油溫變化情況。其次通過統計分析整個數據預測的油溫與真實值之間的差值，確定異常數據模式與真實值模式之間的閾值σ。最后通過判斷閾值與真實值之間的差值是否超出閾值范圍，判斷該變壓器油溫是否存在異常。

如圖3 所示，可以看出MT-LSTM 對工作一天變壓器的油溫預測結果的展示。從圖中能夠看出，該模型能夠準確地預測出一天內變壓器油溫發生的變化，這為后續變壓器油溫異常檢測奠定了基礎。根據訓練好的模型，統計模型在真實數據上的預測差值，通過差值確定閾值σ，本文所使用的σ＝0.14。

圖3 在數據集上預測模型的結果與真實值對比Fig.3 Results of the prediction model on the data set compared to the true values

閾值σ 的計算方式如下：

式中：N 代表時序數據的長度，如本文對一天的時序數據進行預測，N=24；Tpn和Tgtn分別為模型預測的結果與真實的數據值。

對數據進行異常點檢測，得到的準確率直方圖如圖4 所示。圖4 可以看出，使用MT-LSTM 與LSTM相比較，能夠更準確地對數據進行預測，數據異常點檢測的正確率從88%提升至94%，數據異常點檢測的誤檢率從10.5%降低到7.9%。

圖4 與LSTM 算法在預測準確率上的比較Fig.4 Comparison with LSTM algorithm in terms of prediction accuracy

4 結語

本文在分析與研究前人成果的基礎上，提出一種基于多時間尺度的電力變壓器油溫異常數據檢測方法，通過更新策略和動態選擇多尺度LSTM 單元組，該方法能夠捕捉不同時間尺度的信息，通過捕獲不同時間尺度的特征，對不同時間尺度的記憶進行表達，使該模型能夠更好地構建短時間記憶和長時間記憶，進而提高模型的異常數據檢測能力。通過算例分析表明，相對于傳統的LSTM 算法，本文方法具有訓練速度快、異常數據檢測準確率高的優點。