人工神經(jīng)網(wǎng)絡(luò)在變電智能決策中的應(yīng)用

0 引言

隨著我國(guó)綜合國(guó)力不斷增強(qiáng)，對(duì)電能的要求越來(lái)越高，而變電作為傳輸電力的重要環(huán)節(jié)，如何安全地、高效地變電運(yùn)行成為了電網(wǎng)研究的一個(gè)重要方向。變電運(yùn)行的管理直接決定了變電運(yùn)行的質(zhì)量和效率。所以本文從集中控制、人工智能輔助決策兩個(gè)方向?qū)ψ冸娺\(yùn)行進(jìn)行改進(jìn)，以達(dá)到節(jié)約監(jiān)控人員勞動(dòng)力、加快監(jiān)控信息處理速度的目的。

1 課題背景

隨著無(wú)人值守變電站的普及，大量的監(jiān)控?cái)?shù)據(jù)直接由監(jiān)控中心進(jìn)行采集和處理。當(dāng)前變電運(yùn)行主要存在如下幾點(diǎn)不足：

（1）數(shù)據(jù)量大以省級(jí)監(jiān)控中心為例，一個(gè)500kV變電站的監(jiān)控?cái)?shù)據(jù)高達(dá)幾千條，各省級(jí)監(jiān)控中心至少要同時(shí)監(jiān)控十幾個(gè)甚至幾十個(gè)500kV變電站，遙信量超過(guò)十萬(wàn)條。而且由于各種信號(hào)動(dòng)作頻繁，單憑人力監(jiān)控不但會(huì)給監(jiān)控員帶來(lái)巨大的壓力，而且一旦發(fā)生疏漏，錯(cuò)過(guò)告警信號(hào)，就會(huì)給整個(gè)電網(wǎng)帶來(lái)巨大的損失。 告警數(shù)據(jù)繁雜，對(duì)監(jiān)控人員素質(zhì)要求高輸變電設(shè)備種類(lèi)及其電氣回路復(fù)雜多樣，而一個(gè)監(jiān)控員不可能熟練掌握所有設(shè)備和回路的告警信息。由于判斷能力的不足，可能會(huì)導(dǎo)致監(jiān)控員對(duì)異常故障漏判、誤判。而且，當(dāng)監(jiān)控設(shè)備發(fā)生異常、故障時(shí)，監(jiān)控員不僅要處理大量的監(jiān)控信號(hào)，同時(shí)還要甄別監(jiān)控信號(hào)的正確性。這讓監(jiān)控員更加難于分析、決策，影響異常、故障的處理效率，而故障處理每延長(zhǎng)1秒鐘，都會(huì)給電網(wǎng)帶來(lái)巨大的損失。

（2）知識(shí)庫(kù)技術(shù)尚不完備。對(duì)輸變電設(shè)備進(jìn)行監(jiān)控和維護(hù)需要掌握設(shè)備的相關(guān)原理知識(shí)和技術(shù)流程，而這些資料仍然缺乏電子備案，這樣不利于知識(shí)的儲(chǔ)存和檢索，而且查閱起來(lái)費(fèi)時(shí)費(fèi)力、十分依賴(lài)監(jiān)控人員的記憶，影響對(duì)故障診斷的效率和準(zhǔn)確性。

（3）數(shù)據(jù)的分析和利用方法有待完善。調(diào)控中心監(jiān)控的信息總量十分龐大，由于缺乏合理的整理和利用方法，造成了大量的信息浪費(fèi)。監(jiān)控信息可以反映多方面數(shù)據(jù)，如某一時(shí)刻設(shè)備的運(yùn)行狀態(tài)、線路各節(jié)點(diǎn)的實(shí)時(shí)數(shù)據(jù)，這些數(shù)據(jù)都是離散的。如果對(duì)一段時(shí)間的數(shù)據(jù)進(jìn)行連續(xù)的分析，就能反映設(shè)備狀態(tài)變化趨勢(shì)，甚至預(yù)知故障的發(fā)生。但是由于數(shù)據(jù)分析軟件尚不成熟、專(zhuān)家數(shù)據(jù)庫(kù)還不完備，目前監(jiān)控中心對(duì)數(shù)據(jù)的利用程度仍然不是很理想。

（4）數(shù)據(jù)處理的智能化程度不高。現(xiàn)階段電網(wǎng)調(diào)度運(yùn)行輔助分析軟件層出不窮，卻很少有面向監(jiān)控運(yùn)行人員的輔助分析軟件。現(xiàn)有的光字牌圖、事故推圖、 故障告警等，傳達(dá)的信息過(guò)于狹隘，只是將原始數(shù)據(jù)傳遞給監(jiān)控人員，缺乏對(duì)數(shù)據(jù)的智能處理方法。這是造成監(jiān)控?cái)?shù)據(jù)龐大、處理困難的重要因素。監(jiān)控運(yùn)行人員只能通過(guò)人力篩選和分析數(shù)據(jù)，當(dāng)電網(wǎng)出現(xiàn)大幅波動(dòng)或故障時(shí)，監(jiān)控信號(hào)爆炸式增長(zhǎng)，這給監(jiān)控人員帶來(lái)巨大的工作負(fù)擔(dān)，且影響事故的處理速度和準(zhǔn)確性。開(kāi)發(fā)面向監(jiān)控運(yùn)行的智能輔助軟件有很強(qiáng)的現(xiàn)實(shí)意義。綜上，要對(duì)變電運(yùn)行方式進(jìn)行改進(jìn)，首先要提高對(duì)數(shù)據(jù)的處理速度和精度，面對(duì)龐大、繁雜的數(shù)據(jù)，本文選擇以一種人工智能算法——深度置信網(wǎng)絡(luò)法（DBN）來(lái)對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行處理。

綜上，要對(duì)變電運(yùn)行方式進(jìn)行改進(jìn)，首先要提高對(duì)數(shù)據(jù)的處理速度和精度，面對(duì)龐大、繁雜的數(shù)據(jù)，本文選擇以一種人工智能算法——深度置信網(wǎng)絡(luò)法（DBN）來(lái)對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行處理。

2 人工智能技術(shù)

人工智能（Artificial Intelligence）。它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)。

人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類(lèi)智能相似的方式做出反應(yīng)的智能機(jī)器，可以一定程度上代替監(jiān)控運(yùn)行人員做出簡(jiǎn)單的決策或針對(duì)故障提出建議，分擔(dān)一部分運(yùn)行人員的工作。由于人工智能通過(guò)計(jì)算機(jī)對(duì)數(shù)據(jù)進(jìn)行對(duì)比運(yùn)算，所以具備數(shù)據(jù)分析時(shí)間短并運(yùn)算精度高的特點(diǎn)。

2.1 專(zhuān)家系統(tǒng)

專(zhuān)家系統(tǒng)是人工智能技術(shù)的重要組成部分之一，它為后續(xù)實(shí)驗(yàn)的檢測(cè)和對(duì)比提供方便的依據(jù)。專(zhuān)家系統(tǒng)數(shù)據(jù)庫(kù)是由具有豐富現(xiàn)場(chǎng)異常、故障診斷經(jīng)驗(yàn)的專(zhuān)家，梳理總結(jié)出設(shè)備經(jīng)常出現(xiàn)的復(fù)雜問(wèn)題作為故障診斷的依據(jù)。專(zhuān)家系統(tǒng)擅長(zhǎng)邏輯推理和符號(hào)信息處理，其能力主要取決于它知識(shí)庫(kù)中知識(shí)的數(shù)量和質(zhì)量。

專(zhuān)家系統(tǒng)可以在某些場(chǎng)合下代替人類(lèi)專(zhuān)家，獨(dú)自完成變電設(shè)備故障診斷，有時(shí)候甚至超過(guò)了人類(lèi)專(zhuān)家。但在實(shí)際應(yīng)用中仍存在一些致命缺陷：

（1）知識(shí)庫(kù)的獲取無(wú)法通過(guò)自我學(xué)習(xí)更新，過(guò)于依賴(lài)人為輸入;

（2）專(zhuān)家系統(tǒng)的方法比較死板，推理能力有限;

（3）知識(shí)庫(kù)更新效率低，需要投入大量的人力，這些問(wèn)題可以由人工神經(jīng)網(wǎng)絡(luò)輔助專(zhuān)家系統(tǒng)進(jìn)行數(shù)據(jù)的運(yùn)算和分析。

2.2 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)根據(jù)仿生學(xué)原理，以人類(lèi)神經(jīng)網(wǎng)絡(luò)為模板，建立信息傳輸和信息處理的模擬系統(tǒng)，利用程序進(jìn)行仿真，以故障特征數(shù)據(jù)為樣本組成樣本庫(kù)，并結(jié)合神經(jīng)網(wǎng)絡(luò)仿真系統(tǒng)，與專(zhuān)家系統(tǒng)總結(jié)的知識(shí)庫(kù)以按權(quán)重儲(chǔ)存在數(shù)據(jù)庫(kù)中，仿真過(guò)程中將連接權(quán)重值不斷優(yōu)化，提取出最佳計(jì)算結(jié)果，達(dá)到更精確的診斷效果。而根據(jù)進(jìn)行數(shù)據(jù)處理時(shí)數(shù)據(jù)傳輸方向的不同，可以分為普通神經(jīng)網(wǎng)絡(luò)（單向神經(jīng)網(wǎng)絡(luò)）、BP神經(jīng)網(wǎng)絡(luò)（雙向神經(jīng)網(wǎng)絡(luò)）。

2.3 BP神經(jīng)網(wǎng)絡(luò)

BP算法是一種雙向神經(jīng)網(wǎng)絡(luò)，輸入信號(hào)從正向傳播，故障信號(hào)反響傳播。在正向傳播時(shí)，輸入樣本從輸入層輸入，經(jīng)各層神經(jīng)網(wǎng)絡(luò)處理后傳向其他輸出層。當(dāng)輸出層的實(shí)際輸出與期望的輸出匹配度不高時(shí)時(shí)，進(jìn)入反向傳播階段，即發(fā)出故障信號(hào)。在反向傳播時(shí)，依據(jù)故障點(diǎn)傳回的誤差信號(hào)不斷調(diào)整權(quán)值。此過(guò)程不斷循環(huán)進(jìn)行，直到網(wǎng)絡(luò)輸出誤差減少到可以接受的范圍，或達(dá)到設(shè)定的迭代次數(shù)之后，輸出誤差率和實(shí)驗(yàn)結(jié)果。BP神經(jīng)網(wǎng)絡(luò)分析數(shù)據(jù)精度要高于普通神經(jīng)網(wǎng)絡(luò)法。

2.4 深度學(xué)習(xí)算法

2.4.1 基本思想

深度學(xué)習(xí)的概念最早由G. E. Hinton等人在2006年提出，指通過(guò)多個(gè)層級(jí)對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)和優(yōu)化。深度學(xué)習(xí)技術(shù)是較為復(fù)雜的神經(jīng)網(wǎng)絡(luò)，一個(gè)神經(jīng)網(wǎng)絡(luò)就是深度網(wǎng)絡(luò)的一個(gè)組成單元，我們將它定義為神經(jīng)元。每個(gè)神經(jīng)元與大量其他神經(jīng)元存在映射關(guān)系，神經(jīng)元間的關(guān)系強(qiáng)度體現(xiàn)在訓(xùn)練過(guò)程中稱(chēng)為權(quán)值，權(quán)值需要不斷進(jìn)行調(diào)整，這個(gè)過(guò)程同時(shí)優(yōu)化了網(wǎng)絡(luò)的功能。通過(guò)深度學(xué)習(xí)所得到的網(wǎng)絡(luò)本質(zhì)上就是深層次的人工神經(jīng)網(wǎng)絡(luò)，即深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）。

支持向量機(jī)（SVM） 、BP 神經(jīng)網(wǎng)絡(luò)、最大熵等“淺層學(xué)習(xí)”是幾種傳統(tǒng)學(xué)習(xí)算法，它們屬于淺層學(xué)習(xí)算法。這些學(xué)習(xí)方法，需要人工提取數(shù)據(jù)樣本特征，經(jīng)過(guò)模型學(xué)習(xí)后所得到的結(jié)果是沒(méi)有層次結(jié)構(gòu)的，而深度學(xué)習(xí)通過(guò)對(duì)原始數(shù)據(jù)樣本多次，多層對(duì)樣本進(jìn)行特征變換，通過(guò)自動(dòng)學(xué)習(xí)得出有層次化的樣本，即創(chuàng)建一種多層次的算法。這種算法更有利于數(shù)據(jù)分類(lèi)，且這種算法處理的大多數(shù)是非線性問(wèn)題，淺層學(xué)習(xí)方法很難完成。深度學(xué)習(xí)技術(shù)作為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究課題，在語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域取得了突破性進(jìn)展，但目前在電力領(lǐng)域的應(yīng)用還處于剛剛起步階段。

2.4.2 深度學(xué)習(xí)算法的特征

傳統(tǒng)人工智能的變壓器故障診斷方法大都是淺層學(xué)習(xí)方法，具有較大的局限性。要得到準(zhǔn)確性較強(qiáng)的數(shù)據(jù)，需要大量準(zhǔn)確而完備的樣本數(shù)據(jù);而且簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力有限，相較傳統(tǒng)方法診斷正確率上升幅度有限，并且隨著樣本數(shù)目逐漸增多、數(shù)據(jù)處理過(guò)程的增加，上述方法的可擴(kuò)展性也變差。這就需要一種更高級(jí)、更便捷的算法。深度理論學(xué)習(xí)方法包含多隱層結(jié)構(gòu)，可更好地?cái)M合復(fù)雜函數(shù)以提高數(shù)據(jù)精度，該方法逐層學(xué)習(xí)的方式可以全面地對(duì)原始數(shù)據(jù)提取特征數(shù)據(jù)，最終獲得與原始數(shù)據(jù)擬合度更高的曲線。

深度學(xué)習(xí)理論自提出以來(lái)，就受到了高度重視，作為第三代神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)地從樣本中提取特征的能力;同時(shí)由于其多層的復(fù)雜結(jié)構(gòu)及逐層訓(xùn)練的穩(wěn)定性，能夠?qū)Υ髷?shù)據(jù)量樣本進(jìn)行訓(xùn)練，順應(yīng)了大數(shù)據(jù)時(shí)代的潮流，具有廣闊的應(yīng)用前景，現(xiàn)已廣泛運(yùn)用于圖像識(shí)別、語(yǔ)音判斷、智能決策等人工智能技術(shù)中。本文將深度學(xué)習(xí)理論用于變電設(shè)備故障診斷中，加快了模型的收斂速度，即加快故障診斷效率，相較一般神經(jīng)網(wǎng)絡(luò)更具快速性。同時(shí)采用深度置信網(wǎng)絡(luò)構(gòu)建含多隱層的深度學(xué)習(xí)模型，根據(jù)進(jìn)程由程序自行確定學(xué)習(xí)率，進(jìn)一步加快了深度學(xué)習(xí)模型收斂速度，削弱了初始參數(shù)對(duì)模型構(gòu)建效果的影響，提高變壓器故障診斷準(zhǔn)確性。

2.5 深度學(xué)習(xí)算法

2.5.1 受限玻茲爾曼機(jī)的結(jié)構(gòu)

深度學(xué)習(xí)通過(guò)對(duì)低層特征的整合和歸納形成更加抽象的高層特征，并以此表示屬性類(lèi)別或特征，從而發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。理論上，數(shù)據(jù)越繁雜，它相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)更大，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)可以同時(shí)解決1個(gè)問(wèn)題，而多層向量機(jī)可以同時(shí)解決5-10個(gè)問(wèn)題 。但此時(shí)多層向量機(jī)的準(zhǔn)確性將大大減小，因?yàn)楦鲗觽鞑サ男盘?hào)誤差通過(guò)疊加不斷放大，最后使整個(gè)網(wǎng)絡(luò)的參數(shù)都偏離準(zhǔn)確值。DBN算法的提出彌補(bǔ)了這個(gè)缺點(diǎn)。通過(guò)調(diào)整各層的權(quán)重，整個(gè)網(wǎng)絡(luò)即使有很多層，依然通過(guò)權(quán)值減小誤差。

DBN是通過(guò)模仿生物神經(jīng)的機(jī)理，在淺層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建的。DBN 包含若干層RBM結(jié)構(gòu)以及一層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其頂層為Softmax層，用于實(shí)現(xiàn)多分類(lèi)的邏輯判斷。DBN運(yùn)算分為“預(yù)訓(xùn)練”及“微調(diào)”兩部分。所謂預(yù)訓(xùn)練是指各層RBM基于2.3節(jié)中介紹方法進(jìn)行訓(xùn)練，并將本層RBM處理的數(shù)據(jù)作為下層RBM的輸入，各層RBM參數(shù)僅能使本層達(dá)，期間各層RBM結(jié)構(gòu)互不影響，相對(duì)獨(dú)立。但最后一層RBM得到的結(jié)果并不是最優(yōu)解，因此還需進(jìn)行“微調(diào)”。所謂微調(diào)是指采用傳統(tǒng)的全局學(xué)習(xí)方法有監(jiān)督地對(duì)整個(gè)DBN 的參數(shù)進(jìn)行優(yōu)化調(diào)整，即加入懲罰參數(shù)，篩選更為精確的結(jié)果作為下一次訓(xùn)練的輸入，典型的方法為反向傳播（Back Propagation——BP）。

進(jìn)行微調(diào)的目的是對(duì)參數(shù)進(jìn)行微調(diào)。對(duì)于任意某輸入，經(jīng) DBN輸出后，對(duì)其類(lèi)別進(jìn)行判定，判定后的類(lèi)別修改標(biāo)簽為，設(shè)其實(shí)際類(lèi)別標(biāo)簽為，則第t次迭代后，輸出層的代價(jià)函數(shù)為式（1）：

（1）

式中k為訓(xùn)練樣本總數(shù)。則微調(diào)過(guò)程，輸出層權(quán)值更新公式為式（2）：

（2）

同樣，利用上述方法可由頂層輸出層到底層輸入層，把各層權(quán)值進(jìn)行微調(diào)更新。參數(shù)a及參數(shù)b更新方式也類(lèi)似。

2.5.2 DBN構(gòu)建流程

DBN本身就是一種多層感知機(jī)，它的本質(zhì)是多層次的受限玻爾茲曼向量機(jī)，而玻爾茲曼機(jī)又是有多層的RBM結(jié)構(gòu)構(gòu)成，所以深度置信網(wǎng)絡(luò)是復(fù)雜的BP神經(jīng)網(wǎng)絡(luò)，它擁有多層陰層結(jié)構(gòu)，數(shù)據(jù)在映射過(guò)程中經(jīng)過(guò)懲罰因子不斷優(yōu)化，再經(jīng)過(guò)向量機(jī)不斷對(duì)數(shù)據(jù)進(jìn)行特征優(yōu)化以提高數(shù)據(jù)的準(zhǔn)確性和真實(shí)性。

一般地，DBN的訓(xùn)練分為兩個(gè)階段：第一階段：?jiǎn)为?dú)訓(xùn)練一層的RBM數(shù)據(jù)H0可看作是RBM的H+1的可見(jiàn)層，記為V1-Vn，上一個(gè)RBM的輸出層就是下一個(gè)網(wǎng)絡(luò)的輸入層，具體的流程可如圖1所示。

訓(xùn)練開(kāi)始后將第一個(gè)隱層和數(shù)據(jù)向量當(dāng)作一個(gè)RBM，訓(xùn)練出相關(guān)權(quán)值和偏置值等，將參數(shù)固定，以h1作為可視向量h2作為隱含向量，繼續(xù)向上訓(xùn)練第二個(gè)RBM，以此類(lèi)推，訓(xùn)練出初始的相關(guān)參數(shù)。

RBM的目的是盡可能的擬合輸入的數(shù)據(jù)，任何概率分布都可以轉(zhuǎn)變成基能量函數(shù)的模型，能量模型可以為RBM的無(wú)監(jiān)督學(xué)習(xí)提供所需的算法（見(jiàn)后文2.5.4）。

2.5.3 受限玻茲爾曼機(jī)的結(jié)構(gòu)

玻爾茲曼機(jī)（BM）是神經(jīng)網(wǎng)絡(luò)模型的一個(gè)門(mén)類(lèi)，但是在實(shí)際應(yīng)用明顯不如受限玻爾茲曼機(jī)RBW）方便快捷。BM每層的數(shù)據(jù)之間互相影響，這大大加大了計(jì)算量，在實(shí)際應(yīng)用中幾乎不可能實(shí)現(xiàn)，而RBM每層中的數(shù)據(jù)相互獨(dú)立，這樣使符合條件的樣本概率最大化，即作為BM的極限情況參與計(jì)算。因此深度學(xué)習(xí)算法大多以RBM為基本單元。

受限玻爾茲曼機(jī)（RBM）是一個(gè)隨機(jī)神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)每經(jīng)過(guò)一個(gè)神經(jīng)元就會(huì)被重新優(yōu)化一次。它包含一層可視層和一層隱藏層。在同一層的神經(jīng)元之間不能相互影響，而在不同的網(wǎng)絡(luò)層之間的神經(jīng)元是存在映射關(guān)系的。在網(wǎng)絡(luò)進(jìn)行仿真時(shí)信息會(huì)在兩個(gè)方向上流動(dòng)，而且兩個(gè)方向上的權(quán)值是相同的。但是偏置值是不同的（偏置值的個(gè)數(shù)是和神經(jīng)元的個(gè)數(shù)相同的），受限玻爾茲曼機(jī)的結(jié)構(gòu)如圖2。

其中，，，。

上面一層神經(jīng)元組成隱藏層（hidden layer），用h向量表示隱藏層神經(jīng)元的值。下面一層的神經(jīng)元組成可見(jiàn)層（visible layer），用v向量表示可見(jiàn)層神經(jīng)元的值。連接權(quán)重可以用矩陣W表示。RBM不區(qū)分前向和反向，可見(jiàn)層的狀態(tài)可以作用于隱藏層，而隱藏層的狀態(tài)也可以作用于可見(jiàn)層。隱藏層的偏倚系數(shù)是向量b，而可見(jiàn)層的偏倚系數(shù)是向量a。

最常用的RBM一般是二值的，即不管是隱藏層還是可見(jiàn)層，它們的神經(jīng)元的取值只能為0或者1。

RBM模型結(jié)構(gòu)的結(jié)構(gòu)：主要是權(quán)重矩陣W，偏倚系數(shù)向量a和b，隱藏層神經(jīng)元狀態(tài)向量h和可見(jiàn)層神經(jīng)元狀態(tài)向量v。

2.5.4 RBM能量函數(shù)和概率分布

RBM是基于基于能量的概率分布模型。分為兩個(gè)部分：第一部分是能量函數(shù)，第二部分是基于能量函數(shù)的概率分布函數(shù)。對(duì)于給定的狀態(tài)向量h和v，則RBM當(dāng)前的能量函數(shù)可以表示為式（3）：

（3）

其中a，b是偏倚系數(shù)，而W是權(quán)重矩陣。有了能量函數(shù)，v，h的聯(lián)合概率分布為式（4）：

（4）

其中Z是被稱(chēng)為配分函數(shù)的歸一化常數(shù)（對(duì)于概率輸出一般都要做歸一化）見(jiàn)式（5）：

（5）

由于配分函數(shù)Z的難以處理，所以必須使用最大似然梯度來(lái)近似。首先從聯(lián)合分布中導(dǎo)出條件分布見(jiàn)式（6）：

（6）

為了推導(dǎo)方便將無(wú)關(guān)值歸于Z中見(jiàn)式（7）：

（7）

可以容易的得到在給定可視層v的基礎(chǔ)上，隱層第j個(gè)節(jié)點(diǎn)為1或者為0的概率為見(jiàn)式（8）：

（8）

可以看到就是相當(dāng)于使用了sigmoid激活函數(shù)，現(xiàn)在可以寫(xiě)出關(guān)于隱藏層的完全條件分布見(jiàn)式（9）：

（9）

有了激活函數(shù)，就可以從可見(jiàn)層和參數(shù)推導(dǎo)出隱藏層的神經(jīng)元的取值概率了。對(duì)于0，1取值的情況，則大于0.5即取值為1。

2.5.5 RBM損失函數(shù)

RBM模型的關(guān)鍵就是求出模型中的參數(shù)W，a，b。首先寫(xiě)出損失函數(shù)，RBM一般采用對(duì)數(shù)損失函數(shù)，即期望最小化式（10）：

（10）

然后求偏導(dǎo)可得式（11，12，13）：

（11）

（12）

（13）

雖然說(shuō)梯度下降從理論上可以用來(lái)優(yōu)化RBM模型，但實(shí)際中求得P（v）的概率分布（P（v）表示可見(jiàn)層節(jié)點(diǎn)的聯(lián)合概率）是不現(xiàn)實(shí)的。計(jì)算復(fù)雜度非常大，因此采用一些模擬采樣的方法來(lái)和準(zhǔn)確值進(jìn)行擬合。這三個(gè)梯度的第二項(xiàng)實(shí)際上都是求期望，樣本的均值是隨機(jī)變量期望的無(wú)偏估計(jì)。因此一般都是基于對(duì)比散度方法來(lái)求解。

2.5.6 對(duì)比散度算法（CD）

CD算法大概思路：從樣本集任意一個(gè)樣本v0開(kāi)始，經(jīng)過(guò)k次Gibbs采樣（實(shí)際中k=1往往就足夠了），即每一步是見(jiàn)式（14，15）：

（14）

（15）

2.5.7 DBN的功能

DBN算法適應(yīng)度很高，既可以用于非監(jiān)督學(xué)習(xí)，也可以用于監(jiān)督學(xué)習(xí)。DBN是可以生成概率數(shù)據(jù)，但有與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)有所不同，生成模型是建立不僅包括原始數(shù)據(jù)，并且把原始數(shù)據(jù)的抽象特征提取出來(lái)，組成一個(gè)新的映射關(guān)系。通過(guò)優(yōu)化其神經(jīng)元間的權(quán)重，可以讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來(lái)生成訓(xùn)練數(shù)據(jù)。

DBN不僅可以使用來(lái)識(shí)別特征參數(shù)、分類(lèi)數(shù)據(jù)，還可以用它來(lái)生成數(shù)據(jù)。DBN算法是適用性非常廣泛的學(xué)習(xí)算法，擴(kuò)展性也強(qiáng)，可以很好地彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)的不足，滿足電力行業(yè)對(duì)變壓器故障診斷的需求。

2.5.8 DBN拓展

DBN的靈活性使得它的拓展比較容易。一個(gè)拓展就是卷積CDBNs（Convolutional Deep Belief Networks（CDBNs））。DBN并沒(méi)有考慮到圖像的二維結(jié)構(gòu)信息，只是將一個(gè)一位圖像矩陣向量化。而CDBNs就是考慮到了這個(gè)問(wèn)題，它利用鄰域像素的空域關(guān)系，通過(guò)一個(gè)稱(chēng)為卷積RBMs的模型區(qū)達(dá)到生成模型的變換不變性，這樣可以更容易地生成高維圖像。CDBNs并沒(méi)有明確地處理對(duì)觀察變量的時(shí)間聯(lián)系，雖然也有相關(guān)的研究，例如堆疊時(shí)間RBMs，并以RBMs為基礎(chǔ)，拓展出有序列學(xué)習(xí)的dubbed temporalconvolution machines，這種序列學(xué)習(xí)的應(yīng)用，目前旨在語(yǔ)音信號(hào)處理問(wèn)題上有所應(yīng)用，還未有人將其引入電力行業(yè)，本文也僅將此作為DBN未來(lái)發(fā)展方向的展望，沒(méi)有進(jìn)行展開(kāi)論述。

2.5.9 DBN的展望

基于DBN理論構(gòu)建深度學(xué)習(xí)模型時(shí)，RBM參數(shù)訓(xùn)練層需設(shè)置參數(shù)“學(xué)習(xí)率ε”。ε是RBM參數(shù)學(xué)習(xí)的核心，增大ε，可加快收斂速度，縮短訓(xùn)練時(shí)間，同時(shí)也會(huì)造成誤差率增大;減小ε，可減小重構(gòu)誤差，但會(huì)導(dǎo)致收斂速度減小，訓(xùn)練時(shí)間增長(zhǎng)。所以RBM的核心就是ε的確定。

傳統(tǒng)的深度學(xué)習(xí)模型采用固定學(xué)習(xí)率，即各次迭代中ε均為常數(shù)。然而學(xué)習(xí)率全局設(shè)置為常數(shù)時(shí)，無(wú)法根據(jù)訓(xùn)練進(jìn)程優(yōu)化自身特點(diǎn)，相應(yīng)訓(xùn)練速度及訓(xùn)練精度無(wú)法實(shí)時(shí)進(jìn)行調(diào)整，并不是數(shù)據(jù)優(yōu)化的最優(yōu)方法，所以變壓器故障診斷的效率和識(shí)別率還有提升的空間。為此本文對(duì)這種深度學(xué)習(xí)方法進(jìn)行了自適應(yīng)改良，該方法對(duì)學(xué)習(xí)率的確定方法進(jìn)行如下改進(jìn)見(jiàn)式（16）：

（16）

式中：α學(xué)習(xí)率調(diào)整系數(shù)，并有0 <α< 1; Δ為連續(xù)兩次迭代DBN參數(shù)變化量乘積，其可表示為式（17）：

（17）

若式（17）結(jié)果為正，說(shuō)明連續(xù)兩次迭代RBM參數(shù)更新方向相同，即表明RBM更新過(guò)程仍未達(dá)到最優(yōu)值，可適當(dāng)加大學(xué)習(xí)率以加快迭代更新;若式（17） 結(jié)果為負(fù)，說(shuō)明連續(xù)兩次迭代RBM參數(shù)更新方向相反，此時(shí)仍保持現(xiàn)有學(xué)習(xí)率，極可能跳過(guò)準(zhǔn)確值，加大誤差。根據(jù)RBM參數(shù)的更新趨勢(shì)對(duì)學(xué)習(xí)率進(jìn)行自適應(yīng)調(diào)整，使得RBM參數(shù)更新進(jìn)程兼顧進(jìn)化速度及進(jìn)化精度。

同樣，在反向微調(diào)階段，若連續(xù)兩次參數(shù)更新方向相同，證明此時(shí)反向微調(diào)階段參數(shù)更新未達(dá)到最優(yōu)值，為加快更新速率可增大學(xué)習(xí)率，表明連續(xù)兩次迭代進(jìn)程可能跳過(guò)了最優(yōu)值，若繼續(xù)保持現(xiàn)有學(xué)習(xí)率，會(huì)增大誤差。反向微調(diào)階段，參數(shù)進(jìn)化方向可通過(guò)式（ 17） 進(jìn)行表示。因此，自適應(yīng)學(xué)習(xí)率同樣可用于反向微調(diào)階段權(quán)值、偏置向量等更新，使得在反向微調(diào)階段，DBN參數(shù)的更新可根據(jù)進(jìn)化方向自適應(yīng)調(diào)整。

綜上，采用本文所提方法，使DBN更具智能化，參數(shù)調(diào)整更為科學(xué)合理，并且提高了DBN網(wǎng)絡(luò)的收斂速度及收斂精度。

3 結(jié)論

本文介紹了一種深度智能學(xué)習(xí)算法——DBN深度置信網(wǎng)絡(luò)法，它應(yīng)用多層受限玻爾茲曼機(jī)對(duì)數(shù)據(jù)進(jìn)行加權(quán)、篩選以及預(yù)測(cè)，在龐大的數(shù)據(jù)中提取出異常數(shù)據(jù)，并與專(zhuān)家系統(tǒng)中的標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行對(duì)比，按照偏差程度對(duì)數(shù)據(jù)進(jìn)行加權(quán)運(yùn)算，并按照權(quán)重排序，權(quán)重大的數(shù)據(jù)即為故障最為嚴(yán)重的數(shù)據(jù)，這大大減少了監(jiān)控運(yùn)行人員的工作量，并擁有很高的處理精度。變電設(shè)備的某些故障不是突然發(fā)生的，而是長(zhǎng)時(shí)間處在異常運(yùn)行狀態(tài)并漸漸發(fā)展成為設(shè)備故障。作為人工神經(jīng)網(wǎng)絡(luò)的一種，深度置信網(wǎng)絡(luò)也具有一定的學(xué)習(xí)能力，它可以把多次出現(xiàn)異常的數(shù)據(jù)進(jìn)行存儲(chǔ)、匯總，再與專(zhuān)家系統(tǒng)中典型故障數(shù)據(jù)進(jìn)行對(duì)比，對(duì)故障具有一定的預(yù)測(cè)能力，在故障發(fā)生前對(duì)監(jiān)控運(yùn)行人員進(jìn)行預(yù)警，減少故障發(fā)生的頻率。

綜上，DBN在數(shù)據(jù)處理方面處于領(lǐng)先地位，將其應(yīng)用在變電智能運(yùn)檢方面將大大降低人力成本，并且順應(yīng)無(wú)人值守變電站的發(fā)展趨勢(shì)，是集中監(jiān)控、智能運(yùn)檢方面的重要手段之一。

參考文獻(xiàn)

[1] 趙家慶，唐勝，丁宏恩，等.多主題電網(wǎng)設(shè)備綜合智能告警技術(shù)方案[J].電力系統(tǒng)保護(hù)與控制，2015，43（10）：116-122.

[2] 金芬蘭，王昊，范廣民，等.智能電網(wǎng)調(diào)度控制系統(tǒng)的變電站集中監(jiān)控功能設(shè)計(jì)[J].電力系統(tǒng)自動(dòng)化，2015，39（1）：241-247.

[3] 萬(wàn)文華，趙會(huì)峰，張萬(wàn)博.地區(qū)電網(wǎng)調(diào)控一體化技術(shù)支持系統(tǒng)的應(yīng)用[J].電氣應(yīng)用，2013，32（1）：38-41.

[4] 王波，王威，李豐偉.電網(wǎng)集中監(jiān)控下海量信息導(dǎo)致的安全風(fēng)險(xiǎn)及應(yīng)對(duì)策略[J].中國(guó)電力，2015，48（12）：27-32.

[5] 呂銘剛，呂佳珩，王瑋.調(diào)控一體化系統(tǒng)信息優(yōu)化探討[J].華北電力技術(shù)，2014，（5）：54-57.

[6] 張珂斐，郭江，聶德鑫，等.基于化學(xué)反應(yīng)優(yōu)化神經(jīng)網(wǎng)絡(luò)與融合DGA算法的油浸式變壓器模型研究[J].高電壓技術(shù)，2016，42（4）：1275-1281.

[7] 畢建權(quán)，鹿鳴明，郭創(chuàng)新，等.一種基于多分類(lèi)概率輸出的變壓器故障診斷方法[J].電力系統(tǒng)自動(dòng)化，2015，39（5）：88-93.

[8] 鐘志琛.基于人工智能技術(shù)的變壓器故障診斷系統(tǒng)研究[J].科學(xué)技術(shù)創(chuàng)新，2018（10）：143-145.

[9] 譚子兵，黃秀超，鐘建偉.基于BP人工神經(jīng)網(wǎng)絡(luò)的電力變壓器故障診斷研究[J].湖北民族學(xué)院學(xué)報(bào)（自然科學(xué)版），2018，36（01）：89-92.

[10] 李長(zhǎng)海.基于支持向量機(jī)的油浸式電力變壓器故障診斷方法研究[J].電氣應(yīng)用，2019，38（05）：67-72.

Application of Artificial Neural Network in Intelligent Decision-making of Substation

ZHENG Tian-qi， WU Jun-jun， ZHAO De-ji， GAO Yu-bao

（Shanghai Xuji Electric Co.， Ltd.， Shanghai? 200120）

Abstract：In recent years， with the comprehensive development of the State Grid Corporation's "three sets and five major" system construction and the rapid construction of the "regulation and control integration" system， the controling centers at all levels need to monitor much more transmissions and transformation equipments， the types of faults which need to be handled are more complex， and the monitoring information is larger. It is urgent to improve the monitoring efficiency and information processing speed of the control center. Based on three aspects of power grid fault diagnosis， expert database and data mining， this paper proposes to use artificial intelligence algorithm to process equipment detection information， instead of equipment inspectors to preprocess the detection information.

Key words：Integration of regulation and control; Artificial intelligence; centralized monitoring; Intelligent decision-making; Expert database; Data mining