深度學習與電力智能化的思考

黃旭超

?

深度學習與電力智能化的思考

黃旭超

（國網(wǎng)福建省電力有限公司檢修分公司，福州 350000）

本文回顧了深度學習的發(fā)展歷程，詳細介紹了深度學習的主流基礎網(wǎng)絡——深度神經網(wǎng)絡結構和特點，在此基礎上對其產生的衍生和變體進行了分析。并總結了深度學習發(fā)展過程中的主要因素。與電網(wǎng)智能化的情況相結合，本文還闡述了深度學習與電網(wǎng)智能化相結合的可行性和必要性，并簡單介紹了當前深度學習在電力系統(tǒng)中的應用。毫無疑問，深度學習將在助力電力智能化的進程中扮演重要角色。

人工智能；深度學習；電力智能化

近幾年，互聯(lián)網(wǎng)領域迎來了一個爆炸式的發(fā)展。隨著數(shù)據(jù)規(guī)模的指數(shù)式增長，人類社會正逐漸由信息科技（information technology, IT）時代轉向數(shù)據(jù)科技（data technology, DT）時代，大數(shù)據(jù)、數(shù)據(jù)挖掘、云服務等新技術、新熱點層出不窮，人工方式處理數(shù)據(jù)的瓶頸逐漸顯現(xiàn)出來，科技進步的瓶頸已由計算機硬件的不足轉向了計算機智能化的不足。而在這一背景下，人工智能（artificial intelligence, AI）不可避免地成為了新的技術熱點。

人工智能是計算機科學的一個分支，它是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學。而在這一領域內，機器學習（machine learning, ML）無疑是這一波浪潮的焦點，在很多時候，幾乎成為了人工智能的代名詞。機器學習是上世紀新興發(fā)展的一門交叉學科，內容涉及高等數(shù)學、概率論、統(tǒng)計學、計算機學、仿生學等多個學科。簡單地說，機器學習就是通過算法，使得機器能從大量的歷史數(shù)據(jù)中學習規(guī)律，從而通過改變某些參數(shù)，進而改善系統(tǒng)性能。機器學習從不同的角度可以有不同的分類，如從特征提取角度可分為隔離學習（isolate learning）和端到端學習（end-to-end learning）；從模型結構角度可分為淺層學習（shallow learning）和深度學習（deep learning）。

2017年，共享經濟的概念在投資領域無疑是一個炙熱的風口，只要套上這一概念，社會資本便蜂擁而至，近年來，深度學習亦在學術界和工業(yè)界扮演了這一角色。如圖1所示，Google Brain計劃的項目數(shù)量從2013年第3季度至2015年第3季度發(fā)生了近乎1200%的爆炸式增長，并將上升勢頭持續(xù)至今。據(jù)統(tǒng)計，2016年計算機視覺頂級盛會IEEE Conference on Computer Vision and Pattern Recognition（CVPR）共收到2145篇有效投稿論文，在接受的643篇論文中，80%～90%的發(fā)表論文、接近100%的口頭報告論文均來自深度學習領域[1]。在諸多領域（如圖像識別、語音識別）取得了破紀錄的成果；在藥物研發(fā)、醫(yī)學及數(shù)據(jù)分析等領域超越了其他機器學習方法；并在自然語言處理方面展現(xiàn)出了令人期待的前景。2016年，谷歌AlphaGo的人機大戰(zhàn)更是吸引了世界范圍內的強烈關注，甚至引發(fā)了人們的恐慌和憂慮。

圖1 Google Brain項目數(shù)量

深度學習與電力系統(tǒng)相結合已經是電力系統(tǒng)智能化發(fā)展的必由之路。一方面，其擅于挖掘處理大數(shù)據(jù)的特性非常適合解決當前電力智能化的進程中所面對的數(shù)據(jù)量激增的挑戰(zhàn)；另一方面，其能充分利用電力智能化帶來的大量的數(shù)據(jù)量推動電力技術的發(fā)展，從而加速電力智能化的進程。

1 深度學習

雖然深度學習近年來在諸多領域取得了令人矚目的成果，但其本身并不是一項新興技術，其從本質上來說是一種特定的，具有多層結構的人工神經網(wǎng)絡（artificial neural networks, ANN），其起源最早可以追溯至20世紀50至60年代的感知機技術（Perceptron，即一種僅有輸入層、輸出層和單個隱含層的簡單神經網(wǎng)絡，輸入的特征向量通過隱含層變換后至輸出層進行分類）[2]。但這種單層感知機對稍微復雜一點的函數(shù)都無能為力，因此沉寂了相當長的一段時間，直到20世紀80年代，隨著多層感知機（multilayer-perceptron）的出現(xiàn)，人工智能迎來了第一次發(fā)展浪潮。

在早年，機器學習系統(tǒng)需要基于細致的工程和可參考的專業(yè)領域知識來設計特征提取器對原始數(shù)據(jù)進行處理，研究人員的目標是利用可訓練的多層網(wǎng)絡結構來取代人工設計特征過程[3-4]，但這一想法一直到20世紀80年代才被不同的研究團隊各自獨立的完成。

多層感知機（其結構如圖2所示，即所謂的神經網(wǎng)絡）在結構上由一個輸入層、一個輸出層和多個隱含層構成；每個隱含層由諸多的神經元（neuron）組成；每個神經元接受前一層所有的神經元的數(shù)據(jù)，并分別進行帶權求和后進行偏置，再經由激活函數(shù)（activation function）變換后輸出給下一層的所有神經元[4]。由于其上下層的神經元是完全連接的，因此又稱為全連接網(wǎng)絡（fully connected network）。

圖2 多層感知機結構

此時，對于單個神經元而言：

對于所有隱含層而言，其輸出：

因此，對于整個網(wǎng)絡，其輸出為

從其數(shù)學模型來看，整個的神經網(wǎng)絡在本質上與數(shù)學的擬合或插值問題類似，都是給出已知的坐標（訓練數(shù)據(jù)）和坐標（訓練數(shù)據(jù)對應的我們需要的分類或結果），尋求一種復合函數(shù)對其進行 映射。

而網(wǎng)絡的訓練過程，即是整個網(wǎng)絡的參數(shù)（內部神經元的連接權重、偏置值）的調整過程。傳統(tǒng)的監(jiān)督學習在這一過程中通常使用一個損失函數(shù)（loss function）來評估訓練時網(wǎng)絡輸出的結果與設定結果的差異，以反向傳播的梯度下降法進行參數(shù)的更新。對于多層網(wǎng)絡結構而言，其訓練可以使用簡單的隨機梯度下降法完成，只要模塊是關于輸入和內部權重的相對平滑函數(shù)，就可以使用Werbos發(fā)明的反向傳播算法計算梯度[5]。

使用更少的神經元（即更少的網(wǎng)絡參數(shù)）來刻畫對象，能夠減少系統(tǒng)的復雜程度，但也帶來了其他的麻煩：隨著網(wǎng)絡結構的加深，目標函數(shù)越來越容易陷入局部最優(yōu)解，且梯度消散（gradient vanishing）的現(xiàn)象也更加嚴重。

2006年，Geoffrey Hinton利用預訓練（Pre- training）的方法緩解了局部最優(yōu)的問題，將網(wǎng)絡的隱含層數(shù)拓展到了7層，正式闡述了深度學習的概念，提出了對神經網(wǎng)絡有效降維的重要思想，并指出具有多隱含層結構的人工神經網(wǎng)絡在可視化和分類上的優(yōu)勢[6-7]。為了解決梯度消散等一系列問題，ReLU[8]（rectified linear unit）、Maxout等傳遞函數(shù)代替了傳統(tǒng)的Sigmoid激活函數(shù)；Mini-batch、Momentum、變梯度與隨機梯度、變學習率、Regularization、Dropout等新技術的應用形成了如今深度神經網(wǎng)絡（deep neural networks, DNN）的基本形式，其亦是其他更先進網(wǎng)絡結構的雛形。

2 深度學習在電力領域內的應用

近幾年，隨著人工智能的大熱，深度學習技術被應用到許多不同領域中，取得了許多突破性的成果，而在電力領域內亦有深度學習技術的引入，但依然處于起步摸索階段，相關的論文與成果也較少，不如其在圖像識別、語音識別、語言處理等老本行上那么令人印象深刻，但也已經表現(xiàn)出令人期待的潛力和發(fā)展前景。

縱觀深度學習的興起，很大程度上得益于3個方面的共同協(xié)作。

1）大數(shù)據(jù)的興起。如在CNN的崛起中扮演著重要角色的ImageNet計劃，該計劃由Feifei Li教授與普林斯頓大學的Kai Li教授合作發(fā)起，到2009年共收集到1500萬張包含22000種物品的圖片，成功改變了人工智能領域對數(shù)據(jù)集的認識，也改變了學術界對神經網(wǎng)絡模型的認知。

2）計算機硬件的發(fā)展。高性能CPU和多GPU并行技術的帶來的計算能力的提升。

3）算法上的改進。很難說清ImageNet數(shù)據(jù)集計劃和深度學習到底是誰成就了誰，或者二者是相互推動的關系，但不可否認的是，GPU帶來的計算能力的提升和ImageNet帶來的數(shù)據(jù)集，以及同時帶來的學術界對訓練數(shù)據(jù)認識的改變，對深度學習技術井噴發(fā)展的巨大推動作用[9]。

而在電力智能化發(fā)展的今天，電力系統(tǒng)也同樣有著相同的背景：設備智能化，運算能力加強，數(shù)據(jù)量爆炸式增長，傳統(tǒng)的電力數(shù)據(jù)方法在面對海量的數(shù)據(jù)時已經捉襟見肘，而深度學習所擅長的正是對海量數(shù)據(jù)的挖掘。毫無疑問，電力智能化與深度學習是可以無縫融合，并擁有廣闊的前景。

目前，國內外已有一些深度學習在電力領域內的應用，大部分都集中在故障檢測和決策優(yōu)化領域。后者通常是基于深度學習對電力大數(shù)據(jù)進行挖掘和應用[10]，在這一方面，由于數(shù)據(jù)量大，且容易獲取，所以目前研究較多，取得的成果也不少。而前者總的來說可以分成兩大類：①利用深度學習對系統(tǒng)中的關鍵參數(shù)提取特征，進行學習，使得模型可以通過對關鍵參數(shù)的監(jiān)控發(fā)現(xiàn)故障或對故障進行預警[11-12]。這一類方式需要人工對系統(tǒng)進行分析，選出用于分析學習的關鍵參數(shù)，從某種意義上來說，這一步驟也屬于需要人工干預的特征選取工作。但這類研究可以大量使用仿真的方式獲取數(shù)據(jù)構建數(shù)據(jù)集，使用的模型深度也不需要太深，也比較容易出成果。②直接利用深度學習在圖像處理中的優(yōu)勢，利用圖像檢測的方式展開應用，如利用深度學習對電網(wǎng)巡檢圖像進行處理[13-14]。這一類應用是直接對深度學習技術的遷移應用，理論上是最成熟的，但受制于數(shù)據(jù)集的缺乏，使其難以進行實際應用。

3 展望

毫無疑問，深度學習技術在經過了近幾年的蓬勃發(fā)展，已經給這個世界帶來了太多的驚喜，也實際的改變了人類的生活方式。前幾年互聯(lián)網(wǎng)的迅猛發(fā)展帶來的龐大數(shù)據(jù)量，計算機計算能力的增加，使得早年受制于計算機計算性能和對數(shù)據(jù)集的忽視導致停滯不前的人工智能技術迎來了又一輪的浪潮，在最近幾年里，關于深度學習的捷報不斷傳來，但其實這一門學科仍然處在一個剛剛起步的階段，當前的深度學習還存在許多問題，依然面臨著諸多挑戰(zhàn)。

在如今，經過ImageNet的一輪洗禮，人們普遍認識到數(shù)據(jù)集的重要性，甚至有觀點認為：在如今的深度學習應用中，我們面對的是工程問題（數(shù)據(jù)集的缺乏等），而非技術問題。不可否認的是，在網(wǎng)絡結構變得越來越深、越來越復雜的今天，網(wǎng)絡對現(xiàn)實的刻畫能力也越來越強，而訓練它們所需要的數(shù)據(jù)量也要求越來越大，這就對訓練網(wǎng)絡的數(shù)據(jù)集提出了高要求，在諸如深度學習在電網(wǎng)巡檢圖像這類應用中，目前真正制約它的是圖像數(shù)據(jù)集的缺乏[15-16]。如果要將深度學習應用得更廣，那么如何以更小的樣本完成對深度網(wǎng)絡的訓練無疑是需要解決的一個問題。而在自然語言處理方面，深度學習技術似乎還未取得太多的轟動性進展。另外，雖然非監(jiān)督學習和半監(jiān)督學習近年來在監(jiān)督學習的光環(huán)之下顯得有些暗淡，但其依然是值得關注的發(fā)展方向。

不論在工程上解決數(shù)據(jù)集不足的問題，還是技術上滿足對大訓練數(shù)據(jù)的要求，深度學習都無疑將在電網(wǎng)智能化的道路上發(fā)揮更大的作用。但是若無法從技術上解決這一問題，則無疑會加劇深度學習領域的馬太效應，不論技術還是數(shù)據(jù)都會集中在少數(shù)巨頭身上，形成壁壘，不利于技術的發(fā)展。另外，深度學習在電力系統(tǒng)的應用還有待開發(fā)，不僅僅是在技術領域使得技術更先進，設備更智能；更多地，是可以在日常工作中進行應用，例如將深度學習在文本處理方面的應用遷移至電網(wǎng)公司的運作中，代替一些日常文案工作或繁雜而機械的勞務，以減輕電網(wǎng)從業(yè)人員的工作量，解放勞動力。

近期，新的AlphaGo Zero橫空出世，相比原先的AlphaGo，其網(wǎng)絡模型進行了簡化和改進，不再依賴于人類的經驗進行學習，訓練時間也更短，這一技術可能又將引發(fā)一次新的技術變革。深度學習，或者說人工智能是一門正處于爆發(fā)期的學科，其理論和成果正以一種匪夷所思的速度更迭，在未來電力智能化的領域中，它無疑將扮演著一個舉足輕重的角色。

[1] 孟丹. 基于深度學習的圖像分類方法研究[D]. 上海: 華東師范大學, 2017.

[2] Rosenblatt F. The perceptron-a perceiving and recognizing automaton[Z]. 1957.

[3] Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvad Univ, 1974.

[4] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors. Nature, 1986, 323: 533-536.

[5] LeCun Y, Bengio Y, Hinton G. Deep learning nature. 2015, 521: 436-444.

[6] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[7] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[8] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks. In Proc. 14th International Con- ference on Artificial Intelligence and Statistics, 2011.

[9] 余凱, 賈磊, 陳雨強, 等. 深度學習的昨天、今天和明天[J]. 計算機研究與發(fā)展, 2013, 50(9): 1799-1804.

[10] 楊佳駒. 基于MapReduce和深度學習的負荷分析與預測[D]. 南京: 東南大學, 2016.

[11] Bangalore P, Tjernberg L B. An artificial neural network approach for early fault detection of gearbox bearings[J]. IEEE Transactions on Smart Grid, 2015, 6(2): 980-987.

[12] He Youbiao, Mendis G J, Wei Jin. Real-Time detection of false data injection attacks in smart grid: a deep Learning-Based intelligent mechanism[J]. IEEE Transactions on Smart Grid, 2017, 8(5): 2505-2516.

[13] 高強, 陽武, 李倩. DBN層次趨勢研究及其在航拍圖像故障識別中的應用[J]. 儀器儀表學報, 2015(36): 1267-1274.

[14] 王萬國, 田兵. 基于RCNN的無人機巡檢圖像電力小部件識別研究. 地球信息科學學報, 2017(19): 256-263.

[15] 劉輝海, 趙星宇, 趙洪山, 等. 基于深度自編碼網(wǎng)絡模型的風電機組齒輪箱故障檢測[J]. 電工技術學報, 2017, 32(17): 156-163.

[16] 王曉輝, 朱永利, 王艷, 等. 基于深度學習的電容器介損角在線辨識[J]. 電工技術學報, 2017, 32(15): 145-152.

Thinking of deep learning and grid intelligence

Huang Xuchao

(Fujian Electric Power Co., Ltd, Maintenance Branch Company, Fuzhou 350000)

This article reviews the development history of deep learning and introduces the details of the basic network of deep learning—the structure and characteristics of deep neural networks. Based on this, it analyzes the derivatives and variants that it generates. Summed up the main factors in the development of deep learning. Combining with the situation of grid intelligence, the feasibility and necessity of combining deep learning with grid intelligence are described, and the application of current deep learning in power systems is briefly introduced.

artificial intelligence; deep learning; grid intelligence

2018-05-11

黃旭超（1989-），男，福建閩清人，碩士研究生，工程師，主要從事變電運行維護、管理及檢修工作。