基于機器視覺與動作識別的變電站智能安監管控技術研究

翁凌雯，王 棟，潘 丹，謝乾武，胡東升

（1.國網福建信通公司，福建 福州 350013；2.安徽南瑞繼遠電網技術有限公司，安徽 合肥 230601）

電力生產包括發電、變電、輸電及配電四個環節，其中變電是電網中連接發電與輸電的重要樞紐，變電站安全、穩定地運行對于電力生產、經濟發展與社會穩定均具有重要的意義。所以在電網公司的日常工作中，變電站的巡視、變電設備的維護及檢修是保障其安全運行的重要手段[1-3]。隨著智能電網建設進程的加快，變電站的運行維護面臨著嚴峻的挑戰，作業人員的資格準入、典型違章行為的及時發現及重要電力設施的狀態監測均需運維人員的實時跟蹤和全流程監管，而傳統依靠人力的運維模式已無法滿足電力生產的需求。因此，借助視頻系統實現變電站的智能安全監控迫在眉睫[4-9]。

現階段，變電站中已建立了較為完善的視頻監控系統，視頻探頭逐漸成為了保衛變電站安全生產環境的有效手段，且部分變電站已實現了攝像頭的無死角覆蓋。但目前的變電站視頻系統仍局限于監視的階段，無法及時識別視頻中的危險信息，并實現對全流程智能化的安全監管。基于上述分析，該文基于機器視覺與動作識別技術針對變電站的智能安全監管問題展開研究，通過引入深度學習算法(Deep Learning,DL)，完成了視頻信息的特征提取，進而實現了對危險行為的快速判別。

1 理論基礎

1.1 機器視覺算法

卷積神經網絡(Convolutional Neural Network,CNN)是機器視覺領域中常用的識別算法[10-13]，其包括卷積、池化和全連接這三種運算。而以Two-Stream CNN 為代表的傳統CNN 網絡能夠將動作分解成“空間+時間”的“物理量+動作量”組合，且分別從空間通道、時域通道進行學習，并以此獲得良好的動作識別效果。但隨著視頻信息的引入，該種結構的CNN 網絡忽略了空間通道及時域通道間的關聯，從而影響了其在視頻信息處理中的應用。因此，該文充分考慮到動作的三維特性，將Two-Stream CNN的時域通道擴展為局部時域和全局時域，并提出了一種三通道的卷積網絡結構。該算法的基本流程如圖1 所示。

圖1 三通道卷積網絡算法流程

由圖可知，文中所使用的三通道神經網絡從空間、局部時域及全局時域進行動作序列的特征提取，從而完成動作識別。

空間通道的輸入是靜態圖像，對于此種圖像的處理主要包括卷積與池化兩種運算。二者是CNN網絡中的基礎運算，其中卷積運算的原理如下：

其中，f(x,y)是靜態圖像的特征，h(k,l)是卷積所使用的卷積核。圖2 給出了卷積運算的示意圖。

圖2 卷積運算原理示意圖

池化是一種將原始圖像的特征值進行降采樣的運算，其能夠有效避免深度學習網絡訓練過程中的維度爆炸現象。常用的池化方法有最大值池化、最小值池化及均值池化。文中使用的是均值池化，其基本原理如圖3 所示。

圖3 池化運算原理

在局部時域通道中，使用圖像的光流特征作為CNN 網絡的輸入，其提取方法如下[14-16]。

首先保留圖像在RGB 顏色空間內的所有成像值E，并在該圖像空間內按照顏色、梯度及速度三個維度建立如式（2）所示的約束方程：

式中，I1、I2是圖像序列的鄰域，、分別是圖像像素點的成像值和光流值，u和v是圖像橫縱兩個方向的速度，Ψ為圖像的核函數。接著，在式（2）上引入方向梯度直方圖(Histogram of Oriented Gradient，HOG)特征約束：

其中，δ和ρ是調節函數。在對全局時域通道空間進行特征處理時，采用亮度值的時間差分值作為CNN 網絡的輸入。記圖像在像素點(x，y)的亮度值為I，則其差分結果D為：

接著，可得到全局時域特征：

如此便可得到三通道卷積網絡在3 個卷積通道內的特征構造方法，而各個特征均需進行如圖2-3所示的卷積、池化操作。此外，對于CNN 網絡中的每個神經元，還需定義非線性激活函數。由于網絡結構復雜，為避免算法在參數估計時出現梯度消失的現象，該文選擇ReLU 函數作為激勵函數：

1.2 算法的參數估計

在完成三通道CNN 網絡的特征提取后，需對網絡參數加以訓練。采用誤差反向傳播算法(Back Proragation,BP)進行網絡的參數估計，首先定義網絡在訓練時所使用的代價函數：

其中，h為隱藏層函數，θ表征模型的集合參數，其迭代更新的方法如下：

計算J(θ)的偏導數：

此時，可得到模型在第j次迭代后的參數集合：

在進行樣本迭代的過程中，式（11）實現了批量樣本的梯度下降，但由于該文使用的樣本集規模龐大，容易使訓練陷入局部最優。因此，在訓練過程中基于部分樣本(Mini-Batch)，從規模為m的全體樣本集中選擇規模為n的Mini-Batch，以避免訓練的過擬合。此時，式（8）可改進為：

根據式（8）-（11）的方法，能夠得到CNN 網絡中W、b的迭代更新方法：

2 方法實現

2.1 實驗設計

為驗證所提算法的有效性，首先在開放數據集上對算法在動作識別方面的精度進行驗證。然后基于實際的變電站生產數據，驗證算法在實際生產環境下的智能安全監控效果。文中所使用的開放數據集為UCF101，該數據集的相關信息如表1 第2 列所示。使用開放數據集的優勢為便于和現有動作識別算法進行對比。此外，表1 第3 列還給出了該文自行采集的變電站內實際場景下的視頻數據集。這些數據集包含了電力生產環境下的危險動作類別，如未佩戴安全帽、跨越危險區等10 種違規告警。

表1 數據集信息

結合數據集的規模，在3 個通道內均使用表2 所示CNN 網絡，該網絡包括5 個卷積層、3 個池化層及兩個全連接層。且網絡輸出層神經元的個數與數據集中動作類別的個數一致。

表2 CNN網絡結構

表3 算法仿真環境

表4 網絡的訓練參數

仿真所使用的硬件環境參數及網絡訓練時使用的訓練參數，如表3-4 所示。

2.2 實驗結果

如上文所述，該文提出的三通道CNN 網絡先在UCF101上驗證其分類性能，再應用于變電站的生產數據集中。算法在UCF101上的識別效果如表5所示。

表5 UCF上的仿真結果

從表5 的識別結果看，當將三通道CNN 網絡中的3 個通道分別作為CNN 網絡的特征提取通道時，算法的平均識別率在80%左右。其中，局部時域所在的通道平均識別率較高；當使用現有的Two-Stream 算法進行動作識別時，識別率較單通道方法具有顯著提升，且提高了5%以上；而當使用該文提出的三通道識別算法時，算法的識別精度可達到88.38%，較雙通道算法提升了3.09%。這證明了通道數增加后，特征并未產生冗余，故第3 個特征通道的引入仍對算法識別率的提升產生了積極作用。

隨后，該文在實際的電力生產環境下進行了仿真實驗。圖4 給出了算法在對于未佩戴安全帽這一電力生產違規行為的識別效果。經過對大量識別結果的統計，文中所提算法的識別精度為93.45%，而Two-Stream CNN 算法的識別精度為88.28%，因此識別精度提升了5.17%。綜合來看，算法在電力生產環境下的識別效果較UCF101 具有顯著提升。這主要是由于UCF101 的樣本中動作類別較多，且部分動作較為接近而導致的。

圖4 算法在電力生產環境下的識別效果

3 結束語

文中設計了一種三通道卷積神經網絡結構，通過在開放數據集和實際電力生產數據集上的仿真，驗證了該算法可有效提升變電站生產中對于危險行為的識別精度。該算法增加了視頻信號中的時空域關聯，并對機器視覺領域中的空域、時域信號的融合處理提供了新的思路。在未來，隨著智能電網建設進程的推進，變電站的安全智能監控技術將成為服務變電站運維的重要手段，且更廣泛地應用于電力生產中。