基于高精度機器視覺的電力違規作業動作監控識別算法設計

賀洲強，夏 天，陳 亮，楊 康，胡進棟

（1.國網甘肅省電力公司，甘肅蘭州 730030；2.國網甘肅省電力公司蘭州供電公司，甘肅 蘭州 730070）

隨著人工智能技術的不斷進步，對電力作業人 員違規動作監控也提出了更嚴格的要求。但由于監管部門的責任缺失，違規動作易引發安全事故的發生[1-3]。為提高電力施工的安全系數，采用智能化技術對施工現場進行監控識別成為當前的主流[4]。移動巡檢機器人搭載高清攝像頭獲取電力施工現場的實時數據，并基于高精度機器視覺技術形成智能分析算法。當發現有電力作業人員出現違規動作時，即可在控制中臺實時反映[5-7]。近年來，機器視覺與深度學習算法被研究者廣泛關注，卷積神經網絡在目標識別中也取得了突破性進展，增加了算法的應用場景[8-10]。文獻[11]利用神經網絡在目標數據集上進行測試與識別，取得了高達90%的識別率，為深度學習的進一步推廣奠定了良好的基礎。文獻[12]采用雙流網絡結構，通過從CNN（Convolutional Neural Network）中提取有效信息并優化視頻的參數與特征，進而獲得了包含4 種數據流的網絡模型，且取得了良好的效果[12]。國內學者利用前端管理系統對電力作業現場進行了智能巡查，通過海量數據的對比分析，可有效降低電力作業的安全風險[13]。但在實際應用中，由于作業人員的軌跡動態變化以及周圍環境錯綜復雜，在監控識別方面存在精度較低、誤差較大的問題。因此，該文開展了基于高精度機器視覺的電力違規作業動作監控識別算法設計研究。

1 高精度機器視覺算法

1.1 改進FP-FRCNN模型

為解決數據規模較小、特征提取困難的問題，建立了改進FP-FRCNN 模型。該模型主要由金字塔結構組成，包括主干網絡與壓縮激勵網絡，通過對信息層的不斷壓縮來實現單元網絡的信息壓縮操作，使神經元之間形成相互依賴的聯系[14]。為降低設置參數對過程帶來的影響，故而減少通道因子，并對數據進行重新校準。建立特征網絡的基本結構如圖1 所示，圖中對每個SE-Dense Net 網絡均進行了卷積操作與采樣分析，從而形成網絡結構。

圖1 金字塔網絡結構

1.2 池化層調整

為了使RPN（Region Proposal Network）模塊與預測層相連接，需先將各個模塊相連，進而建立改進的FP-FRCNN 模型，整體結構如圖2 所示。通過池化與卷積操作形成特征融合層，并通過預測層連接到RolAlign 層，進而建立模型的整體結構。

圖2 改進FP-FRCNN模型的整體結構

1.3 特征提取

該文通過交叉混合操作提取圖像的目標特征，基本思路是將若干個獨立并行的卷積神經網絡進行混合操作，并對全連接層進行拆分與混合連接，以得到圖像特征。為了提取反映不同違規操作的典型特征，需對每組CNN 特征進行交叉處理。若特征向量過多將會造成圖像特征的疊加與冗余，不利于分類處理，所以需要對全連接層進行擴充。CNN 模型的運行速度由收斂速度決定，而收斂速度的快慢取決于神經元數量。但神經元的數量同卷積與步長相關性較大，因此為保證特征提取的一致性，需增加樣本特征的魯棒性。此過程具體操作為：對輸入神經網絡的圖像信息進行變換，并將該信息進行歸一化處理，經HSV 變換后提取圖像的V 通道分量[15-16]。

在進行圖像訓練時，通過多次卷積操作獲取圖像特征。并根據反向傳播機制向前傳播，再基于鏈式求導法則獲取權值，其步驟如下：

1）樣本數據設置。對輸入神經網絡的樣本數據進行歸一化設置，調整圖像的長與寬，并以相同比例變換原始數據，得到的數據庫即為CNN 的輸入集。

3）應用FP 算法。假設XL為輸入，wL、gL分別為權值矩陣和激活函數，則算法的輸出z可表示為：

在網絡層中，損失函數可表示為：

式中，λ為正則化系數，n為樣本數據集中的樣本數量，xi為數據輸入值。

4）應用BP 神經網絡算法。假設目標函數為：

在求取目標函數的最優解過程中，不斷迭代上述模型，以達到最優收斂值。在統計最大池化層的誤差時，需計算卷積層的誤差。假設卷積層輸出個數為M，則最大池化層的誤差計算公式為：

式中，Kij為池化層對應的權值。

2 電力作業現場監控識別

2.1 電力違規作業動作分類

根據算法檢測流程，需對電力違規作業進行動作分類，常用的機器學習方法有支持向量機（Support Vector Machine，SVM）、貝葉斯方法（Bayesian Analysis）等。貝葉斯分類法需提前采集前期數據；而神經網絡分類方法則需準備大量的樣本數據及參數，所占用的資源過多。綜合各種分類方法的優缺點，選擇SVM 分類算法具有更優的效果。在SVM 分類算法檢測之前，需獲得違規動作的關鍵坐標數據。動作監控識別需進行兩次人體關鍵點檢測及動作分類。其中，第一次是為了檢測電力工作人員是否發生違規動作行為。第二次檢測是為了檢測電力工作人員是否采取了接地措施。為防止電力工作人員在違規過程中設備發生放電現象，故在訓練時分成兩個分類器，以分別針對不同的違規行為。

大功率參量陣定向揚聲器聲學空間覆蓋特性如圖5所示。由圖5可知，大功率參量陣定向揚聲器區別于普通揚聲器的特性在于它有著極強的指向性，聲音發散角度達到±15°，在其指向區間范圍外幾乎無聲音；且定向揚聲器的發聲強度超過100 dB，該指標非常先進，目前國內外類似產品均未達到該水平。當定向場聲器安裝于室內空間通道內時，沒有了致命的強近場聲音反射，僅僅產生遠端反射(見圖6)。遠端反射通常比直接傳播到聽者的聲強要低2個dB左右，而人耳的定向能力則在0.1 dB范圍內即可明確方向，因此在封閉的室內空間，大功率參量陣定向揚聲器有著極強的音源方向性。

通過對比物體的關鍵坐標點，定義物體的高度與寬度，得到高寬比因子為：

由于發生電力違規動作時，人體的關鍵部位位置會發生肉眼可見的偏移，因此可通過坐標的改變反映動作的變化。在相機視野內，當工作人員靠近電氣設備時，二者之間的間距顯著變小。但由于相機與人體間的距離會發生變化，所以不能作為特征進行識別，而是利用二者間的比值作為特征向量，便可增加識別的魯棒性。

2.2 間隔幀間差分法

間隔幀間差分法是識別兩相鄰灰度圖像素差別的經典方法，其可檢測兩幀圖像間的差異。此外，在間隔差分法之間融合HSV 顏色特征還能夠檢測相對運動的變化。圖3 所示為該方法的流程，將兩圖像進行差分，利用重疊影響擴大運動特征差異，可有效減少運動物體的干擾。該方法不易受到周圍光線及聲音的影響，具有較強的魯棒性。

圖3 間隔幀間差分法流程圖

假設第t幀圖像和第t+n幀圖像的灰度值分別為ft(x,y) 與ft+n(x,y)，取二者的灰度值并作差可得到：

式中，dt+n(x,y)表示兩幀圖像的差分值。對其進行二值化，可得到二值圖像b(t,t+n)，根據二值圖像像素點的位置來判斷兩幀圖像間是否發生運動軌跡的改變。

2.3 特征識別

作為有監督學習的神經網絡算法，特征提取依賴于卷積與池化操作來實現。其權重參數的選取主要依賴于梯度下降法，并通過不斷地反復迭代訓練提高網絡的識別精度。在對提取到的典型特征進行分類時，采用Logistic 分類器，其常用于解決二分類問題。假設X1、X2、…、Xn分別為特征向量，其對應的圖像類別分別為y1、y2、…、yn，并用二值數字0 或1 代表其二分類問題，則二者間關系的計算公式為：

式中，z=β0+β1xi1+β2xi2+…+βdxid，且f是在[0,1]之間呈單調遞增的函數，yi的極大似然函數可表示為：

其中，P為yi的概率函數。

電力違規作業種類較多，且電力施工現場環境錯綜復雜，導致獲取的圖像背景也異常繁雜。雖然Logistic 分類器常用于二分類問題，但其容易混淆特定目標，故通常會造成較大的誤差。而機器學習在語音及語言處理方面均取得了較大突破，且在精度方面也得到了顯著提高。因此，該文提出一種高精度機器視覺算法，實現對結果的高預測性能。該算法采用了隨機森林分類器，通過在多個樣本子集中形成決策森林，以得到高精度的分類結果，其基本框架如圖4 所示。從圖中可知，該分類方法由訓練及測試兩部分構成。通過在DCNN（Diffusion-Convolutional Neural Networks）庫中選取特征，并根據適應性對圖像特征進行在線分析。同時采用特征子集的最終特征對輸入圖像加以分類，得到最終的特征分類結果。

圖4 隨機森林分類框架

為訓練隨機森林樹，在每個根節點確定分割規則，以降低損失值。假設隨機森林F={si=(xi,yi)}，對于給定的隨機森林節點，從x1開始，當其數值大于閾值時，該節點將發送特征信息至左子樹；當x1的值小于或等于閾值時，該節點將發送特征信息至右子樹，并持續分類樣本數據，直至樣本測試完畢。

3 算例分析

采用搭載在巡檢機器人上的攝像頭進行數據采集，配置的計算機內存為8 GB、Intel Core i5-9300H，使用64 位操作系統連接Visual 軟件平臺；并采用特征融合的高精度機器學習算法對電力施工現場進行實時數據跟蹤與采集，以獲取工作人員的位置信息；再通過Yolov3 算法進行人臉識別，最終輸出監控識別結果。

根據算法流程，在獲取H-S 二維直方圖的基礎上，設置特征融合系數，實驗數據的相關屬性如表1所示，并將該文算法與傳統方法進行對比分析。

表1 實驗數據相關屬性

表2 視頻編號1的實驗結果

表3 視頻編號2的實驗結果

在進行實驗時所采用的評價標準主要包括算法的運行速度、準確幀數占總幀數的比例（正確跟蹤電力違規作業情形）及誤差參數。其中，視頻編號1-2的實驗結果如表2-3 所示。

由上表可知，編號1 中FRCNN 算法和該文所提改進FP-FRCNN 算法的準確率均高于傳統的SVM算法，且分別提高了1.22%、4.83%，且幀率也有所提高；同理，編號2 中FRCNN 算法和該文算法的準確率相對于SVM 算法分別提高了0.74%、3.56%，幀率也同樣有所提升。綜合兩組實驗可知，該文所提算法的綜合性能更為理想。

為獲取違規人員的檢測坐標，將坐標值輸入到算法中，記錄每幀圖像的有效幀數以及正確幀數，其實驗結果如表4 所示。

表4 違規檢測實驗結果

根據實驗結果分析，在實驗設定的情形中，該判斷算法性能優越且平均準確率超過90%。通過對比實驗，驗證了該文所述方法的優越性。

4 結束語

該文采用CNN 模型對電力作業人員的違規作業動作進行智能化識別，為了提高識別結果的精確度，用隨機森林分類器對采集到的視頻信息進行處理，再通過間隔幀間差分檢測兩幀圖像之間的差異，進行兩次人體關鍵點檢測及動作分類，可有效識別出違規作業現象。實驗結果表明，該算法具有更高的精度，并具備良好應用價值。下一步將繼續研究改進機器視覺與隨機森林的識別算法，并對該算法進行實時檢測與驗證，以取得更高的精度。