基于深度學習的輸電線路外破圖像識別技術①

張 驥,余 娟,汪金禮,譚守標

1(安徽南瑞繼遠電網技術有限公司,合肥 230088)

2(安徽大學,合肥 230001)

引言

在經濟發展過程中,電網是有關民生,有關經濟的重要產業,是電力系統的主要組成部分,有舉足輕重的作用.我國由于地域廣,電網規模大,長距離的輸電線路較多,所以電網的運行、維護和檢修則非常困難.特別是在超高壓、特高壓技術迅速發展之后,輸電線路運行狀態直接關系到國家經濟建設,輸電線路運行維護工作責任重大.在各種輸電線路故障中,外破已經是主要原因,某省電網2016年220Kv以上輸電線路故障原因依次為:外破25次(施工機械碰線10次,異物短路8次,山火2次,違章施工3次,采砂船碰線1次,車輛運輸碰線1次),鳥害18次,雷擊15次,竹樹放電1次,風偏1次.外破占42%、鳥害占30%、雷擊占25%,以上三項是線路跳閘的主要原因.其中外破有是重中之重,電力公司各級單位都采取技術和管理手段,建立健全防外破工作機制,提升對外破隱患識別及響應能力.

為了掌握輸電線路外破情況,國內外出現許多解決方案,例如輸電線路遠程檢測設備,可以通過此設備時時檢測輸電線路的運行狀態,必要是發出報警[1,2].其中,視頻圖像監控子系統,作為系統中“可視”的輔助手段,已在輸電線路上廣泛應用[3,4],但并不對視頻流進行分析處理,還是依靠后臺人員人工篩選出有隱患的圖片,這樣一方面隱患告警提示不具有實時性,另一方面加大了人力負擔.當下,深度學習等機器學習技術有了長足的發展[5],利用“互聯網+”機器學習[6,7],智能識別輸電線路施工機械、大型車輛等外破可以大大提高故障預報的準確性和實時性[8–10],提升工作效率,節省費用.

1 系統功能

輸電線路在線監測系統由主、子站兩部分構成[11–13].子站由數據監測終端和各種專業監測單元構成,包括防外破監測、覆冰監測、微氣象監測、桿塔傾斜監測、導線舞動監測、導線溫度監測等.監測子站數據單元將采集數據進行分析后通過無線APN專網、wifi或專有線路上送監測主站,監測主站對數據進行解析、分析、展示和存儲,并及時完整地將信息反饋給特定用戶.系統主站主要負責收集各子站檢測設備實時和非實時數據,并進行儲存、分析和展示.同時與主站其它相關系統進行信息交互,按需互通有無.綜合GIS定位“三跨”區域,運用電網線路負荷、視頻數據、雷電信息和當地的氣候狀況進行綜合分析,可視化展示給用戶,并通過告警推送通知相關單位,形成聯動.該功能部署在電力系統安全IV區,整合電網調度系統、PMS系統、GIS系統、視頻數據、雷電數據和氣象數據.子站數據監測終端布置在輸電線路跨越通道的桿塔上,接收各類傳感器實時數據,系統結構如圖1所示.

結合輸電線路運維的實際需求,在輸電線路在線監測系統基礎上研制輸電線路外破隱患及預警模塊.針對目前子站裝置廠家較多,每個廠家的規約不盡相同,系統在接入規約開發采用面向對象的方法,實現了不同廠家設備的快速接入;針外破隱患點(塔吊、吊車、挖掘機、水泥泵車等),采用深度學習技術,對多種機械的模型進行學習,保證了靜態圖片中施工車輛識別的高準確度、魯棒檢測.同時為了不斷提高算法精確度,算法不斷地對現場采集的圖片進行再學習,使用樣本多樣性擴充技術增加樣本數量及質量,提高深度網絡的鑒別能力.

2 識別算法

2.1 算法流程

外破隱患識別算法采用卷積神經網絡通過大量樣本的訓練學習獲取深度模型,據此進行較為準確的分析檢測.主要流程如圖2所示.

圖2 算法流程

2.2 網絡結構

根據檢測需求,算法采用如圖3所示網絡結構,其中,Deep convnet為深度卷積網絡,RoI projection 為感興趣區域投影,Conv feature map為卷積特征圖,RoI pooling layer 為感興趣區域池化層,RoI feature vector為感興趣區域特征向量,regressor和softmax分別對應回歸層和分類層.

圖3 網絡結構圖

該算法主要是基于候選區域生成的深度學習算法,整個識別流程分為兩個階段:

(1)使用區域候選網絡來提取候選框,采用典型的VGG-16深度網絡進行特征提取,VGG-16深度網絡中采用13個卷積層(con1_1->conv5_3),提取圖像的特征,其中不包括pool5及pool5后的網絡層次結構.緊接著把這些卷積特征增加兩個額外的卷積層(rpn_cls_scorec層和rpn_bbox_pred層),構造區域候選網絡,區域候選網絡是一個全卷積網絡.首先使用proposal_layer來提取邊界框,根據con5_3的特征圖的feature cell來提取邊界框,具體步驟如下:

每個feature cell對應輸入圖片提取不同尺度(64,125,256),不同長寬比(1:1,1:2,2:1)共9個邊界框,con5_3的特征圖對應輸入圖片的映射比例為16,假設con5_3的特征圖尺度M×N,則對應輸入圖片提取候選框的數目為M×N×9,去除超過圖片的邊界框.最后根據邊界框與GT(Ground Turth)框的IOU(Intersection-Over-Union)值來設定正負樣本,當IOU值大于0.3時設定負樣本,當IOU值小于0.7時設定正樣本,其他值舍棄.

(2)由上一階段所得候選框作為本階段的網絡輸入.根據邊界框的置信度來設置正負樣本.網絡結構主要做了兩點改進:

① 最后一個卷積層后加入一個ROI池化層.通過ROI池化層使每個ROI生成固定尺寸的特征圖,該算法中ROI池化層下采樣得到的特征圖的固定尺寸為7x7.由于在VGG16網絡中,卷積層conv5_3有512個特征圖,這樣對于所有region_proposal,最后產生了7*7*512維的特征向量輸入到全鏈接層.

② 損失函數改為多任務損失函數(multi-task loss),將邊框回歸直接加入到CNN網絡中訓練.該階段使用softmax替代SVM分類,同時利用多任務損失函數邊框回歸也加入到了網絡中.即Softmax分類層和Bounding-Box回歸層聯合訓練的方式更新所有參數.

每個minibatch包含N個圖片(N=2),共產生R個Proposal(R=128).并且在從2張圖中選取的128個proposals中,需要保證與groundtruth的IOU大于0.5的prorosal個數超過總數的四分之一,剩下的全部作為背景類.這種方式比從128張不同圖片中提取1個Proposal的方式快64倍.

2.3 候選區域產生

如圖4所示,對輸入圖像使用卷積神經網絡產生256個特征圖,滑窗使用卷積核與特征圖進行卷積,計算獲得大量區域的特征向量,使用邊框回歸和分類全連接層對所有區域進行排序,取前300個區域作為候選區域.圖中,Conv feature map為卷積特征圖,Sliding window為滑動窗口,intermediate layer為中間層,cls layer為分類層,reg layer為回歸層.

圖4 候選區提取示意圖

2.4 目標檢測

使用深度網絡提取各候選區域的特征并進行分類處理,給出每個候選區域與每個車輛類別的相似置信度,將高于一定置信度的區域作為正樣本.

3 實驗及結果分析

本文基于intel i7+GTX 1080GPU,采用centos 7.0+OpenCV(3.1)+CUDA(7.5)軟件系統,使用收集的3000余張圖片及對這些圖片中的正樣本進行旋轉后擴充的樣本集進行模型訓練,然后使用訓練得到的模型對全省各輸電線路300多攝像頭采集的遠距離大場景復雜背景圖片上進行檢測,置信度閾值設置為0.5,得到的結果如下:

總圖片數21 310張,其中正樣本圖片數1817張(T),負樣本圖片數19 493張(F),正樣本檢出數2754張,其中正確的正樣本數1337張(TP)、錯誤的正樣本數1417張(FP),因而檢出率TPR=TP/T=0.736,誤檢率FPR=FP/F=0.073.當前Faster RCNN在所有網絡中性能領先,其mAP=66.9,本算法檢出率高于其mAP.如訓練時結合部分實際場景圖片,則檢出率將會更高、誤檢率更低.

部分檢測結果如圖5所示,其中(a)–(c)為架空線路下幾種吊車的識別結果,(b)輸電線路旁建筑塔吊識別結果.

圖5 檢測結果示意圖

4 結語

本文嘗試將深度學習算法與輸電線路視頻識別系統相結合,研制出一種利用視頻、圖像識別對輸電線路外破風險的預警模塊.具有下面幾個特點:

(1)模塊可以對輸電線路常見外破隱患(施工機械、塔吊等)進行準確計算和識別,實用性較強.

(2)為了保證算法的實用性,提高算法的檢測速率,單單使用CPU計算是遠遠不夠的,利用GPU強大的圖片處理效率,在本算法中調用了GPU的資源進行計算,保證算法的高效性和實用性.

GPU在浮點和并行計算方面具有獨特優勢,而一般訓練過程中基本都是浮點運算,通過將數據格式轉化成浮點型,并將GPU代碼改為并行運算等方式使用GPU.

(3)作為主站模塊,接入規約開發采用面向對象的方法,快速接入不同廠家設備;同時,為了不斷提高算法精確度,使用樣本多樣性擴充技術增加樣本數量及質量,提高深度網絡的鑒別能力.

經過測試與分析后,結果表明該系統在實際應用中具有較高的靈敏性和準確性.今后將進一步研究樣本擴充技術(包括剔除噪聲樣本、擴充有效樣本、生成特定負樣本等)及改進網絡結構,以提高模型的識別準確度.