一種輸電線路邊、端協同檢測方法和系統實現

孫仝 鄧浩光 程昭榮 范亮 陸林

DOI：10.19850/j.cnki.2096-4706.2024.01.029

收稿日期：2023-06-25

基金項目：中國南方電網有限責任公司科技項目資助（031200KK52210032）

摘? 要：輸電線路在日常運行中受環境等因素影響會出現不同程度的配件老化、破損，導致輸電、負載能力無法滿足運營安全需求。為解決傳統人工橋檢作業難度大、檢測時間長、工作空間受限等問題，提出一種基于無人機和深度學習的一體化輸電線路巡檢系統。系統基于卷積神經網絡技術，采用YOLOv7目標檢測算法對無人機采集的圖像進行檢測。首先通過事先設計的飛行路徑和實時拍攝采集圖像，其次傳送到事先部署于無人機邊緣盒子中的目標檢測模型進行檢測，最后將檢測結果通過邊緣盒子發送至使用者的APP。

關鍵詞：邊端協同；無人機；電力巡檢

中圖分類號：TP311? 文獻標識碼：A? 文章編號：2096-4706（2024）01-0138-04

A Method for Edge and End Collaborative Detection of Transmission Lines and System Implementation

SUN Tong1， DENG Haoguang1， CHENG Zhaorong1， FAN Liang2， LU Lin1

（1.Zhaoqing Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Zhaoqing? 526000， China;

2.Guangzhou Zhongke Intelligent Inspection Technology Co.， Ltd.， Guangzhou? 510623， China）

Abstract： The transmission lines may experience varying degrees of aging and damage to their accessories due to environmental and other factors in daily operation， resulting in transmission and load capacity not meeting operational safety needs. To address the challenges of traditional manual bridge inspection， such as high difficulty， long detection time， and limited workspace， captured by UAV . Firstly， the system? collects images through pre-designed flight paths and real-time shooting. Second， it transmits them to the target detection model deployed in the edge box of the UAV for detection. Finally， it sends the detection results to the user's APP through the edge box.

Keywords： edge and end collaboration; UAV; electric power inspection

0? 引? 言

輸電線路是我國電力運輸系統中不可或缺的一環，具有跨越區域大、標準統一化和可靠性高的優點，普遍放置于城郊或城郊區域外。隨著輸電線路工作的年限增加，輸電線路的各個配件會出現不同程度的老化、破損等現象。目前輸電線路的日常檢測依靠專業工作人員前往現場進行檢測，存在難度大、檢測時間長、工作流程復雜等問題，同時往往依靠工作人員豐富的檢測經驗排查輸電線路問題。陳榮保等[1]提出圖像拼接與Hough變換相融合的數字圖像檢測方法，增強目標電纜在圖像上占據的比重以及抗干擾能力，用以檢測輸電線纜的運行情況。張偉奎等[2]在視覺注意模型的基礎上，分析違規線路和其他環境的圖像差異，分類計算線路邊緣直方圖特征，與其他線路環境的圖像梯度分布相比，違規線路差異明顯，從而檢測出違規線路的差異。楊利波等[3]通過改進YOLO模型和使用無人機實現對輸電線路的缺陷檢測。朱凱等[4]利用改進后的Hough變換技術，提取檢測圖像的紋理特征，通過特征匹配得出最終的檢測結果。萬迪明等[5]通過分析直升機巡檢過程拍攝到的圖像，在事先檢測到的輸電線路興趣區域內根據人眼感知特性來計算視覺顯著圖，然后通過視覺顯著度對顏色、形狀或空間分布等特性對異物區域實現統一定位。

上述專業人員解決問題的方法大多數基于傳統的圖像處理技術，并直接進行檢測，并沒有考慮到實際的應用，以及傳統圖像技術的泛化性并不高的問題。

隨著無人機技術和深度學習技術在工業界的廣泛使用，利用無人機進行拍攝，目標檢測模型對輸電線路進行缺陷檢測逐漸替代傳統的人工巡檢方式[6]。由于無人機采集到的圖像數據較大。并且針對類似這種大型圖像數據的深度學習模型對硬件設備要求較高，一般無法部署在移動端。即小型深度學習模型的缺陷目標檢測效果無法滿足實際的應用需求，但大型的深度學習模型又無法在移動端上部署。現階段人機的智能巡檢方式存在小尺寸缺陷隱患檢測準確率低，漏報率和誤報率也較高的弊端[7-11]。

本文的研究目的在于提供一種包含移動端的實時分析的缺陷隱患檢測系統，用以智能識別缺陷隱患巡檢圖像，方便工作人員操作使用，提高缺陷隱患的檢測效率和缺陷識別的準確度。

1? 目標檢測模型

本系統選擇YOLOv7作為目標檢測模型，其在各種工業生產環境下都有較好的表現。YOLOv7的網絡結構主要分為主干網絡Backbone和檢測部分Head兩個部分，其中主干網絡負責提取圖像特征，檢測部分負責對主干網絡提取的特征進一步處理、預測以及輸出，算法結構如圖1所示。

主干網絡由ELAN模塊和MP-1模塊組成，其通過各種卷積核大小為3×3和1×1的卷積操作、激活函數、最大池化操作和歸一化操作的搭配完成對圖像特征的提取。

ELAN模塊是一個高效的特征提取模塊，由兩條分支共同連接而成，一條短分支和一條長分支。短分支負責提取淺層特征，長分支提取深層特征，淺層特征保留特征圖的紋理、外觀特征信息，而深層特征具有抽象的語義信息。然后ELAN模塊對二者得到的特征圖進行拼接操作，得到一個同時具有淺、深層特征信息的特征圖。分支上的CBS模塊協同運作，完成對圖像特征的提取，短分支由一個CBS模塊組成，長分支由五個CBS組成，其中CBS模塊由卷積層（Conv）、歸一化層（Batch Normalization）和激活函數（Silu）組成。

MP-1模塊也由兩條分支組成，與ELAN模塊不同的是MP-1的兩條分支是相同長度的（如圖2所示）。其中上分支由最大池化層（MaxPool）和CBS模塊組成，下分支由兩個CBS模塊組成。采用MaxPool層的目的是下采樣得到特征圖的關鍵特征信息，同時減少參數。MP-1模塊的作用在于對特征圖進行下采樣的過程中，在減少參數的前提下，盡可能地減少特征信息損失。

檢測部分主要由ELAN-W模塊、MP-2模塊和SPPCSPC模塊組成，其作用是對經主干網絡處理的特征圖進行預測。檢測部分有三個檢測頭，分別檢測圖像中大、中、小目標。這是由于大特征圖相對而言保留更多的空間信息，圖像上小目標的特征會保留其中，所以大檢測頭中的大特征圖通常用于檢測小目標，而小檢測頭中的小特征圖由于經過了幾次卷積，信息變得更加抽象，所以更適合檢測大目標。

其中ELAN-W模塊與ELAN模塊結構十分類似，其采用的CBS模塊數量相當，但略有不同的是ELAN-W模塊更加注重淺層特征與深層特征的融合。而MP-2模塊的結構與MP-1模塊結構完全一致，其所得到的特征圖的通道數是MP-1模塊的兩倍。

SPPCSPC模塊負責通過聚合采用不同尺度的最大池化操作獲得不同感受野的特征圖，使得網絡模型可以適應不同分辨率大小的圖像，同時不增加網絡模型的參數，保證了網絡的輕量化。

我們準備的硬件設備和軟件環境如下：CPU使用Intel XEON E5-2620V4 @ 2.10 GHz，8C/16T；計算卡使用NVIDIA Titan XP 12 GB，用于以下實驗過程：

1）缺陷檢測數據集。云南電力試驗研究院管理的輸電線路上有大量的電力桿塔數據。由于一些線路老化，本實驗通過篩選常規線路無人機檢查的圖像數據，收集了足夠的訓練和測試陽性樣本數據。本次實驗共采用1 564張數據用于訓練和測試，按照訓練集和測試集8：2的比例進行劃分。

2）實驗結果和比較分析我們使用YOLOv7算法進行了多次的調參嘗試，以及大量的迭代次數來訓練算法。我們在測試集上計算了精確度和召回率。經過實驗發現，如表1所示，算法在全設備訓練數據上具有優秀的性能。

在后續的例行飛行巡檢中，我們采集了大量的驗證數據進行算法的魯棒性驗證，在開放數據上顯示，算法實用性能強。驗證結果如圖2所示。

2? 邊、端協同檢測系統

2.1? 系統組成

針對無人機巡檢數據傳輸時間長、管理效率低，本文提出了一種邊緣智能巡檢系統。檢測系統包括無人機、地面控制中心、邊緣智能巡檢系統（平板和電腦）、云端生產指揮系統服務器，無人機上安裝有數據采集裝置和邊緣檢測盒子，以及邊緣智能巡檢系統缺陷數據管理APP，整個系統如圖3所示。

2.2? 系統業務流程

數據采集裝置包括控制單元、圖像采集單元、無線通信單元。控制單元用于控制圖像采集單元和無線通信單元工作；圖像采集單元用于采集輸電線路的圖像信息，圖像采集單元包括雙光相機，雙光相機包括可見光攝像頭和紅外光攝像頭，可見光攝像頭用于拍攝輸電線路的場景畫面，紅外光攝像頭用于（通過感應輸電線路的紅外輻射能量）獲取輸電線路的紅外熱成像圖；無線通信單元用于實現無人機與地面控制中心的通信連接和數據傳遞，包括傳輸圖像采集單元的數據、接收數據處理系統的控制指令等。

上述雙光相機中設有圖像推流處理器，圖像推流處理器用于將輸電線路的場景畫面與紅外熱成像圖融合疊加渲染生成渲染圖像，以實現圖像單線傳輸，從而便于快速傳輸和提高效率。

邊緣檢測盒子包括控制單元、圖像處理單元、缺陷圖像檢測單元、SDK通信單元。控制單元用于控制缺陷圖像檢測單元、圖像處理單元和SDK通信單元；圖像處理單元用于對無人機采集到的通過SDK通信傳入的圖片進行處理；缺陷圖像檢測單元用來對圖像處理單元處理好的圖片進行缺陷檢測，并輸出檢測結果；SDK通信單元與無人機之間進行數據傳輸，包括圖片和檢測到的缺陷信息。

當缺陷檢測模型判斷發現缺陷時，將通過無人機向遙控器發送警告信息和缺陷的定位信息，并且在遙控器畫面中以紅色框進行標識，實現輸電線路巡檢作業從先飛后識別轉變為邊飛邊識別，可以第一時間發現重大缺陷。

終端APP的目錄如圖4所示，登錄表示當用戶進入網站或者打開APP時，用戶輸入賬號和密碼即可登錄；任務管理包含兩個子級計劃管理和新建/修改任務，計劃管理有各項計劃的列表，每項計劃包含計劃的序號、計劃名稱、線路名稱、電壓等級、計劃作業區段、巡檢類別、巡檢方式、作業人員、開始/結束時間、巡檢/缺陷狀態、操作，還可以根據以上的關鍵字進行查詢需要的計劃，子級新建計劃還可以根據上面的關鍵詞進行新計劃的添加；新建/修改任務可以創建或者修改一個項目；打開任務文件目錄的子級可以查看用紅色框標識的缺陷圖片，包含可見光和紅外的，缺陷列表詳情頁可展示所包含的缺陷列表，每個缺陷有序號、描述、類型、等級和人工確認結果，還包含刪除功能；導出選擇彈窗可以以.doc和.xlsx格式導出巡檢報告、檢修記錄、繪制照片、原始照片。

終端APP分別使用于移動端（邊緣識別缺陷現場確認）和辦公電腦端，移動端通過根據遙器端傳來的缺陷信息進行現場確認（分已確認和未確認），然后再通過傳輸網絡將已確認或未確認的缺陷數據上傳到云端的生產指揮系統服務器，同時缺陷數據從服務器下發到信息班的班員的辦公室電腦端，進行協同確認。

3? 結? 論

本文基于深度學習的輸電線路的缺陷檢測技術，并結合無人機圖像自動采集技術，設計了一套移動端檢測輸電線路方法。與其他檢測系統相比，該方法把深度學習、無人機技術和移動端開發技術結合起來，更加方便操作人員的使用與操控，具有更高的準確率和更加迅速的檢測速度。該檢測系統專門配置了邊緣圖像處理器，能夠直接對相機采集的大量數據進行實時檢測識別，且僅僅將檢測識別出的有缺陷隱患的圖像信息通過遙控器和路由器轉發給邊緣巡檢終端，而不是將拍攝到的全部數據信息發送給終端，大大減少了通過網絡傳輸的數據，進而提高了網絡傳輸速度和效率，同時也提高了巡檢的可靠性和效率，為用戶帶來了良好的體驗效果。

參考文獻：

[1] 陳榮保，唐大為，盛雨婷，等.數字圖像在輸電線路檢測中的應用 [J].傳感器與微系統，2019，38（9）：150-152.

[2] 張偉奎，錢濤，余長江，等.基于視覺注意模型的輸電線路違規檢測方法研究 [J].電視技術，2018，42（10）：8-11+24.

[3] 楊利波，楊嘉妮，賀學敏.基于YOLO目標檢測算法的輸電線路檢測 [J].電力信息與通信技術，2022，20（8）：99-105.

[4] 朱凱，姜文東，方玉群，等.基于改進Hough變換的輸電線路帶電作業機器人檢測方法 [J].制造業自動化，2022，44（6）：186-189+203.

[5] 萬迪明，張杰，郭祥富.一種基于視覺顯著性分析的輸電線路異物檢測方法 [J].電視技術，2018，42（1）：106-110.

[6] 鄭騰龍.基于深度學習的無人機電力巡檢障礙物目標檢測與避障系統 [D].天津：天津工業大學，2021.

[7] 汪慧晨，周穎，徐瑞雪，等.智能巡檢無人機在新能源領域中的應用 [J].科技與創新，2023（3）：162-164.

[8] SHAMSUZZAMAN J M .YOLObin： Non-Decomposable Garbage Identification and Classification Based on YOLOv7 [J].電腦和通信：英文，2022，10（10）：104-121.

[9] SUN K X ，CONG C . Research On Chest Abnormality Detection Based On Improved YOLOv7 Algorithm [C]//2022 IEEE International Conference on Bioinformatics and Biomedicine （BIBM）. Las Vegas：IEEE，2022：3884-3886.

[10] 陳楊山，張傳慶，趙曙光，等.基于YOLOv7-Tiny的交通標識檢測算法研究 [J].計算機科學與應用，2023，13（4）：737-744.

[11] KARBOWIAK D，POWA?A G. Porównanie dwóch modeli wymiany danych w sieci ELAN [J].Studia Informatica，2014，35（3）：29-38.

作者簡介：孫仝（1985—），男，漢族，吉林吉林人，中級工程師，碩士研究生，研究方向：輸電線路智能巡檢技術；通訊作者：范亮（1985—），男，漢族，河南安陽人，高級工程師，碩士研究生，研究方向：視覺算法的目標檢測。