基于深度學習的配電網線路設備缺陷智能檢測

李晨曦，邵蒙悅，馮 杰

（1.國網浙江溫嶺市供電有限公司，浙江 溫嶺 317500；2.浙江理工大學，杭州 310018）

0 引言

目前無人機巡檢[1]廣泛應用于配電網線路巡檢。然而，隨著作業量的快速上升，無人機巡檢面臨更高的挑戰。配電網線路巡檢往往以丘陵山地為主，環境復雜、地勢起伏，無人機巡檢過程中需要與巡檢線路保持一定的高度和距離，才能確保采集視頻的標準性、規范性，因此對無人機操控人員提出了較高要求。而且，設備缺陷識別無法在現場實時開展，需要由無人機將視頻導入電腦，由后臺人員逐幀識別。線路缺陷的識別效率低，耗時久，視頻分析也要求人員具備豐富的巡檢經驗。所以基于深度學習方法的電桿檢測與瓷瓶缺陷識別具有重要意義。

在過去的研究中，針對類似的目標檢測問題，張征凱和齊浪[2]使用以ResNet50 為基礎的Faster R-CNN 網絡結構對螺紋孔進行檢測，使得很小的螺紋孔也可以被有效地檢測出來。陳為和梁晨紅[3]針對航空發動機檢測的目標小、難度大等問題，使用改進的SSD（單激發多盒探測器）模型識別凸臺缺陷，但其沒有解決外部環境（如光線等）對數據集的影響，因此準確率不高。張勤[4]等使用YOLOv3 網絡結構檢測秧苗列中心線，該模型主干網絡借鑒ResNet 網絡結構，并使用自適應聚類調整網絡得到同列秧苗的檢測框，最后達到91.47%的準確率。以上使用的網絡模型大部分有ResNet 殘差網絡結構的影子，可見ResNet 結構在目標檢測中起到重要作用，且上述模型都是檢測單尺度目標。

本文基于普遍采用的ResNet101 網絡搭建出雙尺度模型對目標進行檢測，相比以往只檢測一種尺度物體的目標檢測算法，本算法不僅可以檢測大物體（比如電線桿），也可以檢測小物體（比如瓷瓶），并且融合缺陷檢測算法，對所標記出來的瓷瓶進行缺陷檢測。本文提出的缺陷檢測算法，從可見光、紅外圖像、精細化3 個方面進行研究，解決了外部環境影響數據集的問題，大大提高了缺陷檢測的準確率。

1 研究數據集介紹

1.1 數據來源

本研究采用的數據來源于浙江省某電力公司。在已有素材中選取了視頻圖像數據236 GB，將數據按照多樣化場景分類后（包括城市、山林、沿海等場景）進行算法實現和訓練。如此，可使算法魯棒性更強。

1.2 數據預處理

數據預處理主要包括對圖像數據的標注、數據增廣等工作。

（1）數據標注。為實現高效利用視頻數據，本研究通過該電力公司自研的數據協同標注平臺，對每段視頻進行圖片截取，并對有效目標進行標注，共生成圖片近1 萬張，其界面如圖1 所示。標注目標包括鐵塔、水泥桿、鋼管桿等各類電桿，以及針式瓷瓶、絕緣子等桿上設備。考慮到實際環境中，配電線路周邊可能存在0.4 kV 電桿、通信桿等桿塔，因此在標注過程中為各類桿塔進行單獨標注，從而確保模型可以對不同類型的桿塔進行區分，有效剔除無關桿塔對模型識別的干擾。

該標注平臺將標注好的數據信息轉化為coco數據集格式，方便后續的網絡訓練。

此外，如圖2 所示，本研究對飛行過程中發現的1 萬多張缺陷素材也進行標注，缺陷種類主要包括：瓷瓶扎線不規范、瓷瓶缺失、瓷瓶破損、電桿爬藤、設備發熱等。其中，檢測的瓷瓶類型分為R12.5 型針式瓷瓶和U70B 型懸式瓷瓶兩類，瓷瓶缺陷統計如表1 所示。

圖1 視頻標注界面

圖2 巡檢素材示例

表1 瓷瓶缺陷素材統計

（2）數據增廣[5]。為提升檢測和識別準確度，適應各種不同環境（光照、角度等），對已標注數據進行后續處理，包括隨機裁剪、隨機色度變化、隨機角度變換等，使訓練數據圖像從1 萬張左右擴充為10 萬張。數據增廣后的圖像如圖3—5 所示。

圖3 隨機裁剪圖像示例

圖4 隨機色度變化圖像示例

2 基于殘差雙尺度檢測器的巡檢目標智能檢測算法

飛行過程中，為實現無人機線路通道飛行和精細化拍攝，需要同時識別水泥桿和瓷瓶等兩大類目標（如圖6 所示）。其中，識別出來的桿塔主要用于無人機飛行路線的自主調整，而瓷瓶等小尺寸目標的識別則用于無人機的近景檢測和缺陷識別。

由于識別目標尺寸差異比較大，常規算法（如CNN 神經網絡等）檢測效果相對較差。為了更好地識別不同尺寸的目標，在基于深度學習目標檢測算法的基礎上，采用基于殘差雙尺度檢測器算法模型，以便更加準確地檢測出不同尺寸的目標。提出算法的具體檢測流程如圖7 所示。

圖5 隨機角度變換圖像示例

圖6 標記示例

2.1 殘差雙尺度檢測器網絡模型結構

本模型主要由骨干網絡、微調模塊和邊界框橋梁模塊組成，基礎網絡框架如圖8 所示。

模型前端骨干網絡部分采用基本的ResNet101殘差網絡模型[6-7]，并采用金字塔架構分別提取出不同尺寸維度的特征（s8，s16，s32，s64）。不同尺寸的特征對應不同的檢測器，通過微調模塊對檢測位置進行微調，最后將2 個檢測器的結果進行融合，通過邊界框橋梁模塊得到最終的雙尺度檢測結果。

圖7 巡檢目標智能檢測算法流程

圖8 殘差雙尺度檢測器模型基礎架構

2.2 骨干網絡結構

骨干網絡用于提取數據集不同尺寸維度的特征。核心是殘差網絡。

殘差網絡由一系列的殘差單元組成，每個殘差單元由殘差映射和直接映射兩部分組成，其結構如圖9 所示，每個殘差單元的計算公式為：

式中：x 是輸入；w 是權重；y 是輸出。直接映射便是x，殘差映射為F（x，w）。F 表示對x 進行殘差映射操作。

殘差映射是x 經過一層3×3 的卷積層后，使用Relu 激活函數，見公式（2），最后再經過一層3×3 的卷積層。殘差映射得到的結果與直接映射相加，得到最后的y 值。

圖9 殘差單元結構

2.3 微調模塊結構

微調模塊用于對檢測目標得到的邊框進行微調。微調模塊與殘差結構類似，也有直接映射，模塊結構見圖10。

圖10 微調模塊結構

計算公式為：

直接映射便是x；R（x，w）表示x 經過卷積層，反卷積層。最后使用sigmoid 激活函數，見公式（4）。與殘差網絡不同的是，R（x，w）得到的結果與直接映射x 相乘，得到最終結果y。

2.4 邊界框橋梁模塊結構

邊界框橋梁模塊將2 個微調模塊得到的結果融合，得到最終的邊界框信息，在圖片中準確框出電線桿和瓷瓶的位置。其結構見圖11，計算公式為：

圖11 邊界框橋梁模塊結構

式中：x1表示微調模塊1 得到的結果；x2代表微調模塊2 得到的結果。B（x，w）是x1經過2 個1×1的卷積層，使用Relu 激活函數，得到的結果與x2相加，得到最終的輸出。

3 基于多光譜設備的缺陷檢測算法

無人機可搭載高靈敏度熱成像相機，將熱成像與4K 可見光傳感器結合，可以從更多維度獲取巡線場景信息，進而取得多種設備缺陷輔助識別能力。目前已實現瓷瓶缺失、扎線綁扎不規范、設備異常發熱、電桿爬藤等缺陷輔助檢測功能。其算法流程如圖12 所示。

圖12 缺陷檢測整體算法流程

3.1 可見光缺陷檢測

該算法使用的是MobileNetV2 模型[8-9]，該模型的結構如表2 所示，其中：t 為瓶頸層內部升維的倍數；c 為特征的維數；n 為該瓶頸層重復的次數；s 為瓶頸層第一個conv 的步幅。

MobileNetV2 模型由conv2d 卷積層、bottleneck 模塊、平均池化層組成。該模型使用的激活函數為Rule6。

表2 MobileNetV2 模型結構

Bottleneck 模塊由expand 層、Dwise 層和pointwise 層組成。

Expand 為1×1 的卷積層對數據進行升維處理；Dwise 層由3×3 卷積層、BatchNorm 層（歸一化的作用）組成，使用的激活函數為Rule6；pointwise層為1×1 的卷積層對數據進行降維。

除此之外，Bottleneck 模塊還有捷徑分支，與上面殘差結構的直接映射類似，當s=1 且輸入維度等于輸出維度時，便有捷徑分支，其他情況都不存在該分支。而輸入和輸出的大小為表2 中，輸入列“×”后面的數值。

3.2 紅外圖像缺陷檢測

由于紅外圖像分辨率不高并存在一定噪聲，首先進行灰度化和去噪濾波，之后根據亮度值對一定閾值以上的部分（該閾值根據效果自行調整）采用膨脹連通域融合等操作，獲取矩形注意力區域進行重點分析，然后采用Densecut 無監督區域分割算法提取出重點溫度提取點，再對這些點的溫度值進行加權平滑處理，最后將超過一定溫度閾值的可疑異常區域上報。

3.3 精細化檢測

在檢測到電桿等目標后，機載AI 算法自主決策控制飛行姿態與云臺參數，當無人機接近高壓電桿斜上方45°時懸停，自動調節攝像頭焦距，對電桿或塔架上的瓷瓶等關鍵目標進行細節檢測。同時人工控制無人機繞塔飛行，從不同角度對細節進行觀測，從而實現精細化檢測。

在精細化檢測中，算法將自發對檢測的瓷瓶等關鍵目標進行以下操作：計數和缺陷分類；對可疑場景進行標記；回傳給工作人員進行確認。

經研究表明，該操作可以有效提高缺陷排查的工作效率。

4 研究結果分析

4.1 基于殘差雙尺度檢測器的巡檢目標智能檢測算法性能分析

在檢測網絡部分，主要采用了殘差網絡結構。檢測主網絡有101 層，可以充分提取圖像中不同分辨率的細節特征，訓練采用Adam 算法[10]進行優化迭代，自適應調整學習率，共迭代30 000個epoch 后網絡達到穩定。本模型采用單階段目標檢測方案，相較于傳統的雙階段目標檢測方案（例如Faster R-CNN[11-12]等），運行速度更快，更加適合在終端資源受限設備中運行。通過與其他算法的比對如表3 所示，可以看到在精度和速度方面，本模型都具有非常大的優勢，適合本應用場景。

表3 不同目標檢測算法性能對比

本算法模型目前仍在根據無人機飛行數據反饋不斷更新改進，不但能使更多的桿塔被檢測到，也可以動態調整桿塔識別置信度閾值，保障桿塔不漏報，對瓷瓶和電線桿的識別準確率高達99%。

4.2 基于多光譜設備的缺陷檢測算法效果

缺陷檢測算法從可見光、紅外線以及精細化檢測三方面入手，主要使用的是MobileNetV2 網絡結構。通過實驗發現，以瓷瓶缺失檢測為例，在分離出瓷瓶、橫擔等子圖像后，通過MobileNetV2 網絡對缺陷進行分類識別。MobileNetV2網絡迭代2 000 個周期后得到分類模型。算法對瓷瓶檢測結果進行計數分析，由于可能存在遮擋情況，所以需要綜合各個角度的檢測結果進行統計，發現不足一定數量瓷瓶后將結果上報，大大提高了瓷瓶缺陷檢測的準確性。缺陷檢測算法的檢測效果如圖13 所示。

圖13 缺陷檢測

最后對2 321 張圖片（正常1 345 張，缺陷976張）進行檢測，檢測報告正常瓷瓶1 232 張，缺陷1 089 張，檢測準確度達到95.1%。

5 結語

針對人工利用無人機巡檢耗時耗力、檢測難度大等問題，提出基于殘差雙尺度檢測器的巡檢目標智能檢測算法和基于多光譜設備的缺陷檢測算法，并應用基于殘差雙尺度檢測器的巡檢目標智能檢測算法，對電線桿和瓷瓶進行定位，使用基于多光譜設備的缺陷檢測算法對電線桿上的瓷瓶進行缺點檢測。研究結果表明，在對電線桿的目標檢測中，本算法可高達99%的準確率，而對瓷瓶缺陷的檢測準確率可達到95.1%。

本文將兩大算法融合，結合機載處理器實現高效、快速、安全地作業，達到配電網無人機自動作業的巡檢效果。