基于改進YOLOv7 的實時輸電導線缺陷檢測方法

王宇博，尚軍利，張燁，劉建勇，楊雷，李博濤

（1. 國網陜西省電力有限公司渭南供電公司，陜西 渭南 714000；2. 西安工程大學電子信息學院，西安 710048）

0 引言

高壓輸電導線是電力系統的重要組成部分，其工況對電力系統的安全穩定運行具有重要的影響［1-2］。由于輸電線路沿途氣象復雜、地理分布位置特殊，覆蓋范圍廣，易遭遇極端氣候的侵襲，造成跳線，導線斷股、散股等故障，給電網的安全可靠運行帶來巨大的隱患［3-4］。如在2018 年至2019年，江西地區經歷持續性凍雨天氣，造成輸電線路塔頭折損7 基，導線斷裂41 根、地線斷裂3 根，輸電線路發生跳閘36 次，給居民生活及電網運行帶來巨大損失［5］。2018年1月23—28日，湖北省遭遇極端惡劣天氣，受損嚴重，其中導地線斷裂、斷股故障82 處，占總故障數量的9.14%；因導線故障受影響線路9條，占總受損線路的13.24%［6］。近年來，隨著我國多地遭受惡劣天氣影響，由輸電線路導線故障而引發的事故也呈增長趨勢，因此積極探索和研究輸電線路導線故障檢測技術與防范措施，對電網的安全可靠運行以及人們的財產安全具有重要意義［7］。

傳統針對線路的檢測主要依靠人工巡檢，但人工巡檢方式速度慢、效率低，并且輸電線路的基層運檢人員數量增長緩慢，使得傳統的人工巡檢方式無法滿足電網快速巡檢的需求。隨著我國“十四五”規劃電力行業呈現出技術創新驅動力不斷增強，綜合智慧能源形態逐步形成的發展趨勢，“云大物移智”等先進技術創新培育，成為電力產業升級的新增長點。電力與現代信息通信技術和控制技術深度融合，實現多能互補、智能互動。同時，圖像識別、卷積神經網絡技術的興起以及深度學習網絡性能的提升，基于無人機巡檢圖像的缺陷智能識別便成為主要的研究方向之一［8-11］。

目前，國內外諸多學者開始針對輸電導線缺陷智能檢測展開研究，并取得了顯著成效。文獻［12］提出一種基于邊緣檢測技術的導線缺陷識別方法，針對簡單背景下缺陷可以達到較準確的識別結果。文獻［13］提出了一種通過導線灰度分布曲線的方波變換檢測導線缺陷的方法，可有效測量導線斷股和表面缺陷故障。文獻［14］提出了一種基于徑向基概率神經網絡的輸電導線缺陷狀態識別方法，可在復雜背景下具有較好的檢測結果。文獻［15］通過分析導線表面灰度圖像的光滑性與一致性來檢測斷股的方法，對復雜背景下的缺陷及異物進行檢測。文獻［16］提出一種基于FCN 網絡及Canny 算法的導線缺陷識別方法，將深度學習與傳統算法相結合，對導線散股缺陷具有良好的識別效果。然而上述方法多使用傳統算法或將卷積神經網絡與傳統算法相結合，針對輸電導線缺陷精確、實時的檢測技術還不完善，同時算法適應性有待進一步加強。

基于此本文針對輸電導線缺陷的智能檢測提出了一種基于改進YOLOv7［17］算法的缺陷檢測方法：創新性地將輕量化網絡與自注意力機制相融合，替換YOLOv7 算法原有的主干網絡；替換雙向融合PANet 結構，采用加權雙向特征金字塔網絡BiFPN進行網絡特征融合。運用本文方法可以顯著提升模型檢測速度和檢測精確度，重點解決輸電導線缺陷檢測任務中現有模型速度慢、效果不佳、容易誤檢等問題。

1 改進YOLOv7算法的缺陷檢測方法

YOLOv7 算法主要由輸入端（input）、主干網絡（backbone）、頸部網絡（neck）、預測端（prediction）構成，原始YOLOv7算法結構如圖1所示。

圖1 系統結構框圖Fig. 1 System structure diagram

圖1 中，輸入端主要實現數據的增強操作，包括Mosaic 數據增強［18］、自適應錨框計算和自適應圖片放縮；主干網絡由卷積（Conv）結構、拼接（Concat）結構和最大池化（MP）結構組成，實現圖像目標特征提取；頸部網絡包括跨階段局部網絡（CSPNet）和雙向融合（PANet）結構，完成特征融合操作，使網絡同時包含低層位置信息及深層語義信息；預測端使用CIOU_Loss 函數，主要預測信息的損失。由于YOLOv7 算法使用多尺度訓練及預測，會產生多個預測框，因此在預測段使用非極大值抑制（NMS）只保留一個最優的預測框。

為了加快網絡訓練速度，得到更高的精確度，本文將主干網絡替換為輕量化網絡EfficientnetV2［19］。同時將自注意力機制引入EfficientnetV2主干網絡，并將PANet替換為加權雙向特征金字塔網絡（BiFPN［20］）。

1.1 基于EfficientnetV2 和CA 自注意力機制的主干網絡

本文提出一種新的CNN+Self-Attention 結構的輕量型主干網絡，該主干網絡由輕量級網絡EfficientNetV2 和協調自注意力機制（coordinate attention，CA）模塊構成。

輕量級網絡EfficientNetV2 由谷歌在2021 年提出，網絡使用NAS 搜索功能探尋輸入圖片尺寸、網絡深度、卷積核大小之間的最優匹配關系，使得模型精確度與推理速度達到最高。EfficientNetV2在淺層網絡使用Fused-MBConv 結構，在深層網絡使用MBConv 結構。同時加深網絡層次，避免因增大卷積核大小帶來的感受野減小的問題。MBConv結構和Fused-MBConv結構如圖2所示。

圖2 MBConv結構和Fused-MBConv結構Fig. 2 Structure of MBConv and Fused-MBConv

CNN 網絡中的卷積操作固定了卷積核的大小，導致卷積核的感受野固定，無法關注圖像的全局信息。然而，在網絡特征提取階段，即主干網絡中添加自注意力機制，通過簡單的查詢與賦值就能獲取到特征圖的全局空間信息，提升網絡的檢測性能。CA自注意力機制［21］將位置信息嵌入通道注意力中，在捕獲跨通道的信息的同時還能捕獲方向感知和位置感知的信息，增強了圖像特征的表達能力。CA自注意力機制結構如圖3所示。

圖3 CA自注意力機制結構Fig. 3 CA self-attention mechanism structure

CA 自注意力機制由兩部分組成：坐標信息嵌入和坐標注意力生成。首先，為了更好地保留目標位置信息，在圖像輸入CA 結構后使用一對一維特征編碼沿著水平方向和豎直方向對每個通道進行編碼。因此水平和豎直方向上的第c個通道輸出分別如式（1）—（2）所示。

式中：zc為第c個通道輸出的編碼值；xc（·）為第c個通道的輸入特征函數；W和H分別為圖像的寬和高；w和h為圖像中位于（w，h）點的像素點的坐標值。

然后，將兩個方向的特征圖進行拼接，并提取中間特征。最后，將特征圖沿著水平和豎直方向分為兩個張量，經過卷積及激活函數處理后再融合，生成坐標注意力。本文將CA 自注意力機制引入EfficientnetV2主干網絡，得到改進后的YOLOv7算法的主干網絡如表1所示。

表1 改進后的YOLOv7算法主干網絡Tab. 1 Improved YOLOv7 algorithm backbone network

1.2 加權雙向特征金字塔網絡BiFPN

由于CNN 網絡通過逐層抽象的方式來提取目標的特征，網絡淺層包含圖像的位置信息，網絡深層多為圖像的語義信息，而多尺度特征融合旨在對不同分辨率下的特征進行聚合，結合網絡的淺層與深層信息。

YOLOv7 算法所使用的特征融合結構為PANet，通過一個自頂向下和自底向上的雙向融合網絡將不同層次的特征聚合。但是，由于PANet自身結構的復雜性，在取得較好結果的同時也增加了計算代價。本文為了進一步提升模型的推理速度采用更加高效快速的BiFPN 結構進行特征融合。與PANet 相比，BiFPN 刪除了中間層上下兩節點，減小了計算量，又添加了跳躍連接，融合了更多的特征。PANet與BiFPN結構如圖4所示。

圖4 PANet與BiFPN結構Fig. 4 Structures of PANet and BiFPN

2 改進YOLOv7算法訓練過程

2.1 自動擴充數據集方法

為提高網絡的精確度、泛化性，在本文使用的輸電線路缺陷圖像數據集包括由無人機拍攝的真實環境圖像和模擬運行環境圖像，兩類圖像各100張。對原始圖像采用Labelme 標定地面真實框生成JSON 格式的文件，文件中包含缺陷位置與種類信息。

針對現存輸電線路數據集樣本數量少、背景單一、人工標注時間長等不足，同時為了增強網絡的魯棒性，保證網絡在復雜背景下同樣達到可觀的精確度，本文提出了一種自動擴充數據集的方法。該方法對數據集進行自動數據增強，即對每一張圖像做x方向翻轉、y方向翻轉、添加椒鹽噪聲、添加Gauss 噪聲、調整圖像對比度等操作，再自動擴充圖像對應數據標簽，無需對擴充后的圖像進行人工標定。數據集經過數據增強后圖像數量由原來的200張變為3 800張，最終生成符合YOLOv7算法訓練要求的COCO 格式數據集，其中訓練集與驗證集按8：2的比例劃分。

2.2 訓練參數及結果

本文使用深度學習框架PyTorch 對YOLOv7 算法進行訓練，最終生成模型權重文件。訓練圖像統一尺寸為640×480 px。每輪訓練所選取的樣本數batch_size 設置為16； 訓練過程中首先使用Adamw［22］優化器快速逼近最優解，以減少網絡的訓練時間，加快優化速度，再使用SGD［23］優化器對模型進行微調，以使得損失函數降到最低。同時，為了進一步加快訓練速度、提高精確度，本文使用遷移學習［24］在預訓練模型的基礎上進行權重更新，生成針對輸電導線缺陷檢測的模型文件。針對學習率本文使用預熱加s余弦退火的方式進行調整。訓練輪次為1 000輪，訓練時間大約為4.3 h。

3 實驗結果與分析

為了驗證本文提出的基于改進YOLOv7算法的有效性，選擇了不同背景下的輸電導線作為研究對象，圖像實驗在Ubuntu16.04 系統下運行，實驗平臺CPU 為Inter i7-6850 k、內存為64 GB，算法在兩塊顯存12 GB 的TITAN XP 顯卡上訓練預測，Python 版本為3.8，PyTorch 版本為1.7.0，并采用Pycharm 2021.1.3 軟件運行程序。主要實驗內容包括不同卷積神經網絡算法對缺陷目標的識別精度和速度。同時，為了驗證改進改進方法的有效性，實驗內容中還包括對YOLOv7算法的消融實驗。

3.1 評估指標

為了準確驗證算法的優越性，分別對各個模型進行定量分析計算精確度P、幀率NFPS。

精確度P是指預測正確的結果數量占總預測數量的比值，定義如式（3）所示。

式中NTP、NFP分別為正確、錯誤預測的樣本數量。

NFPS幀率是指網絡每秒鐘可預測的圖片數量，NFPS值越大則網絡的推理速度越快。

3.2 消融實驗

為了驗證本文對YOLOv7算法的改進效果，采用消融實驗對各個改進方面進行驗證。消融實驗的訓練過程及對比結果分別如圖5、表2 所示。驗證的標準包括模型的參數量、權重模型的大小、精確度P、幀率NFPS值。其中模型參數量與權重模型大小可以表示網絡的輕量級，值越小代表模型越輕量。

表2 消融實驗對比結果Tab. 2 Ablation experiment comparison results

圖5 模型訓練過程圖Fig. 5 Model training process diagram

從圖5 中可知模型訓練輪數和模型精確度的關系。從圖5 可以看出，本文使用的所有模型訓練輪數均為1 000，并且精確度已經平穩，即已經達到或接近最小損失函數值；未改進的模型1 相較于其他模型的精確度上升速度最快，最先趨于平穩；同時，各模型訓練結束后達到的精確度與表2一致。

從表2 中模型1 與模型5 對比可以看出，替換輕量化主干后的YOLOv7 算法推理速度顯著提升，提升效率I計算如式（4）所示。

式中：V模型A為改進后模型的推理速度；V模型B為改進前模型的推理速度。

根據式（4）計算可得，模型5較模型1的推理速度提升效率I為59.15%，精確度上漲了2.3%；對比模型1 與模型2、模型5 與模型6 可得，兩組的后者均添加CA 模塊，在提升精確度P的同時加大了計算代價，導致其幀率降低；而使用BiFPN 進行特征融合的模型3 與模型7，雖然精確度的提升效果沒有模型2 與模型6 明顯，但是幀率可以達到同主干網絡下最高的55.55 和85.47 幀；由模型4 和模型8 可得，同時使用CA 與BiFPN 模塊的精確度P可達到同主干網絡下的最高，幀率相比初始模型有所提升；此外，通過模型1 與模型8 的對比，充分驗證了本文改進方法的有效性，模型精確度與幀率高達97.5%與84.03，較原模型有巨大的提升。綜上所述，本文算法具有更加準確的檢測能力，整體質量最高，可以實現對輸電導線缺陷的實時檢測。

3.3 對比實驗

為了驗證所提算法的優越性，本文將所提算法和單階段檢測算法YOLOv5、SSD［25］，雙階段檢測算法Faster R-CNN［26］、 Cascade R-CNN［27］及對YOLOv5 算法做同樣改進算法做比較。對比試驗結果如表3所示。

表3 不同算法對比實驗結果Tab. 3 The experimental results of different algorithms

本文所提算法同樣為單階段檢測算法，從表3可以看出，用作對比的單階段檢測算法在精確度P上普遍比雙階段低，而幀率要高于雙階段算法；本文算法較上一代YOLOv5及YOLOv5改進算法整體性能提升明顯，且改進后的性能提升要高于YOLOv5；Faster R-CNN 和Cascade R-CNN 由于其雙階段檢測的特性導致其精確度高推理速度低，而本文算法在單階段網絡的基礎上進行創新，使網絡能夠充分利用各層的特征信息，實現性能效果最優化。

3.4 現場應用效果

為了直觀顯示本文算法的先進性，此次實驗中分別使用YOLOv7算法和本文算法對現場運行環境下拍攝的輸電導線圖像進行測試，記錄算法正檢率、漏檢率及檢測精度的情況，實驗結果如圖6 所示。圖6（a）、（b）分別為YOLOv7 算法與本文算法檢測結果。圖中使用紅色方框標定缺陷位置，并放置算法推理結果，包括種類名稱及檢測精度。從實驗結果可以看出，本文算法的平均檢測精度較YOLOv7 算法提升了約10%。第三組圖像在大霧天氣的復雜背景下拍攝得到，YOLOv7 算法出現了漏檢情況，而本文算法仍能將缺陷準確識別出，檢測精度達到了96%，這得益于CA 模塊對特征進行了編碼，很好地解決了漏檢的問題，說明本文算法在復雜背景下仍具有良好的識別精度，表現出了較強的魯棒性。第一組、第二組圖像中均含有多個缺陷，本文算法的識別精度可以達到96%。第4、5組圖像的拍攝角度、距離與其他圖像不同，導致YOLOv7 算法的檢測精度相比圖6（a）中其余圖像表現較差，而本文算法對多個感受野提取到的特征進行高效融合，第4、5 組圖像在圖6（b）中的顯示的精度同樣處于高水準，說明本文算法具有優異的泛化性，對不同情況下拍攝的圖像均有較高的檢測精度。

圖6 算法實際檢測效果圖Fig. 6 The real test results of algorithm

4 結論

本文針對現有輸電導線缺陷檢測模型檢測精確度不高，速度慢的問題創新性地提出基于改進YOLOv7 算法的輸電導線在線監測與缺陷識別算法，可以在保證檢測精度的同時滿足輸電線路實時巡檢的要求。首先，針對現存輸電線路數據集樣本數量少、背景單一、人工標注時間長等不足，本文提出了一種自動擴充數據集的方法，可以使用少量樣本圖像進行擴充，節省了標注時間、增大了訓練樣本，避免了模型訓練過程的過擬合現象；然后，提出新的CNN+Self-Attention 結構的輕量型主干網絡， 將EfficientnetV2 和CA 模塊結合， 替換YOLOv7 算法的主干網絡，對目標位置信息進行編碼，實現更快更精確的特征提取；最后，為了更好地融合并利用網絡淺層和深層信息，同時又進一步提升網絡的推理速度，本文使用BiFPN 結構替換PANet 進行特征融合，BiFPN 模塊可以將提取到的特征進行快速高效的融合，使輸出特征同時含有位置及語義信息。通過對輸電導線現場運行圖像的實驗結果表明本文算法在檢測輸電導線缺陷任務中的精確度達到了97.5%，檢測速度達到了84.03 幀/s，充分展現了其優越的性能，可以運用于實際巡線工作中。