基于改進Yolov4的輸電線路鳥巢輕量級檢測算法

韋庚吾，李英娜

（1.昆明理工大學 信息工程與自動化學院，云南 昆明 650500；2.云南省計算機技術應用重點實驗室（昆明理工大學），云南 昆明 650500）

0 引言

在導致輸電線路故障的外界因素中，鳥類活動排列第3位。鳥害問題[1]已經開始被學者關注。

針對輸電線路上鳥巢圖像的檢測方式主要有2類，即基于手動特征提取的傳統檢測和結合深度學習的自動檢測[2]。

傳統圖像檢測方法在被識別目標的背景比較單一的情況下能取得較好的效果；但是在實際圖像中，由于目標的背景往往比較復雜，并且利用滑動窗口的方式來對檢測區域進行選擇沒有針對性，所以該方法的檢測效率偏低。

隨著深度學習算法的發展，其在圖像處理方面的應用日益廣泛。深度學習方法的特點是，通過大量數據對模型進行訓練，在各種復雜的情形中進行特征抽取，從而使得算法在不同應用場景中具有更好的泛化能力。

目前，深度學習檢測算法模型主要有構建待選區域的雙階段檢測模型和端到端的單階段檢測模型2種。

雙階段檢測模型以R-CNN（region-CNN）[3]、Faster-RCNN[4]為代表，其思路是：先根據圖片生成待選區域，然后利用分類器將待選區域分類；2個步驟通過不同的網絡結構來實現。

單階段檢測模型以 Yolo（you only look once）[5]系列、SSD（single shot multibox detector）[6]為代表，其思路是：根據輸入的圖片，直接使用單個網絡結構去預測目標所屬類別和位置。由于單階段檢測模型省去生成待選區域的過程，所以其檢測速度快，更適合于實時環境下對識別目標進行快速檢測。

目前，關于輸電線路上鳥巢檢測，已有學者開展了相關的研究工作。

文獻[7]利用鳥巢形狀特征來構建直方圖，然后部署徑向基函數訓練模型，最后采用支持向量機對鳥巢進行識別。

文獻[8]針對鳥巢識別，提出一種結合 ROI（regions of interest）挖掘模塊的區域卷積神經網絡方法；通過ROI挖掘方法讓模型專注小規模對象，以提高模型檢測精度。

文獻[9]利用鳥巢和橫梁位置相對固定的特點，通過計算橫梁之間的白色區域大小來判斷該位置是否存在鳥巢。

文獻[10]通過對卷積神經網絡的ResNet-50進行改進，并結合多層不同尺度的候選區來實現對高壓塔上的鳥巢識別。

雖然上述研究在實際應用中取得不錯的效果，但仍存在部分問題：

（1）檢測模型無法保證精度和速度之間的平衡，并且過大的網絡模型對硬件要求高，進而導致其難以部署在移動端的設備中。

（2）充足的訓練樣本是模型檢測精度的保證。在實際應用過程中，樣本獲取較為困難，并且缺乏足夠多的受遮擋的鳥巢數據樣本。

（3）受遮擋鳥巢的檢測精度有待提高。輸電線路上的鳥巢背景復雜并且容易受塔桿遮擋。鳥巢受到遮擋會導致特征不明顯，于是算法識別準確率變低。

針對上述問題，為保證檢測模型能夠在識別精度和速度之間達到良好的平衡，本文通過改進Yolov4[11]對輸電線路鳥巢進行檢測。首先，采用MobilenetV2[12]網絡，對模型進行輕量化設計；然后，引入注意力機制并對特征融合過程進行改進，提高網絡對復雜背景下鳥巢的表征能力，提升模型識別精度；最后，將改進后 Yolov4模型與Yolov5s、Faster-RCNN等算法進行對比分析，以驗證模型的實用性。

1 YOLOv4算法原理

通過卷積神經網絡構成一個端到端的單階段檢測模型。在骨干網絡中采用Mish激活函數，其表達式為

該函數為非單調函數，具有無上界、有下界的特點，能夠使模型在訓練過程中更加穩定。

頸部網絡由特征金字塔池化網絡（spatial pyramid pooling，SPP）和路徑聚合層（path aggregati on network，PANet）構成。

SPP層的作用是，利用不同尺度的池化核，對從骨干網絡輸入的特征進行池化疊加操作，以擴大網絡的感受野。

在所采用的PANet結構中，引入一條連接底層特征與頂層特征的路徑，讓底層的特征能夠更好地傳遞到頂層來，以融合不同層之間的特征、確保樣本特征的完整性和多樣性。

頭部網絡的作用，是通過解碼操作對所獲得的特征進行預測。在特征利用部分，Yolov4采用3個不同尺寸的特征層進行目標識別，通過K-means聚類[13]得到候選框尺寸大小，最后結合輸出特征圖即可解碼檢測框位置坐標。

2 改進的Yolov4網絡

為提高模型整體性能，文本在Yolov4的基礎之上進行改進。改進后的網絡框架結構如圖1所示：采用輕量型 MobileNetV2替代原有CSPDarkNet53網絡來進行特征提取。將原有的常規卷積換為深度可分離卷積，并把注意力機制模塊CBAM[14]嵌入到MobileNetV2的每個逆向殘差塊中，使得網絡對特征的表達更為準確。在原特征金字塔結構基礎上引入自適應特征融合算法[15]（adaptivelyspatial feature fusion，ASFF），目的是給所提取到的不同尺寸特征信息找到最佳的特征融合方式，以提高模型識別效果。

圖1 改進的Yolov4網絡結構Fig. 1 Improved Yolov4 network structure

2.1 輕量級網絡MobileNetV2

本文利用 MobileNetV2輕量級網絡構建Yolov4模型的骨干網絡。

MobileNetV2網絡的優勢是，通過深度可分卷積以減少卷積參量、壓縮模型體積，進而達到模型輕量化的目的。

卷積方式由逐深度卷積及逐點卷積2個步驟組成。首先進行逐深度卷積，即利用濾波器對輸入通道逐個進行濾波；之后，進行逐點卷積，即將所有由逐深度卷積濾波操作后得到的輸出，與采用卷積核大小為 1×1卷積進行結合——這種拆分過程能夠極大節約模型的計算成本。

對于維度為DF×DF×M的輸入，卷積核尺寸為DK×DK，輸出通道數 N，則深度可分卷積與常規卷積對比后減少的計算成本如式（2）所示。

式中：C1為深度可分卷積的計算式；C2為常規卷積的計算式。

在本文MobileNetV2結構中，Yolov4骨干網絡中的 5個 CSP殘差單元模塊被替換為 MB（mobilenetv2_block）模塊；使用逐深度大小為3×3的卷積對特征圖通道逐個完成濾波操作，再通過逐點1×1卷積對多個通道之間的特征進行信息融合。

MoblieNetV2網絡參數如表1所示。

表1 MobileNetV2網絡參數Tab. 1 MobileNetV2 network parameters

表1中，Bottleneck為逆殘差模塊，t為卷積核擴展系數，c為通道數量，n為瓶頸層重復次數，s為步幅長度。

2.2 改進的通道注意力結構

在卷積神經網絡中添加注意力模塊，能夠減少檢測目標背景復雜帶來的負面影響，達到注重重點信息、過濾無關信息、提升模型對目標的檢測能力和泛化能力的目的。

CBAM模塊是一種融合空間和通道的混合域注意力機制模塊，其優點是在僅耗費極小的計算開銷下即可集成到卷積神經網絡的架構中。

把維度為 F∈RC×H×W的特征圖輸入到 CBAM的通道注意力結構后，再對特征圖的寬和高進行2種不同的池化操作，即可得到特征映射空間描述張量。將這2個一維張量通過全連接共享網絡和激活函數進行運算，即可獲得通道之間的相關聯系，得到通道注意力特征 Mc∈R1×1×C。

全連接網絡的共享，是為了獲得不同通道之間的關聯信息。

考慮使用降維操作來降低模型的復雜性時，由于降維過程中會對通道和權重之間的直接聯系造成干擾，并且通過全連接層獲取所有通道之間的交互關系并非絕對必要且會降低模型計算效率[16]，所以本文采用如圖2所示的卷積核尺寸為k×k的一維卷積來替代通道注意力模塊中的全連接網絡，以實現局部通道之間相互關聯。本文以通道之間的信息交互區域代表卷積核大小，以此避免因通道降維造成的特征信息損失。

圖2 改進的通道注意力結構Fig. 2 Improved channel attention structure

改進后的通道注意力Mc的數學表達如式（3）所示。

式中：δ為 Sigmoid函數；f1dk代表卷積核為 k的一維卷積，Fmax、Favg分別為進行池化操作后得到的一維張量。

一維卷積的卷積內核大小k的取值如式（4）所示。

為獲得空間維度上的注意力特征，把得到的模塊Mc作為作為輸入，將其沿著通道維度上分別進行不同的池化操作；把得到的一維張量F′avg∈R1×H×W、F′max∈R1×H×W在通道維度上進行拼接，得到拼接后的高效特征描述；最后再經過卷積操作和 Sigmoid函數運算，輸出空間注意力圖Ms。

Ms表達式如式（5）所示。

式中：f表示卷積計算；fconcat表示在維度上進行拼接。

將改進后的CBAM模塊嵌入到MobileNetV2的逆向殘模塊第2個PW卷積之后，使得模型能夠在提取特征時同時，在通道和空間位置上注重關鍵信息。逆向殘差模塊位置如圖3所示。

圖3 融合注意力機制的逆向殘差模塊Fig. 3 Reverse residual module integrating attention mechanism

2.3 特征融合過程

在特征提取過程中，圖像的低層次特征是比較籠統的，如邊緣形狀、紋理信息等；圖像高層次特征則能夠含有更加具體的語義信息。因此，對不同尺寸的特征圖進行融合是提高模型性能的關鍵。

本文利用Yolov4，通過PANet結構來對特征圖進行融合；在原FPN基礎上增加了一條自底向上的通道，以提高低層次特征信息的利用率。

利用PANet對低層次特征和深層次特征進行融合時，通常采用的方式是把特征圖轉化為相同維度然后再直接相加。這種方式會導致原始特征的部分信息損失。對此，本文在模型中添加一種自適應特征融合機制（adaptively spatial feature fusion，ASFF），如圖4所示。

圖4 Yolov4_ASFF網絡結構Fig. 4 Yolov4_ASFF network structure

Yolov4_ASFF的工作原理是：對某一尺度特征，先將其調整到同一尺寸大小并與其他層次的特征進行融合；然后通過訓練學習得到合適的權重參數，最終找到最優的融合方法。該原理的核心思想是，通過學習不同尺寸特征映射之間的連接來解決特征尺寸不一致的問題。

圖4中，level1、level2、level3是頸部網絡輸出的特征層。設 X(1)、X(2)、X(3)分別是來自于 level1、level2、level3的特征。首先，對X(1)、X(2)進行雙線性插值操作并調整通道數目，得到與X(3)相同維度的特征圖；對調整到同一維度的特征 X(1)、X(2)、X(3)進行卷積，卷積核大小為 1×1，進而得到 3個參數α、β、γ；該 3個參數經過Softmax函數運算使其滿足及約束條件；最后，將3個不同層的特征與獲得的參數對應相乘并求和，即得到特征融合后的 ASFF-3。計算過程如式（6）所示。

通過融入ASFF，使得網絡能夠在空間上消除其他不同層次特征圖帶來的負面影響，僅存留有效信息對特征進行融合。

3 實驗結果與分析

3.1 實驗平臺搭建與數據增強

實驗硬件配置條件：CPU為 AMD Ryzen7 5800H，GPU型號為NVIDIA GeForce RTX3060，內存大小為32 GB。

實驗軟件配置條件：深度學習框架pytorch1.8.1，python3.9。

實驗的數據集：通過無人機巡檢得到的輸電線路鳥巢圖片，共1 800張。使用Labellmg工具對鳥巢進行標注，并生成和圖片對應的xml文件，完成模型需要的VOC2007數據集制作。

因初始數據集數量較少，為了增加數據樣本量、提升模型在實際場景應用下的泛化效果，通過數據增強[17]算法增加現有數據集，如采取旋轉、水平翻轉、加入噪聲的方式。

在網絡上對受遮擋的鳥巢數據進行特征提取時，下采樣操作會造成受遮擋的鳥巢在最后的特征圖上只能保留少部分特征信息；因信息損失較多，所以會導致這部分數據識別效果不是很好。

為此，本文采用隨機擦除[18]的策略增加受遮擋鳥巢數據，即通過在數據圖像中隨機選擇一塊矩形區塊并對該區域的像素值進行擦除以提高模型的抗遮擋表現。這是一種輕量級的方法，不需要消耗額外的參數和內存，即可達到對數據增強的效果。

3.2 模型評價指標

本文采用Pre、AP（average precision）、mAP（meanaverage precision）和FPS作為模型性能的衡量標準。

Pre用于計算在預測結果中識別到真實目標的概率。

AP值用于衡量模型在單個類別上識別精度，為在不同召回率下最高精度的均值。

mAP值為不同類別樣本的識別精度平均值。FPS值為模型每秒識別圖片的數量。

3.3 實驗結果分析

以6:2:2的比例，將鳥巢數據集分為訓練集、驗證集、測試集。圖像尺寸為 416×416。初始學習率設置為0.001，batch_size為32。訓練過程中，采用隨機擦除方式對數據增強并結合標簽平滑、余弦退火衰減算法訓練技巧。

在400次迭代實驗過程中，模型在訓練集與驗證集的損失變化曲線如圖5所示。

圖5 模型損失函數變化情況Fig. 5 Variation of model loss function

由圖5可以看出：訓練過程中，前期損失值總體下降較快；在280輪epoch后，訓練集的損失值大幅降低；在訓練后期，驗證集和訓練集的損失都趨于平穩，波動幅度低，模型逐漸達到收斂。

驗證集的數量比訓練集少，并且2部分數據分布存在一定差異；同時，模型在訓練期間采用正則化——以上原因使得模型訓練集的損失大于驗證集的損失。

改進模型的P-R曲線對比如圖6所示。

圖6 改進模型的P-R曲線對比Fig. 6 Comparison of P-R curve of improved model

圖6中，分圖（a）（b）為Yolov4算法對鳥巢識別的P-R曲線圖，（c）（d）為改進后的Yolov4算法對鳥巢識別的P-R曲線圖。在鳥巢的識別方面，對于未受遮擋和受遮擋2種情況，改進Yolov4算法的AP值提升幅度分別為4.48%、3.02%。改進后模型的mAP值由81.67%上升到85.42%，提升了3.75%。

改進后的Yolov4算法在測試集上的部分識別效果如圖7所示。

圖7 Yolov4模型與本文模型檢測結果對比Fig. 7 Comparison of Yolov4 and model test results in this paper

從圖7可以看出：改進后的算法對未受遮擋、受遮擋較為嚴重的鳥巢均能準確識別。

為進一步檢驗本文的改進措施對模型性能造成的影響，通過消融實驗的方式對改進的結構進行分析。

將改進的算法分成A到E共5組進行實驗對比。實驗結果如表2所示。表2中，“√”代表包含該結構，“—”代表未包含該結構。

A組實驗：采用原始的Yolov4進行檢測。模型mAP值達到81.67%。

B組實驗：使用 Mobilenetv2網絡作為原Yolov4的骨干網絡后，模型mAP值下降3.56%，FPS值提高了34幀/s。這種改進的核心思想是，通過使用更加輕量化的骨干網絡，減少了深層網絡的參量；通過犧牲部分檢測精準度來大幅提高模型的檢測速度，這使得模型有利于部署在移動端的設備中。

C組實驗：在B組實驗的基礎上，模型融入了改進CBAM模塊。這種改進措施加強了特征在空間和通道維度上的聯系，目的是在增加少量計算開銷的情況下提升模型的檢測精度。從表2中數據結果可以看出，模型mAP值相較B組實驗模型提升了2.94%，FPS下降了11幀/s。

D組實驗：將改進的CBAM注意力機制模塊記作A-CBAM，并與C組實驗結果進行對比。從表 2中數據結果可以看出，模型 mAP值提升1.23%，檢測速度提高了6幀/s。

E組實驗：在D組實驗基礎上，添加ASFF結構；通過對不同尺度特征圖的融合方式對模型進行改進，以增強模型對特征的表達能力。從表2中數據結果可以看出，最后改進的Yolov4模型相較于原Yolov4模型，模型mAP值從81.67提升到85.42，FPS值從33幀/s增加到53幀/s。該結果表明，改進后的模型無論在精度還是在速度上都具有一定程度的提升。

表2 消融實驗對比結果Tab. 2 Comparison results of ablation experiment

在本文輸電線路鳥巢數據集上，將改進后的Yolov4模型與主流的目標檢測模型進行性能比較分析，對比結果如表3所示。

從表3中可以看出，雙階段檢測模型Faster-RCNN雖然檢測精度略優于本文算法，但是檢測速度低并且模型過大，不適用于搭載在移動端設備中。

表3 不同算法識別結果對比Tab. 3 Comparison of different algorithms

表3中，SSD、Yolov3-tiny、Yolov4、Yolov5s屬于單階段檢測模型。Yolov5模型結構主要分為4個版本；考慮鳥巢識別對模型的實時性要求高，所以選取了網絡深度淺、檢測速度快的 Yolov5s進行實驗對比。

在目標未受遮擋的情況下，與表3中4種單階段檢測模型相比，本文算法 AP值分別提高了15.6%、13.12%、4.48%、1.47%；在受遮擋的鳥巢數據集上，AP值分別提高了14.34%、12.16%、3.02%、2.56%，FPS提高了 26幀/s、2幀/s、20幀/s、4幀/s。在模型規模方面，本文模型比Yolov4、Yolov5s、SSD分別減少了202.6 MB、30.5 MB、79.8 MB，比Yolov3-tiny高了13.1 MB。

綜上，改進后的Yolov4算法能夠在保證檢測速度的前提下，提高對輸電線路鳥巢識別的準確性。

4 結論

本文提出的基于改進Yolov4的輸電線路鳥巢輕量級檢測算法具有以下優勢：

首先，模型采用輕量級MobileNetV2網絡作為Yolov4的特征提取網絡，大幅減少了模型體積，并提高了檢測速度。

其次，在特征網絡中添加了改進的CBAM模塊，從而加強了網絡的表征能力；結合自適應特征融合機制找到不同尺度特征圖最優融合方式，進一步提高了模型的識別精度。

實驗結果表明，改進的Yolov4模型在檢測精度和速度上均具有較大提升并且模型體積相較Yolov4壓縮了約80.9%。

對比現有的 Yolov3-tiny、Yolov5s、Faster-RCNN等網絡，本文模型實現了在檢測速度和識別精度方面更好的平衡，容易部署到移動端設備中，可滿足日常電力巡檢中鳥巢識別任務要求。