基于改進YOLOv4 風機葉片缺陷檢測方法

高文俊，張海峰

（201620 上海市 上海工程技術大學 機械與汽車工程學院)

0 引言

隨著國家大力發展清潔能源，風力發電由于動力獲取簡單、儲存容量大，被國家大力扶持。但是由于風力發電機工作往往處于沿海潮濕或者沙漠干旱等惡劣環境，風力發電設備就會出現各種損傷，導致發電效率降低。

風機葉片是風機設備中的重要部件。傳統的風機葉片缺陷檢測技術主要基于圖像處理檢測技術和傳感器等完成，如閾值分割、邊緣提取技術和聲傳感器、振動傳感器、光傳感器等。曹慶才等[1]為了提取風機葉片缺陷，采用機器視覺方法，首先對風機葉片圖像進行濾波和對比度增強預處理，然后采用OSTU 閾值法進行圖像分割，最后使用Canny邊緣檢測算法提取葉片缺陷特征；嚴海領[2]為檢測不同顏色風機葉片中的缺陷類型，分析傳統邊緣提取算子的提取效果，得出采用Prewitt 算子提取邊緣特征和圖像增強處理的方法，對不同顏色風機葉片缺陷特征提取效果較好；鄒潔等[3]將光纖光柵傳感器布置在風機葉片上，對傳感器接收到的沖撞信號進行信號能量分布和中心波長分析來得出風機葉片是否存在表面損傷缺陷。但是這些技術都有不足之處，如基于傳統圖像處理技術的缺陷檢測方法，需要人工設計的算法去提取相對應的缺陷明顯特征，人為主觀性大，且提取效果受環境因素影響較大，對環境要求比較嚴格，識別準確度不高。基于傳感器檢測技術的方法，需要人為在風機葉片表面布置對應的傳感器設備，搭建檢測傳感器信號系統，整體花費費用大，且不能對缺陷類別進行分類。隨著機器學習和深度學習的迅速發展，深度學習具有根據標簽信息自主學習類別特征的模型能力，使之成為缺陷識別的熱門技術。

基于深度學習的缺陷目標檢測方法主要分為2 類：一階段網絡和兩階段網絡。兩階段網絡預測準確度高，但檢測速度弱于一階段網絡。Faster R-CNN[4]是典型的兩階段端到端的目標檢測網絡，其基本原理是利用RPN（Region Proposal Network）組件在卷積網絡生成的特征圖上提出一組可能位于目標對象的邊界框區域，然后將提出的邊界框區域傳遞給ROI 池化層進行同一尺度化，從而構成端到端式的網絡模型構建，使其完成目標分類結果和邊界框回歸輸出。由于兩階段網絡模型在檢測速度方面較弱，因此一階段網絡被提出。SSD[5]和YOLO[6-9]系列為典型的一階段目標檢測算法。該類網絡把目標分類任務和檢測任務操作過程都集成在一個時間段過程中，不像兩階段網絡需要單獨提取目標類別特征和目標區域進行目標檢測任務，并且一階段網絡訓練過程比兩階段網絡訓練過程簡單。

針對傳統風機葉片檢測方式的不足，本文采用一階段網絡YOLOv4 算法進行風機葉片缺陷檢測。為了使該算法達到實際運行需求，將其主干網絡更換為Ghost Net[10]。利用k-means 方法處理用于訓練的標簽數據進行類別錨框大小選取。將Focal loss[11]損失函數代替原算法模型的分類交叉熵損失函數來訓練風機葉片缺陷數據集，提高了YOLOv4識別風機葉片缺陷的準確率和速度。

1 YOLOv4 算法

YOLOv4 算法是一種單階段目標檢測算法，在YOLO 系列基本原理上進行了網絡架構改進。YOLO 系列基本原理是將輸入圖片輸入所構建的端到端網絡模型中，輸入圖片經過網絡模型分割成S×S 個網格區域，然后由每個網格區域所提取的特征預測那些可能落在該網格區域內的目標，每個網格區域會產生多個邊界框（Bounding Box）以及邊界框的置信度（Confidence Score），每個邊界框包含5 個參數，即框的位置坐標（x，y，h，w）和置信度[12]。最后利用設計的損失函數訓練網絡結構，使模型收斂能夠預測這些邊界框參數和分類類別。

1.1 YOLOv4 網絡架構

如圖1 所示，YOLOv4 算法框架由特征提取網絡（Backbone）和結合特征融合的頸部模塊（Neck）以及進行目標位置回歸和分類的檢測頭（Head）3 部分組成[13]。其中特征提取網絡為CSP-Darknet53，是一種全卷積神經網絡，結合CSP 基本組件減少傳統圖像特征提取網絡推理計算量大的問題；Neck 模塊結合特征融合結構（空間金字塔池化結構（SPP）和特征金字塔結構（PANet））形成路徑聚合網絡，能夠融合深淺層的語義信息特征和空間特征進行多尺度目標檢測。檢測頭采用傳統的YOLOv3 檢測頭，進行分類預測和目標位置回歸，置信度預測。

圖1 YOLOv4 整體網絡結構圖Fig.1 YOLOv4Network diagram

1.2 YOLOv4 損失函數

損失函數是一個網絡模型訓練時的重要部分。YOLOv4 損失函數由分類損失函數（Classificition loss）和回歸損失函數（Bounding Box Regeression Loss）以及置信度函數（Confiden loss）3 部分組成，其關系式為

式中：λ1，λ2，λ3——平衡系數，Lconf——置信度損失，Lcla——分類損失，Lloc——回歸損失函數。

YOLOv4 置信度損失和分類損失均延續YOLOv3 二值交叉熵損失函數，回歸損失則采用了CIoU 損失函數。其中CIoU 損失函數公式為

式中：IoU——真實框面積和預測框面積之間交集與并集的比值；b、bgt——預測框、真實框的中心坐標；p2（b，bgt）——預測框和真實框中心點坐標之間的歐式距離；c2——預測框和真實框之間的對角線距離;wgt，w，hgt，h——真實框和預測框的寬和高；v——衡量長寬比一致性的參數[14]；a——用于權衡的參數。

2 改進的YOLOv4

本文主要從目標檢測模型的主干網絡和分類損失函數2 個方面對YOLOv4 算法進行改進。

2.1 主干網絡

Ghost net 是由華為諾亞方舟實驗室提出的一種新的提取圖像特征的卷積神經網絡，提出一種新的卷積結構方式，稱為Ghost module，如圖2 所示。該卷積結構利用類似深度分離卷積方式將一個傳統卷積形式分解成3 個步驟，先利用傳統卷積提取部分原始特征，然后利用少量的線性計算操作生成額外Ghost 特征，最后將原始特征和額外Ghost 特征進行拼接并輸出，這樣減少了一半的卷積核數目，且保證特征圖中變化的冗余特征不減少，并減少了一半的卷積計算，有助于模型主干輕量化。

圖2 The Ghost ModuleFig.2 The Ghost Module

識別要求在邊緣設備上達到實時性，而原有YOLOv4 算法采用的是CSPDarek net 主干網絡框架，模型參數量相對較大，且其推理速度和識別精確度需要大量的計算機硬件資源。為了達到滿足識別硬件要求，需對CSPDark net 主干網絡進行輕量化，故更換原有主干網絡為Ghost net，在大幅降低主干網絡參數量的同時保證特征提取效果基本不變。改進的YOLOv4 算法結構如圖3 所示

圖3 改進后的YOLOv4Fig.3 Improved YOLOv4

圖3 中Ghos_bot 全稱為Ghost_bottleneck，針對不同卷積步長參數對應2 種結構形式：步長為1時，輸入和輸出的特征圖尺度保持不變，只進行特征圖數量的伸縮；步長為2 時，對輸入特征圖尺度進行壓縮，利用底層特征圖信息獲取更高級的特征信息。有效組合2 種結構方式使主干網絡模型能夠輸出對應的PAN 三層特征圖尺度，實現Ghost net與PAN 的之間的結合。

2.2 損失函數

由于風機葉片數據集類別分布不均勻，且缺陷形式大部分為小型缺陷，若采用原有損失函數進行目標檢測模型訓練，訓練出的模型識別精度不佳易導致缺陷種類誤檢或漏檢情況，不利于實際應用場景。產生原因主要是YOLO 系統算法層面的問題，一般來說一張圖片中需要檢測的目標像素所占整張圖片分辨率比例較小，而YOLO 系統算法又是基于回歸框進行目標位置回歸，在產生回歸框的過程中會因為背景信息占據圖片比例大產生許多與所需要檢測的目標無關的負樣本信息，使得正負樣本分布不均衡且當多類別樣本分布不均勻時大量樣本的類別相當于少量樣本的類別而言就會產生大量的負樣本，會使得模型傾向于負樣本樣本訓練，因此采用Focal loss 代替原有YOLOv4 中的分類交叉熵函數，提高了不平衡樣本識別率。

損失函數計算為

式中：p——正樣本概率；α，γ——控制樣本損失比例超參數，控制這2 個超參數可降低易分樣本損失占損失比例，提升難分樣本損失比例，使得模型更加考慮難分樣本損失，解決類別之間不平衡問題。

3 實驗結果與分析

3.1 實驗環境

本文實驗在Win10 系統、pytorch 框架下進行，計算機處理單元為E5-2680 V4，內存容量16 GB，顯卡RTX 3060 顯存12 GB，Conda 軟件4.10.3，python3.6.5，pytorch1.7.1，使用cuda11.0進行訓練加速。

3.2 數據集

風機葉片數據集采用Kaggle 官網數據集[15]。將數據集按8（訓練集）∶2（測試集）進行訓練，其中訓練集2 395 張，測試集599 張，總共2 995張圖片，部分標注圖片數據如圖4 所示。

圖4 風機葉片Fig.4 Wind turbine blade

3.3 實驗結果分析

訓練過程中，設置學習率初值為0.001，之后在前300 次迭代訓練中學習率線性增加，當到達第8 個epoch 迭代時，學習率衰減到0.02；之后第9，10，11 個epoch 學習率設置為0.002，第12 個epoch 設置為0.000 2，進行模型收斂，模型訓練過程中的損失函數圖如圖5 所示。

圖5 訓練損失變化Fig.5 Variation of training loss

由圖5 可知，改進的YOLOv4 采用遷移學習策略、學習率策略和訓練策略后，模型逐漸收斂，總損失收斂于0.050 6，分類損失收斂于0.015 1，回歸損失收斂于0.030 5，收斂情況較好，驗證了這種算法方案可行。

通過控制有無采用Ghsot Module 或 Focal loss策略，進行消融實驗，驗證改進算法的有效性，并采用COCO 數據集map 指標和檢測推理時間判斷網絡性能。如表1 所示。

表1 消融實驗指標對比Tab.1 Comparison of ablation test indexes

由表1 可知：（1）原有YOLOv4 的map 預測值為79.32%，YOLO-F 在更換原有交叉熵分類損失為focal loss 后map 值達到82.33%，相比于原YOLOv4 的map 值提高了3.01%；dirt 缺陷的AP 值由原有的70.78%提到76.71%，但模型檢測damage 缺陷能力并沒有下降，總的map 值進行了提升，也說明加入focal loss 在處理類別不均衡方面具有一定效果。

（2）YOLO-G 在只更換網絡模型主干網絡為Ghost net 的情況下，模型參數量由246.19 MB 減少到134.27 MB，推理時間由0.204 s 減少到0.172 s，且提升了dirt 缺陷AP，說明更換的Ghost net 提取圖像特征神經網絡不僅能大大降低網絡訓練計算量，而且可以提取更有效的分類特征，即在增加網絡性能的同時保證相應的準確率。

（3）融 合Focal loss 和Ghost net 的YOLOGF 策略模型的map 預測值為82.98%，比原有YOLOv4 預測值高了3.66%，且推理時間由原有的0.204 s 減少到0.166 s，在準確率和網絡性能方面都比原有的YOLOv4 算法檢測效果好，參見圖6，說明本文的改進YOLOv4 算法能在保證實時性的情況下提高了葉片缺陷檢測準確率。

圖6 風機葉片檢測效果Fig.6 Wind turbine blade detection effect

4 結論

（1）針對目前風機葉片傳統檢測技術的不足，提出一種基于改進YOLOv4 的風機葉片缺陷檢測方法（YOLO-GF），實驗結果表明YOLO-GF 的檢測精度達到82.98%，參數量134.27 MB，檢測速度約7 f/s，模型能在保持風機葉片缺陷檢測準確率的同時，達到實時性檢測。

（2）采用Ghost net 的特征提取網絡更換原有YOLOv4 的CSP-Darknet 主干網絡，模型參數量由246.19 MB 降到134.27 MB，使得模型參數量相對減少，提高風機葉片缺陷檢測效率。

（3）利用Focal loss 損失函數代替原有YOLOv4 的分類交叉熵損失函數，解決數據集類別分布不平衡問題，使dirt 的類別AP 提高了5.93%，提高模型整體類別識別準確率。

（4）將本文改進YOLOv4 檢測方法（YOLOGF）與原有YOLOv4 模型分別在同一風機葉片數據集上進行實驗測試，得出YOLO-GF 檢測方法比原YOLOv4 方法平均類別識別準確率提高了3.66%，且能達到實時性需求。

本文提出的風機葉片缺陷方法YOLO-GF，在準確率和檢測速度上都有較好的性能表現，但由于數據集缺陷種類較少，模型檢測其它類型的風機葉片缺陷能力不佳，如裂紋，腐蝕，沙眼等，因此為了提高模型檢測其它缺陷能力，后續采取更多類別的風機葉片缺陷圖片進行模型訓練，并研究模型對沙眼等小類型缺陷的檢測能力。