基于深度學習的風機葉片裂紋檢測算法

范晨亮 李國慶 馬長嘯 黃 海

（1、國電電力內蒙古新能源開發有限公司,內蒙古 呼和浩特010040 2、國電電力發展股份有限公司，北京100101）

當前我國風力發電產業方興未艾，截至2018 年，全國(除港、澳、臺地區外)新增裝機容量2114.3 萬千瓦，同比增長7.5%；累計裝機容量約2.1 億千瓦[1]。風電機組在正常運行時，葉片裂紋問題，不但對于整個風電機組的輸出功率造成影響，而且由于葉片高速旋轉，極易引發葉片損壞脫落從而發生安全生產事故[2]。

當前風機葉片缺陷檢測方法主要有：Raisutis 等人應用帶導波的超聲波空氣- 耦合技術來調查風機葉片故障[3]，Wang 等人提出了一種基于無人機采集圖片，運用Logiboost、決策樹和支持向量機相結合的風機裂紋分類方法[4]。此外近來，國外出現的先進傳感器檢測分析方法還有，宏觀纖維復合傳感器檢測法，光纖布拉格光柵傳感器檢測和掃描激光多普勒傳感器檢測以及紅外掃描傳感器和雷達掃描傳感器相結合的檢測系統也被應用于葉片損壞檢測中[5-8]。馬淑華等人提出了一種面向實際風機葉片結構的Lamb 波損傷成像監測技術系統[9]。

以上都是傳統檢測方法，這些方法均只能判斷有無缺陷裂紋,無法對裂紋進行定性的分類以及尺寸測量。本文提出一種基于區域的卷積神經網絡(Cascade R-CNN)[10]及其改進算法的風機葉片裂紋檢測方法，構建風電機組的目標檢測數據集，并將所提方法與基于FasterR-CNN[11]、YOLOv3[12]、RetinaNet[13]的方法進行對比。提出方法將CascadeR-CNN 算法與數據增強、選取特征提取網絡ResNeXt-101[14]、加入特征金字塔FPN[15]結構等改進方法結合并應用于風機裂紋圖像目標檢測，驗證了方法在風電機組圖像中的可靠性，所提方法目標框定位更精準，準確率更高。

1 裂紋目標檢測算法

2014 年，Ross Girshick 等人利用AlexNet 提取特征，首次將CNN 應用于目標檢測領域。此后基于深度學習的目標檢測算法分為兩大類：第一類是基于候選區域的Fast R-CNN[16]、FasterR-CNN、CascadeR-CNN 等兩階段檢測算法，第二類是以YOLO、SSD[17]、RetinaNet 等為代表的單階段檢測算法。兩階段是指檢測算法分兩步完成，首先需要獲取候選區域，然后進行分類和精準定位，單階段即直接在特征網絡中預測當前位置目標類別和位置，速度更快，但一般準確率相對較低。

1.1 CascadeR-CNN 檢測算法

Cascade R-CNN 算法模型是以FasterR-CNN 算法為基礎進行改進的，目標檢測模型將檢測分為分類和檢測框回歸2 個子任務的多任務學習問題，CascadeR-CNN 設計了一個多階段檢測架構，通過重采樣自動生成下一階段需要的高IOU 閾值輸入樣本。這種結構有2 個優點：①不易發生過擬合，因為每個階段都有足夠的輸入樣本；②較深階段的檢測器被優化為適應更高的IOU 閾值。此外，由于每一檢測階段均可剔除離散值，在檢測階段采用級聯結構，候選框質量隨著檢測階段深入逐漸提高，進而增強了檢測模型性能。

CascadeR-CNN 具體檢測框架，擴展了FasterR-CNN 的兩階段檢測架構，構建了1 個由多階段子網絡構成的級聯回歸模型。Cascade R-CNN 由4 個階段組成：1 個用于生成候選區的RPN（Region Proposal Network）階段和3 個檢測階段，3 個檢測階段IOU 閾值分別設為0. 5，0. 6 和0. 7。首先，RPN 部分，由產生候選區域的子網絡“H0”輸入整張圖片并產生初步的目標檢測區域；然后，FastR-CNN 部分，利用ROI 區域檢測子網絡“H”對第1階段的初步候選區進行處理，并將每個候選區送到分類評分模塊“C”和檢測框回歸模塊“B”，得到新的候選框，最后，將前面輸出的新候選框輸入下一個FastR-CNN 模塊，經過3 個FastR-CNN 模塊后得到最終的檢測框及分類概率值。

1.2 對裂紋檢測算法的改進措施

1.2.1 圖像增強方式

由于無人機采集的風電機組葉片訓練樣本較少，模型訓練極易出現過擬合現象，因此需要進行圖像增強方式來增加圖片樣本數量，本文主要采取的圖像增強方式如表1 所示：

表1 圖像增強方式

1.2.2 ResNeXt-101 特征提取網絡

原始CascadeR-CNN 用的特征提取網絡是VGG[18]，如今已經有了很多性能更好的網絡，如GoogleNet[19]、ResNet[20]、ResNeXt。ResNet 的優點主要在于提出了殘差網絡學習的思想，ResNeXt是ResNet 的改進模型，其借鑒GoogLeNet 的是Inception 模塊提出了一種基數概念，ResNeXt 用一種平行堆疊相同拓撲結構的blocks 代替原來ResNet 的三層卷積block。ResNet 和ResNeXt 采用的基數都是32。

1.2.3 FPN 特征金字塔

圖像經過CNN 卷積操作會生成一系列的特征圖，目標檢測算法一般選取CNN 的最后一層進行目標預測。但是像葉片裂紋這樣的小目標檢測，經過多層卷積和池化，目標信息有可能丟失，而FPN 是將低層特征高分辨率和高層特征的高語義信息相融合，通過自上而下的路徑和橫向連接，構建了一個更深、融合更多層信息的特征金字塔，低層信息獲得葉片裂紋的準確定位，高層信息特征具有魯棒性，這樣做可有效提高葉片裂紋的檢測精度。

2 裂紋檢測流程與實驗設計

為了實現風電機組裂紋的缺陷檢測，研究分為建立數據集、模型訓練、模型評估3 個步驟。圍繞不同步驟，嘗試了圖像增強、選取ResNeXt-101 特征提取網絡和加入FPN 特征金字塔等改進方式，研究流程如圖1 所示。

圖1 研究流程圖

2.1 建立數據集

本文實驗數據集采用無人機航拍巡檢拍攝的風機圖片，首先從中挑選包含風機裂紋缺陷的150 張圖片，圖片分辨率為1920*1080 像素。之后對圖片中的目標及缺陷使用LabelImg 軟件進行人工標注。最后對標注好的150 張圖片進行上文所述的圖像增強方式，圖2 展示了原圖和經過上述圖像增強方式后的圖片樣例。經過圖像增強后，數據集總共有1200 張圖片，其中80%用于訓練，20%用于測試。

2.2 模型訓練

實驗平臺在ubuntu16.04 下，使用基于python 的MXNET深度學習框架，訓練和測試所用的硬件為NVIDIATeslaV100GPU*4，內存為32gb*4，CPU 為i9 9900k。

CascadeR-CNN 模型基于微軟常見目標數據集(Microsoftcommonobjectsincontext，MSCOCO)[21] 預訓練模型對權重進行初始化，訓練采用800*1200 的樣本分辨率，使用小批量梯度下降法(mini-batchSGD)訓練，學習率為0.005，動量為0.95，權值衰減為0.00005，每個批次訓練2 張圖片，總共訓練6 個迭代次數(epoch)。

2.3 模型評估

本文采用準確率(Precision)、召回率(Recall)、每秒幀數(FramesPercentSecond，FPS)和平均準確率(Average Precision，AP)來綜合衡量檢測算法的效果，在本實驗中，設定IOU 閾值＞0.5即目標檢測正確，公式(1)和(2)分別是準確率與召回率的計算公式，P 表示準確率，R 表示召回率，TP 表示正確識別的目標數量，FP 表示錯誤識別的目標數量，FN 表示漏檢目標數量。在目標檢測中，主要通過準確率- 召回率(PR)曲線衡量一個分類器的性能，如公式(3)所示，AP 越大，即PR 圖中曲線與坐標軸之間的面積越大，代表檢測器的檢測效果越好。

2.4 對比實驗設計

研究共分為2 組對比實驗。

圖2 (a)原圖(b)高斯噪聲(c)椒鹽噪聲(d)方框濾波(e)拉普拉斯算子(f)對數變換(g)直方圖均值化(h)亮度變換

2.4.1 基于CascadeR-CNN，在測試集上計算分別及同時使用數據增強、ResNeXt-101、FPN 等改進方法時，風機裂紋類別的檢測準確率和召回率，并畫出PR 曲線。

2.4.2 將原始算法、改進后的算法與FasterR-CNN，YOLOv3，RetinaNet 等算法模型進行對比，計算得出每個模型的AP 值及FPS 值。由于原始數據集較少，模型訓練不能得出很好的效果，因此本文在訓練其他算法模型時，均使用圖像增強后的數據集。

3 實驗結果及分析

3.1 基于CascadeR-CNN 的改進方法結果分析

準確率- 召回率圖，如

3.2 CascadeR-CNN 與其他算法對比分析

各算法AP-FPS 對比圖，如

4 結論

本論文提出了一種基于CascadeR-CNN 的風機葉片裂紋檢測算法，在加入數據集增強、FPN 特征金字塔結構、ResNeXt-101特征提取網絡等改進方法后，與FasterR-CNN，YOLOv3，RetinaNet 算法進行了性能對比測試。

隨著大數據和云計算的不斷發展，有關風機葉片的缺陷識別也會不斷深入，在后續工作中，將結合更多的方法圍繞數據集的制作、模型的精度訓練、檢測速率的提升等環節進行改進，同時擴展風機缺陷的種類，以提高模型的適用范圍和實用性。