基于改進SSD的風機葉片表面缺陷檢測方法*

季利鵬，吳世龍，聶 濤，楊文威，楊迦迤

(1. 上海理工大學 機械工程學院·上海·200093；2. 上海航天控制技術研究所·上海·201109；3. 上海嘉柒智能科技有限公司·上海·201912)

0 引 言

近年來，隨著無人機、光學傳感器、圖像處理等技術的迅猛發展，應用無人機實現復雜環境下工業設備的日常巡檢與維護作業越來越引起人們的重視與關注。當前，中國風電裝機容量連續多年蟬聯世界第一[1]，而由于風電資源多集中于山區、近海或戈壁等地理、氣候環境相對復雜的地區，作為風力發電機關鍵部件的葉片，在運行期間暴露在如此高度可變和惡劣的環境條件下，容易發生缺損，甚至斷裂的情況，降低風機的風能轉化率和機組壽命，嚴重時會帶來重大安全隱患和經濟損失[2-3]。因此，定期對葉片部件進行巡檢及狀態監測，發現破損并及時更換，對維持風力發電機的高效可靠運行至關重要。在此背景下，在風電場內部署無人機裝備為實現風機葉片表面的缺陷檢測任務提供了新的解決路徑。

與傳統的風機葉片缺陷檢測方式相比，通過部署無人機可以降低高空作業風險，減輕勞動強度；提高檢測效率，大大減少停機時間；減少檢查盲區，提高精度；避免了安裝各種傳感器對葉片運行的影響，降低了測試成本；還能有效避免風電場中各種不利因素干擾檢測的情況[4]。為了實現風機葉片表面缺陷的無損檢測，利用自主規劃或人為操控的無人機(Unmanned Aerial Vehicle，UAV)采集風機葉片圖像，建立風機葉片表面缺陷圖像數據集，進而構建基于深度學習的風電葉片表面視覺損傷識別算法，實現風機葉片表面缺陷的位置定位及類型判定，從而達到典型葉片表面缺陷的安全、高效檢測的目的[5-6]。針對無人機獲取到的圖像數據，傳統算法主要從有限的先驗數據中進行分析，通過經驗設計有效的特征集合或目標匹配模板完成檢測任務[7-8]，但該方法需要花費大量時間和精力完成特征集合和匹配模板的設計，且檢測精度有待提高。

鑒于傳統檢測算法局限性的存在，出現了基于卷積神經網絡(Convolutional Neural Networks，CNN)的深度學習目標視覺檢測方法，通過迭代訓練，CNN能夠自動學習并獲取圖像的深層特征，進而完成風機葉片表面的缺陷檢測。Xu Donghua[9]提出了一種基于無人機采集圖像及VGG-16網絡模型的缺陷檢測方法，可以分別對五種葉片表面缺陷進行精確識別，但該算法無法進行多種缺陷類型的分類及定位。Qiu Zifeng[10]提出了一種基于YOLO算法的微小缺陷檢測模型(YOLO-based Small Object Detection Approach，YSODA)，可以對微小缺陷進行精確檢測，并且檢測速度達到了實時性的要求。張超等[11]提出了一種基于改進Mask-RCNN的風機葉片缺陷檢測方法，將ResNet-50結合 FPN網絡生成的特征圖輸入到RPN網絡中篩選出ROI，通過ROIAlign固定特征圖尺寸輸入到預測網絡進行缺陷類型、邊界框及掩膜的預測。朱佳偉等[12]提出一種基于改進單次多邊界框檢測器(Single Shot MultiBox Detector，SSD)的風機葉片缺陷檢測方法，采用霍夫變換對處于傾斜狀態的風機葉片進行校正，然后利用兩種殘差網絡作為SSD算法的骨干網絡(Backbone)進行特征提取，提升了檢測精度和效率。

現在前沿的目標檢測算法如Fatser-RCNN[13]、YOLOv3[14]、SSD[15]等，基本都是在VOC[16]等常規數據集上開展實驗，但是因為有其特殊性(目標獨特性、尺度多樣性、視角特殊性)，基于常規數據集訓練的檢測器在風機葉片表面缺陷圖像上的識別效果仍需提高。實際應用中，對于風機葉片圖像中目標尺度多樣性的問題，檢測效果差的原因多集中在不同缺陷區域往往隨著類型或破損程度等情況具有不同的尺度范圍，視覺表現為極小、極大或者極端形狀，如細長型、窄高型等，這就導致目標特征信息差異隨著尺度的變化而改變，從而影響表面缺陷的準確識別與精準定位。

為了解決上述問題，利用計算機視覺并結合人工智能中的深度學習技術，構建以SSD算法為基礎的檢測模型。針對葉片表面缺陷多尺度的視覺表現，借助SSD模型的特征金字塔結構進行缺陷目標的多尺度預測，從不同深度、尺寸特征圖中學習感興趣信息。同時，更換殘差網絡resnet50為其骨干，在多維特征空間內獲取不同尺度特征下風機葉片圖像的深、淺層信息，進而增強骨干網絡的特征提取能力，提高風機葉片圖像表面缺陷的識別與定位準確率。之后，利用無人機航拍圖像制作數據集，在對無人機航拍風機葉片圖像進行分類、標注后，會得到帶有類別標簽的圖像數據集，并按比例對其進行數據劃分用于訓練與測試，進而對已構建的缺陷檢測模型進行內部參數擬合與實驗驗證。所提算法框架原理圖如圖1所示。

圖1 所提算法框架原理圖Fig.1 Schematic diagram of proposed algorithm

1 SSD原理與改進

1.1 SSD原理及基本流程

當前，基于深度學習的目標檢測算法主要分為單階段和雙階段兩類，其中SSD作為單階段目標檢測算法中的代表之一，將目標檢測任務視為一個回歸或分類問題，采用統一的框架直接實現目標的分類與定位[17]。與基于候選區域的雙階段目標檢測模型不同，在特定結構的神經網絡框架下SSD在不同的特征尺度下直接生成固定大小的邊界框集合，并獲得這些框中對象類實例的得分，然后通過NMS步驟產生最終的檢測結果。

圖2所示為本文所提改進SSD算法流程圖，該框架主要由特征提取網絡和檢測頭(Prediction Head)組成。在該框架下，輸入的風機葉片圖像首先通過由殘差網絡Resnet50和附加塊(Addition Blocks)構成的特征提取網絡進行圖像的初始特征提取，通過將學習機制集成到網絡中來加強缺陷目標的信息捕捉能力，有效理解多維特征空間內的淺層空間細節信息與深層語義信息，獲得六個不同層次下的特征圖集合；之后，將特征圖集合在檢測頭部分分別進行感興趣區域信息數據的類別概率分類與位置坐標回歸，按規則在特征圖上生成不同尺度和長寬比的先驗框，并利用NMS操作進行篩選關聯目標子集，完成缺陷定位與類型確定并輸出。

圖2 改進SSD算法流程圖Fig.2 Improved SSD algorithm flow

1.2 特征提取網絡

本文選擇殘差網絡ResNet50替代VGG作為SSD網絡的骨干網絡，尋找原始圖像數據中目標缺陷區域所暗含的具有統計意義的特征信息，旨在從缺陷對象的特征提取方面提升模型整體的檢測能力。Kaiming He提出的深度殘差網絡ResNet首次在網絡結構中引入了殘差單元，優化了傳統神經網絡深層堆疊所造成的梯度爆炸與退化問題[18]。ResNet50結合殘差(Residual )和跳躍連接(Shortcut Connection)思想，主要由子模塊Bottleneck堆疊而成，融合各層內部局部感受野內的空間(Spatial)和通道信息(Channel-Wise)來構建信息特征[19-20]，Bottleneck的結構如圖3所示，該結構的主路徑上為1×1、3×3、1×1的三個卷積塊，輸入x經過一系列卷積處理得到殘差函數F(x)，之后與捷徑支路進行數據融合，獲得待擬合的輸出映射結果，其計算過程見式(1)。其中，y為期望輸出，Wi和Ws分別為主路徑與捷徑支路學習到的權重參數。

(a)

(b)圖3 Resnet50內部子模塊Bottleneck結構Fig.3 Resnet50 internal sub-module Bottleneck structure

(1)

表1所示為本實驗所用的ResNet50模型的網絡結構，由49個卷積層組成，其中49個卷積層分為五組，卷積核的大小有三種，分別為7×7、3×3和1×1，用于對輸入圖像進行特征的提取，從理論全局感受野上去捕獲圖像的特征來進行圖像的描述，其中卷積層的激活函數為非線性Relu激活函數。同時，為滿足后續附加特征提取部分的輸入要求以及特征圖集合內指定特征圖尺寸的要求，在尾部添加一卷積核為1×1的卷積層進行連接。

表1 Resnet50作為SSD的骨干網絡時的結構表Tab.1 Structure table when Resnet50 is used as backbone of SSD

2 數據集構建

2.1 數據集準備

使用無人機設備搭載高清相機在華東某風電場對停機穩定狀態下的風力發電機組葉片進行了現場圖像采集。經統計，現場采集的風機葉片圖像共計1000余張，按照圖像表面缺陷的存在與否對風機葉片圖像進行初步篩選，各類型風機葉片表面缺陷樣本示例見圖4。之后，通過LabelImg軟件對所有圖像內各類型缺陷進行目標標注，標注后的數據集樣本缺陷數量情況見表2所示。最后，按照 8∶2的比例劃分訓練集與測試集，用于訓練與評估檢測模型對風機葉片表面缺陷的判別能力。

表2 風機葉片圖像數據集內缺陷情況Tab.2 Defects within the wind turbine blade image data set

(a)斷裂 (b)腐蝕 (c)結構破損

(d)表面裂紋 (e)表皮脫落 (f)雷擊圖4 數據集內風機葉片缺陷樣本示例Fig.4 Example of a sample of wind turbine blade defects in the data set

2.2 數據集分析

通過對數據集內風機葉片圖像的收集、篩選及標注，發現所構建的數據集樣本存在缺陷目標多尺度的現象，統計結果見圖5所示。在對所有圖片進行尺度歸一化操作至300×300像素大小后，缺陷真值框尺度分布呈現分散，且目標尺寸以中小等級為主。以表面裂紋缺陷類型為例，如圖6所示，由于受損程度或受損時間期限等原因，其視覺表現尺寸并不完全相同。

圖5 數據集內各缺陷真值框大小分布Fig.5 Size distribution of truth box of each defect in data set

圖6 表面裂紋缺陷類型的多尺度表現Fig.6 Multi-scale representation of hide-crush type defect

3 實驗及分析

3.1 實驗評估指標

在本次風力發電機葉片表面缺陷檢測任務中，使用目標檢測領域最常用的指標之一的均值平均精度(Mean Average Precision，mAP)來衡量該模型的檢測精度，它是模型檢測結果中不同類別目標對象平均精度(Average Precision，AP)的平均值。以mAP@.5為例，它表示當預測框與真值框值間的交并比(Intersection of Union，IoU)為0.5時各類型缺陷檢測結果的平均精確率。mAP與AP的計算過程如下。

(2)

(3)

其中，C表示缺陷類別總數，(AP)i為第i類的AP值；m，P，R分別表示在特定類別缺陷下的正樣本個數、準確率和召回率，其中P，R可由下式得到

(4)

(5)

其中，TP，FP，FN之間的關系及含義可由表3得出。

表3 TP，TN，FP，FN含義及關系Tab.3 TP，TN，FP，FN meaning and relationship

3.2 實驗結果及分析

本文在前期建立的風機葉片缺陷數據集上對SSD、YOLOv3和RetainNet三種單階段目標檢測網絡在不同的骨干網絡下進行訓練，以此來驗證改進 SSD 算法的有效性及優越性。通過使用交叉熵損失函數和SmoothL1函數實現網絡內類別損失和定位損失的計算，并加載骨干部分的預訓練權重對網絡進行加速訓練。

由表4可以看出，對于風機葉片表面的缺陷檢測，本文算法的總體平均精確度mAP@.5最高，相比于YOLOv3和RetainNet分別提高了2.92%和8.69%。從各類型缺陷的檢測性能來看，本文算法的檢測結果基本達到或接近三種檢測模型的最佳效果，除表皮脫落、雷擊和結構破損缺陷的檢測效果略差于YOLOv3外，其余類型的結果均為最高，斷裂缺陷的檢測精確度甚至達到了97.46%。

表4 不同算法下缺陷預測對比分析Tab.4 Comparative analysis of defect prediction under different algorithms

為了驗證對SSD模型特征提取網絡等方面的相關改進策略的優越性，對比分析改進前后模型的檢測效果，見表5所示。結合表4可以看出，SSD算法因其本身結構對多尺度目標的敏感性，以VGG為骨干網絡的SSD模型的檢測效果都要優于YOLOv3和RetainNet。在經過更換特征提取網絡模塊后，改進SSD算法的檢測效果提升了2.21%，這表明相比于VGG來說，層數更深的ResNet50殘差網絡更有利于風機葉片表面的特征信息提取。從各類型缺陷的檢測效果來看，除表皮脫落和結構破損缺陷外，本文算法對其余缺陷的檢測表現均已達到最優。改進的 SSD 算法一定程度上提升了網絡整體的檢測能力，各類型缺陷與綜合檢測準確率均獲得最佳效果，因此可選擇該網絡來完成風機葉片缺陷的檢測任務。

表5 SSD模型改進檢測效果比較Tab.5 Comparison of SSD model improvement detection effects

利用改進的SSD模型對風機葉片缺陷測試集中的檢測結果進行可視化，選取不同類型缺陷的葉片圖像的部分檢測結果如圖7所示。可以看出，在檢測模型作用下，風機葉片圖像內所包含的表面缺陷位置、類型及其置信度均在圖像上得到展示。

圖7 模型檢測效果示意圖Fig.7 Example of model detection effect

4 結 論

本文主要針對無人機巡檢場景下風機葉片表面缺陷目標檢測中存在的多尺度問題，提出了一種基于改進SSD算法的缺陷圖像目標檢測方法。該方法通過替換原有網絡框架中的特征提取網絡VGG為殘差網絡ResNet50，來完成更深層次的特征信息提取任務，從而達到提高視覺缺陷檢測效果的目的。本文方法建立在真實環境下的風機葉片表面缺陷數據集上，其綜合平均準確率mAP@.5可以達到84.29%，且在各類型缺陷下均表現出良好的檢測性能。研究結果表明，所提出的算法具有較高的精度，識別缺陷類型較為全面，能滿足風力發電機葉片缺陷檢測的基本要求。結合當前對風機葉片缺陷的視覺檢測，可應用于風電場陣列攝像機和無人機等數據采集設備的后期檢測系統，通過進一步完善無人機巡檢流程與相關檢測算法，為風機葉片表面缺陷的快速自動檢測提供解決路徑。