基于深度學習算法的風電機組葉片開裂缺陷分析

董 禮，韓則胤，王 寧，王恩路，蘇寶定

(中國廣核新能源控股有限公司，北京 100000)

0 引言

我國可供開發的風能資源大約在10億千瓦，為加強對風能資源的開發利用，截止到2020年底，全年新增風電裝機超過7 100萬千瓦，成為目前應用最廣泛和發展最快的新能源發電技術[1]。由于風電設備大多數安裝在偏遠地區，風電機組的工作環境惡劣并且氣候環境復雜，經常受到大風、雷電、雨雪等天氣的影響，導致風電機組故障頻發，對機組葉片造成損傷[2]。

在對風電機組葉片缺陷檢測中，文獻[3]系統利用聲發射技術，基于能量的等高線圖判斷風機葉片的損傷程度，并應用新的源定位方法對缺陷部分定位。文獻[4]系統通過部署大量傳感器組成傳感器網絡，實時采集機組葉片的聲信號，對葉片的實時結構健康進行監測。文獻[5]系統結合有限元法和反卷積分離法，利用葉片的振動信號檢測風機的損傷狀態，確定葉片的損傷位置。文獻[6]系統通過應變感應器來檢測風機葉片在外界作用下產生的形變，安裝在葉片表面或葉片層，間接檢測風電機組的結構損傷。當前的研究中需要借助大量多種類型的傳感器設備，對葉片狀態進行監測，提高了系統的檢測成本和復雜程度，同時傳感器獲得的信號容易受到環境噪聲的影響，進一步影響了系統對風機葉片缺陷的分析和識別的精度。

1 基于無人機圖像采集的風電機組葉片缺陷檢測系統

該研究將無人機技術和圖像視覺技術應用在對風機葉片的缺陷檢測上，采用高分辨率的相機和無人機對風電機組葉片圖像進行采集，獲取到清晰且完整的葉片信息，比人工巡檢的方式更具安全性和效率。采集到風機葉片的圖像越清晰，包含的葉片缺陷信息更加豐富，該研究系統使用深度學習模型能夠更好地提取出葉片表面開裂的缺陷特征，更加精確的定位缺陷位置[7]。該研究系統使用基于ONESTAGE的YOLOv5目標檢測算法，能夠直接產生目標葉片缺陷的類別概率和位置坐標值，提高了對風機葉片的目標檢測速度[8]。基于無人機圖像采集的風電機組葉片缺陷檢測系統結構如圖1所示。

圖1 風電機組葉片缺陷檢測系統結構

該研究設計時，在結構上可分為采集層、數據層、服務層和應用層。通過不同層次結構實現風電機組葉片數據信息的采集、傳遞、計算、分析與計算。滿足用戶從底層風電機組葉片的運行狀態開始，進行遠程數據信息監控，有效地將風電機組葉片的運行狀態的宏觀數據信息，轉換為直觀的數據顯示，提高了風電機組葉片缺陷檢測效率。

采集層利用全自主巡檢模式的無人機完成風電機組葉片表面的全面覆蓋圖像的采集，采用低速、定點航拍的方式，在巡檢過程中通過無線傳輸網絡將采集到的葉片缺陷圖像傳輸到系統的數據層。為防止無人機與葉片距離過近發生碰撞事故，在無人機上安裝有紅外激光傳感器，用來探測無人機前方水平60°，距離30 m之內的所有物體，通過設定距離閾值保證無人機在圖像采集過程中的飛行安全，當小于閾值距離時發生報警信號自動向相反方向飛行并恢復安全飛行距離[9]。在具體設計時，通過無人機攜帶不同的電子設備信息實現風電機組葉片缺陷的巡檢采集，無人機體積小，重量輕，能夠實現人力無法企及的高空場合或者高危區域。通常包括飛機平臺系統、信息采集系統和地面控制系統等，能夠將高空或者高危區域數據信息帶回地面，實現數據遠距離交互，提高了作業工作效率。

數據層完成葉片缺陷圖像的存儲和預處理，并向應用層提供數據訪問接口，數據層使用具有多個計算引擎的分布式數據庫HIVE，能夠兼容多種數據存儲格式，并支持時間復雜程度較高的數據結構[10]。數據層可以設置外設接口，比如遠程無線通信接口、USB數據接口、CAN數據總線等，通過這種方式，能夠實現無人機采集數據與外設設備多種數據交互與共享，必要時，在數據局層可以設置數據管理軟件，以提高風電機組葉片缺陷檢測數據管理效率。

應用層使用支持可視化操作的LABELIMG工具來標注圖像中的缺陷信息，LABELIMG工具并且支持源碼編譯安裝，可以直接下載系統對應打包好的文件，在DATA_CLASSES路徑文件下定義訓練好的使用類的列表，使用OPENDIR選擇葉風電機組葉片圖像的目錄，在CHANGE SAVEDIR中自定義生成標注文件的保存位置。對圖像中葉片開裂缺陷的位置進行選擇，并標注損傷程度完成后對標注就信息進行保存，輸出XML格式的標注文件。標注文件的標注信息包括圖像路徑、名稱、圖像分辨率、通道數量、缺陷坐標和損傷程度等信息。

本研究設計中，可以將服務層與應用層結合起來應用，或者將應用層劃分為不同的數據模塊，比如具有服務功能的多種數據管理模塊。比如可視化管理模塊、分類管理模塊、交互模塊、故障處理模塊等。

2 葉片開裂缺陷圖像的高精度檢測方法

在無人機自動巡檢過程中，大規模風機葉片圖像和視頻的數據傳輸可能會造成網絡擁堵，并且上傳到系統數據層的圖像或視頻數據并不是完全有用的，圖像過于模糊、葉片圖像的有效面積過小影響系統對葉片缺陷的分析效果，同時增加了系統數據庫的存儲資源。該研究設計出風機葉片開裂缺陷的檢測模型，對采集到的圖像質量進行檢測，過濾掉運動模糊和低質量的不適合作為訓練數據的葉片圖像[11]。

2.1 清晰度檢測

通常，從無人機輸出的數據信息由于外界噪聲的干擾，數據信息不純凈，容易使采集到的數據信息在后續計算過程中誤差大，不準確程度高。針對該方法，該研究使用圖像邊緣銳度評價無人機采集到的葉片圖像，通過sobel算子計算圖像梯度，采用Tenegrad梯度函數衡量圖像的清晰度，通過這種方式，能夠將獲取的數據信息特征提取出來，在對提取的數據特征進行分析，以提高數據分析精度。為了量化采集到的宏觀數據量，該研究采用了數據思維的方式，以具體化通過無人機技術采集到的葉片開裂缺陷圖像數據信息。梯度計算可表示為：

(1)

式中，Gx表示圖像像素橫向梯度，Gy表示圖像像素縱向梯度，I表示圖像的灰度值。

通過該公式，能夠計算出葉片開裂缺陷圖像信息的灰度值，基于灰度值的計算結果，能夠評判采集到葉片開裂缺陷圖像的精度。通過上述計算后，再計算葉片開裂缺陷圖像的清晰度。計算圖像的清晰度可表示為：

(2)

式(2)中，FT表示清晰度評價算子，m表示葉片缺陷圖像的長度，n表示葉片缺陷圖像的寬度，(x,y)表示圖像的像素點坐標[12]。

通過該公式，清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像的寬度等因素是影響葉片開裂缺陷圖像清晰度的關鍵性因素，當然，在實際應用中，還會存在其他因素，出于篇幅的限制，本研究不再考慮一些非關鍵因素，將清晰度計算融入上述清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像的寬度等因素能夠從本質上分析影響清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像精度的能力。系統通過設置合理的閾值，計算出的清晰度算子高于系統閾值時被認定為為滿足葉片開裂缺陷分析的圖像要求，低于閾值的圖像不會保存在系統數據庫。

2.2 缺陷圖像有效面積檢測

無人機采集到風電機組葉片圖像的有效面積是指葉片上開裂缺陷的面積，葉片像素點在整個圖像總像素點的比例大小影響缺陷檢測的精度。兩種不同葉片面積占比的圖像如圖2所示。

圖2 不同葉片面積占比的圖像

圖像1中的葉片占比面積超過80%，能夠清晰地觀察到葉片上的開裂缺陷，圖像2的葉片占比面積不足20%，包含的缺陷信息較少，需要進行圖像分割和去噪處理。圖像轉換可表示為：

F(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

(3)

其中:F(i,j)表示轉換后的灰色圖像，R表示圖像的紅色通道，G表示圖像的綠色通道，B表示圖像的藍色通道[13]。

通過上述分析，將采集到的圖像數據信息切割成小模塊結構，將圖像信息轉換為可以矢量數據信息，提高了計算能力。通過式(3)能夠將提取到的葉片開裂缺陷圖像數據信息，清晰地展示葉片上的開裂缺陷。

由于圖像像素具有不連續的特性，因此根據像素的灰度值進行閾值分割，將葉片圖像和背景分隔開，使用最大類間方差法進行閾值分割，計算初始閾值分割兩組像素點的灰度值的方差，可表示為：

σ2=w0w1(μ0-μ1)2

(4)

式中,w0表示葉片像素占比，w1表示背景像素占比，μ0表示葉片像素的平均灰度值，μ1表示背景像素的平均灰度值[14]。

通過式(4)能夠將采集到的葉片開裂缺陷圖像數據信息中信息與背景信息分離出來，這種方法能夠分析雨、雪、霧、雨等惡劣天氣下的圖像信息，這就提高了該研究技術應用的范圍，任意惡劣天氣下所采集到的圖像信息都能夠清楚地將采集到的重要信息分離出來。該研究在分離時，還使用方差最大的閾值進行圖像分割，經過閾值分割后的風機葉片圖像如圖3所示。

圖3 閾值分割后的風機葉片圖像

再通過形態學圖像處理去除圖像中的噪點，膨脹計算和腐蝕計算可表示為：

A⊕B={x,y|(B)xy∩A=φ}

A?B={x,y|(B)xy?A}

(5)

其中：A表示進行運算的圖像元，B表示結構元。開運算通過先腐蝕計算再膨脹計算的方式，閉運算通過先膨脹計算再腐蝕計算的方式，去除葉片圖像中的黑色噪點，將完整的葉片圖像進行分離并去噪[15]，圖像的有效面積可表示為：

(6)

式(6)中，R為有效面積的比例，M×N表示圖像大小，K表示葉片像素點數。當R大于50%時，無人機采集到的風機葉片圖像才能夠保存到系統數據庫中，上傳到深度學習模型中進行計算。

3 基于深度學習算法的葉片缺陷圖像檢測

在對處理后的風電機組葉片圖像的缺陷部分進行識別和檢測時，傳統的神經網絡模型在面對大量數據時無法及時提取圖像信息。本研究采用深度學習算法能夠獲取更深層次的數據信息，在具體計算時，該研究將處理后的風電機組葉片圖像建立為原始數據集，利用深度學習模型自動提取圖像缺陷的特征信息，對圖像中開裂缺陷進行識別和檢測。葉片缺陷圖像檢測過程如圖4所示。

圖4 葉片缺陷圖像檢測過程

為了增加深度學習網絡模型的輸入數據尺度，加入了SPP-Net，SPP-Net是一種可以不用考慮圖像大小，輸出圖像固定長度網絡結構，并且可以做到在圖像變形情況下表現穩定。SPP-net的效果已經在不同的數據集上面得到驗證，速度上比R-CNN快24～102倍。通過這種方法改進了網絡模型能夠直接進行卷積操作，對輸入特征圖的每個通道分別使用一個卷積核，將所有卷積核的輸出再進行拼接，最終輸出特征圖[16]。正常的深度網絡由兩部分組成，卷積部分和全連接部分，要求輸入圖像需要固定size的原因并不是卷積部分而是全連接部分。所以SPP層就作用在最后一層卷積之后，SPP層的輸出就是固定大小。

首先將風機葉片圖像輸出到深度學習網絡模型，通過對圖像的五層卷積操作得到特征圖后在利用PRN網絡篩選特征圖，該方法專門用來提取候選框，在RCNN和Fast RCNN等物體檢測架構中，用來提取候選框的方法通常是Selective Search。然后利用特征圖進行矩形框回歸。網絡模型的分割損失具體表示為：

(7)

CCD=Dk×Dk×M×Df×Df+M×N×Df×Df

(8)

式中，Dk表示單個卷積核尺寸，M表示卷積核數量，M×Df×Df表示輸入特征圖的尺寸，N×Df×Df表示輸出特征圖的尺寸。模型中卷積層輸入向量為X={x1,x2,x3,…,xi}，輸入向量xi的高度為hi、寬度為wi、通道數為ni，卷積層由N個三維濾波器ξi組成[18]，卷積層的運算量高達nini+1k2hiwi。卷積層輸入的向量為Y={y1,y2,y3,…,yi}，輸出向量的的高度為hi+1、寬度為wi+1、通道數為ni+1。經過多層卷積后輸出結果，圖像中的開裂缺陷能夠精準被檢測到，優化了的葉片損傷檢測錯檢、相鄰損傷遮擋檢測效果不佳的問題，并且取得了較好的檢測效果[19-21]。

4 應用測試

4.1 搭建實驗環境

該研究在Windows 10操作系統上搭建實驗仿真環境，采用KERAS和TensorFlow實驗框架，系統客戶端使用的處理器為Intel(R)Core(TM)i7-8750H，顯卡為NVIDIA GeForce GTX 1080。在實驗平臺中安裝ANACONDA環境管理器，集成了常用的Python、Conda、Numpy等函數庫，能夠更好地管理開發環境，搭建深度學習網絡模型[21-22]。

4.2 實驗數據準備

該研究實驗的數據來源為某風力發電廠無人機巡檢拍攝到的部分風機葉片圖像，風機葉片表面具有常見的開裂、腐蝕、涂層脫落等缺陷類型，總共有31 526張圖像。由于采集到的部分圖像的背景信息較為復雜，有些圖像中不包含缺陷部分，需要對圖像進行篩選并刪去無關信息，從大量圖像中挑選出2 000張缺陷特征明顯，有效面積超過30%的圖像作為實驗的原始數據集。原始數據集參數如表1所示。

表1 原始數據集參數

通過CreatePolygons對葉片圖像繪制標注框，標注對應的缺陷類型，將圖像和標準信息共同保存未json文件，將所有的樣本圖像存儲在實驗文件夾下。葉片圖像缺陷標注界面如圖5所示。

圖5 葉片圖像缺陷標注界面

4.3 實驗測試

為驗證該研究系統的性能，分別使用文獻[3]系統、文獻[4]系統和該研究系統進行實驗。從原始數據集中隨機選取一張風電機組葉片圖像，經過缺陷標注后作為實驗測試圖像，實驗測試圖像如圖6所示。

圖6 實驗測試圖像

實驗測試圖像中存在較多的背景信息，為增強模型對圖像的識別精度，使用3種系統對實驗測試圖像進行處理，得到圖像增強后的實驗圖像如圖7所示。

圖7 處理后的實驗圖像

文獻[3]系統處理后的實驗測試圖像去除了大部分背景信息，通過明暗反轉的方式增強了風電機組葉片上開裂缺陷的特征，但圖像增強后的畫面對比度過高，失去了葉片表面其他部分的細節信息，仍可能存在較小的缺陷尚未被發現。文獻[4]系統處理后的圖像保留了葉片的全部信息，葉片畫面的對比度明顯增加，但黑色背景圖像和白色葉片圖像中可能存在噪點，圖像的亮度過高導致部分缺陷特征細節丟失[22-23]。

該研究系統去除了葉片圖像的全部背景信息，并對圖像進行閾值分割和校正，得到了更加明顯的開裂缺陷特征，并保證了葉片圖像的明暗變化，根據圖像的像素灰度值變化獲取葉片輪廓，并過濾掉了大部分噪聲，對圖像的處理效果更好，提高了后續缺陷檢測的精度[24-25]。

對原始數據集中的葉片圖像標記完成后，Imagesets文件夾中有200張葉片缺陷圖像，其中包含開裂缺陷、磨損缺陷、脫落缺陷、雷擊缺陷和多類別損失缺陷，將數據分為訓練集、測試集和驗證集，使用訓練集中的數據對深度學習網絡模型進行訓練。使用訓練好的模型進行開裂缺陷識別測試，文獻[3]系統和文獻[3]系統進行對比，將驗證集中的圖像分為6組，識別驗證集中的開裂缺陷圖像數量如圖8所示。

圖8 識別到開裂缺陷圖像數量

對驗證集中每一組實驗圖像進行測試后，該研究系統識別出開裂缺陷圖像的數量最多，深度學習網絡模型的缺陷檢測效果最好，其中識別到第四組的開裂缺陷數量高達50個，第六組的開裂缺陷數為24個。

文獻[3]系統檢測到第一組的圖像的葉片開裂缺陷數最多，最高達到40個，第二組和第六組識別到的缺陷數量低至20個。文獻[4]系統檢測到開裂缺陷數量最高為35個，識別到第六組圖像的缺陷數量最少為18個。文獻[3]系統和文獻[4]系統的對葉片圖像中缺陷的識別精度較低，不能較好地提取出圖像的缺陷特征，受到圖像質量、亮度和對比度的影響較大，圖像過亮或過暗導致葉片缺陷處的信息較少，造成系統對葉片缺陷識別效果不好。

5 結束語

該研究設計出風電機組葉片缺陷檢測系統，使用無人機完成風電機組葉片圖像的采集任務，采用深度學習算法對葉片圖像進行缺陷檢測分析，并在圖像上標注開裂缺陷位置。該研究的創新點在于：

1)對無人機采集到的葉片缺陷圖像進行高精度檢測，采用Tenegrad梯度函數計算圖像的清晰度評價算子，對葉片占比較小的圖像進行灰度化處理，使用最大類間差法進行閾值分割再計算有效面積。

2)建立深度學習網絡模型，使系統自動提取圖像的缺陷特征，引入了SPP-Net網絡直接進行卷積再進行特征映射，加快了圖像數據處理速度，提高了模型的檢測效率。

該研究仍存在一些不足之處還需進一步改進，系統僅對風機葉片的開裂缺陷進行檢測，在后續研究中考慮增加系統的風機葉片缺陷數據集，對葉片上的更多類型的缺陷進行檢測。