基于深度學習的發動機葉片故障檢測技術

張 靜 ，農昌瑞 張海兵 ，張亞周

（海軍航空大學航空基礎學院1，岸防兵學院2：山東 煙臺 264001，青島校區3：山東 青島 266041）

0 引言

航空發動機葉片的工作環境非常惡劣，在工作過程中極易產生裂紋，在飛行過程中易因外來物撞擊而被打傷，導致缺口損傷（缺損）等故障，因此，發動機葉片的狀態在很大程度上影響著航空發動機的整體性能。

航空發動機葉片的故障檢測常采用無損檢測技術。李華等針對航空發動機的自主檢測技術，利用樣條插值方法實現對特征點的精確提??；江海軍等針對傳統故障檢測的效率以及精度問題，設計研發了超聲波裂紋檢測系統；李浩針對裂紋的識別與定位精度問題，建立了新型圖像識別方法，在識別能力與定位精度方面均取得較大進步；張治衡針對裂紋的識別監測技術，探索了一種聲發射技術，開辟了裂紋監測與識別的新途徑，并且提高了識別精度；宋強等針對裂紋檢測算法的效率以及精度問題，提出了一種滲透檢測算法，在裂紋檢測的精度以及收斂速度上均取得很大進展。以上方法相比于傳統的檢測方法均取得了較好的檢測效果，但在高效化、智能化等方面存在不足，發動機葉片裂紋檢測難以批量化。而基于深度學習理論的檢測方法，如基于卷積神經網絡的目標檢測方法是一種高效、智能化的檢測方法。

目前，深度學習是人工智能領域的研究熱點，特別是在目標檢測識別等任務中取得了非常顯著的成果。但是深度學習在目標檢測中需要依賴大樣本數據集才能獲得較好的檢測效果，而在實際應用中收集到的發動機葉片故障圖像數據十分有限，訓練效果不太理想。此外，為提高目標檢測的精度，一般的目標檢測算法都采用較深的網絡結構，但是在精度提高的同時，訓練與檢測過程耗時也有所增加。所以迫切需要一種針對小樣本數據集的深度學習檢測方法。

為此，本文通過引入Res2Net多層級殘差單元并集成到ResNet-50 結構中，提出一種多尺度殘差網絡結構Res2Net-50，并將其作為主干特征提取網絡集成到Faster R-CNN 目標檢測算法中；同時，利用多次余弦退火衰減法對訓練過程中學習率進行調整。

1 Faster R-CNN算法原理

Faster R-CNN 是任 少卿等在Fast R-CNN 基礎上改進的目標檢測算法，網絡結構主要包括特征提取網絡、區域推薦網絡（Region Proposal Network，RPN）和Fast R-CNN 目標檢測網絡3 部分，算法檢測流程如圖1所示。

圖1 Faster R-CNN算法檢測流程

1.1 特征提取網絡

特征提取網絡主要通過卷積神經網絡實現圖像的特征提取。其中，卷積層通過權值共享的方法實現對網絡訓練參數與訓練時間的優化，降低了網絡的訓練成本。針對小樣本數據集，在圖像輸入網絡之前，采用拉伸變換、加噪聲、增加對比度等圖像增強手段對數據集進行樣本擴充，保證網絡的訓練效果。

為提升網絡的訓練效果，在輸入網絡前需要對不同尺寸的圖像進行尺寸調整，隨后進入多層卷積層與池化層進行卷積與池化操作，提取輸入圖像的深度特征并輸出特征圖，后續的RPN 網絡與Fast R-CNN 網絡均共享該特征圖。特征提取網絡是Faster R-CNN的主干網絡，常用的有VGG、ResNet、Xception等。

本文對ResNet-50 殘差網絡結構進行改進，通過Conv Block 和Identity Block 2 個基本塊來改變網絡的維度和深度，在一定程度上克服了傳統網絡深度加大導致學習效率降低的問題。

1.2 區域推薦網絡

RPN 網絡結構如圖2 所示。RPN 網絡主要用于推薦候選區域，其輸入是特征提取網絡輸出的特征圖，經過卷積層與全連接層的操作，輸出1 組區域推薦候選框（建議框）。

圖2 RPN網絡結構

RPN在輸入的特征圖映射上滑動窗口，每個滑動窗口分別對應9 個先驗框（Anchors），這些先驗框由3種尺寸（128×128、256×256、512×512）和3種比例（1∶1、1∶2、2∶1）的長寬比組成?；瑒哟翱谠诨瑒舆^程中實現對特征圖的降維，將其映射成相應的低維特征向量，作為邊界框分類層（cls）和邊界框回歸層（reg）的輸入。cls通過softmax函數實現背景區域與目標區域判定，reg用于計算并返回坐標參數（相對于真實框的偏移）。

在RPN 網絡訓練過程中，依據先驗框與真實邊界框區域的交并比（Intersection over Union，IoU）給每個先驗框分配標簽，遵循以下原則：

（1）IoU 最大值或者IoU 值超過0.7 對應的先驗框，定義為正標簽。

（2）IoU值低于0.3的先驗框，定義為負標簽。

對先驗框定義正負標簽的目的是為了提高網絡的訓練效果。對定義之后的先驗框，需要最小化目標函數的任務損失，圖像的損失函數定義為

式中：為先驗框的索引序號；p為第個先驗框判斷為目標的預測概率；若標簽為正，p=1，反之p=0；t為預測邊界框的4 個坐標參數；t為標簽為正的先驗框對應真實框的4 個坐標參數；和為損失函數的歸一化參數；和分別為分類損失函數和回歸損失函數

式中：為魯棒性的損失函數

4 維向量(,,,)表示邊界框，一般采用以下4個坐標參數

式中：(,)、、為預測邊界框的坐標、寬和高；(x,y),w,h為先驗框的坐標、寬和高；(,)、、為真實框的坐標、寬和高。

1.3 Fast R-CNN目標檢測網絡

Fast R-CNN 目標檢測網絡包括1 個感興趣區域（Regions of Interest，ROI）池化層、2 個全連接層，其結構如圖3所示。

圖3 Fast-RCNN結構

ROI 池化層的作用是對公共特征圖和候選框進行固定大小的特征提取，并將輸出的特征向量分類回歸。利用分類層對預測框進行分類并對最終的預測框進行位置調整得到目標檢測的結果。RPN 網絡與Fast R-CNN 網絡共享特征提取網絡的輸出，可以減少卷積層的運算次數，加快網絡的訓練速度。

2 Faster R-CNN算法優化

針對小樣本數據集訓練，本文對特征提取網絡結構進行了優化，通過引入更細粒級的多尺度特征融合方法來提高模型的特征提取能力；同時，對學習率的衰減方法進行改進，采用多次余弦退火衰減法對網絡進行訓練，提高模型的訓練與檢測速度。

2.1 ResNet50網絡結構優化

ResNet 殘差網絡將短連接引入神經網絡，既能加深網絡結構，也能緩解梯度消失問題。在特征提取過程中，短連接允許卷積核的不同組合，從而產生大量等價的特征尺度。ResNet 的殘差網絡單元如圖4 所示。對輸入向量分別進行1 次1×1 卷積、3×3卷積、1×1 卷積，最后與輸入直接進行堆疊相加得到輸出。

圖4 ResNet 殘差網絡單元

小樣本數據集雖然本身數據量較小，但是圖像中目標的特征信息十分豐富，如果能夠充分利用可以有效提高網絡對于小樣本數據集的檢測識別能力，而傳統的殘差結構對于細節特征的提取還可以作進一步的優化，為此，本文引入了一種多層級制的殘差連接優化結構Res2Net，用多層級的3×3 卷積核取代通用的3×3 卷積核，單個殘差塊內的分層殘差類連接，使得單元的輸出在更細粒度的水平上提取細節和全局特征，Res2Net 殘差網絡單元如圖5所示。

圖5 Res2Net殘差網絡單元（s=4）

Res2Net 的網絡單元在第1 個1×1 卷積核后，將輸入劃分為個子集，定義為x,∈{1,2,…,}，每一特征都具有相同的尺度，除了之外的其他子特征都有相應的3×3 卷積核并定義為KO，KO的輸出表示為y，每個子特征x都與K的輸出相加，然后進行KO卷積，為了減少參數量，結構省略了的3×3 卷積核，y可以表示為

Res2Net模塊輸出的感受野在數量與尺寸上的不同組合，構成了多尺度特征。在Res2Net 模塊中，對輸入進行多尺度處理，有利于全局和局部信息的提取。為了更好地融合不同尺度上的信息，將所有的分割集連接起來并通過1×1 卷積。分割和串聯策略可以強化卷積以更有效地處理特征。特征重用可以減少參數量，為此省略了第1 次分割的卷積。使用作為尺度尺寸的控制參數，較大的可能允許學習具有更豐富感受野大小的特征，而由串聯引入的內存開銷可以忽略不計。

Res2Net 模塊的多尺度表示能力與CNNs 的分層特征聚合模型是正交的，可以很容易地將Res2Net 模塊集成到先進的特征提取網絡中，本文將Res2Net 集成到ResNet-50模型中，得到Res2Net-50模型。采用優化后的網絡結構可以提取出發動機葉片故障圖像中更有效的特征信息，從而提高模型的識別能力。

ResNet-50 主干提取網絡改進前后框架的變化如圖6 所示。為了便于展示，省略了一些重復的殘差模塊，模型共分為4大卷積板塊，共有48個卷積層，加上前面1 個7×7 卷積與最后1 個FC 全連接層，一共有50 層，故稱ResNet-50。其中原框圖為ResNet-50 的組成部分，而改進后的Res2Net-50 是將紅色虛線中的單個3×3 卷積替換成3×3 卷積組，其中的數量由尺度尺寸參數控制，進而實現細粒級特征的提取。

圖6 Resnet-50主干提取網絡改進前后框架的變化

2.2 學習率優化

在深度學習的模型訓練過程中，學習率的調整非常重要，較高的學習率可以加快學習速率，同時幫助跳出局部最優值；較低的學習率可以細化模型，提高模型的精度。適當調整學習率可以提高模型的訓練性能。

目前常用的學習率衰減方式有階層性衰減、指數型衰減、余弦退火衰減等。階層性衰減是指訓練過程中loss 值不再繼續降低后，學習率調整為原來的1/2或者1/10，該方法需要較高的初始學習率，否則訓練效果不佳。指數型衰減是指學習率會以指數函數形式降低

余弦退火衰減如圖7 所示。學習率會先升高再降低，升高時為線性升高，降低時模擬余弦函數衰減。對余弦函數進行改進，采用多次余弦退火衰減，前期調整的周期較短，后期調整的周期較長，如圖8所示。

圖7 余弦退火衰減

圖8 改進的余弦退火衰減

優化后的學習率在訓練初期變化速度較快，在后期進行精細化訓練，提高訓練精度，因此變化速度相對較慢。多次余弦退火衰減能夠有效避免陷入局部最優值的情形，使模型的訓練速度有一定的提升。

3 試驗過程

3.1 試驗運行環境

試驗運行的硬件環境配置見表1。軟件環境為：Python、OPENCV、CUDA-10.0.130、Cudnn-7.6.5等，框架使用基于TensorFlow-1.13.0的Keras-2.1.6框架。

表1 試驗硬件環境配置

3.2 數據集的構建

數據集為采集的某型航空發動機葉片故障圖像，共計110 張，包括裂紋與缺損2 種不同的故障類型。在110 張圖像中隨機選取10 張用于測試模型的訓練效果，其余的100張圖像制作成VOC格式的數據集用于網絡訓練。

將制作好的VOC 格式的故障數據集（100 張圖像）按比例進行劃分，選取90%（90 張圖像）的數據作為訓練集，剩余的10%（10張圖像）作為驗證集。

3.3 訓練過程

在訓練過程中載入預先下載好的預訓練權重文件，通過遷移學習的方式提高網絡訓練的效果。將數據集輸入到網絡后，設置迭代次數（epoch）為100，每一步輸入的圖像數據數量（epoch_length）為200。為了提高模型的訓練速度，強化遷移學習能力，將訓練過程分為2個階段：第1階段的epoch 為20個，將特征提取網絡后的結構冰凍，主要對特征提取網絡進行遷移訓練，快速提升特征提取能力；第2階段的epoch 為80 個，此階段進行解凍后模型的細化訓練，以提高模型的訓練精度。

模型訓練主要分為分類訓練和回歸訓練，訓練的損失主要包括RPN網絡和Fast R-CNN 網絡的分類與回歸損失，損失曲線如圖9所示。

圖9 損失曲線對比

從圖中可見，2 個模型的損失（loss）值降低趨勢相似，在前20 個epoch 中，loss 值降低速度很快；在后80個epoch中，loss值降低較慢?；赗esNet-50的模型在訓練過程中loss 值降低的過程浮動比較大，且經過100 個epoch 后降低到1.1 附近。而基于Res2Net-50 模型的loss 值降低的過程明顯比優化前穩定，且loss值降低到0.9附近。通過對比可知，模型loss值降低了18.18%，說明優化后的模型收斂效果更好。

訓練過程中模型準確率曲線對比如圖10 所示。從圖中可見，準確率在提高過程中存在明顯的波動，這是由于數據集中某些圖像的目標特征不突出，導致識別出現偏差，在第20 個epoch 后，準確率得到了很大提高，此后基本保持較小的提高速度，說明模型的精細化訓練確實能夠提高模型的識別能力。從圖中還可見，基于ResNet-50的模型準確率為90.2%，優化的Res2Net-50模型準確率提高到90.9%，提高了0.7%。

圖10 訓練過程中模型準確率曲線對比

4 結果分析

4.1 評估標準

在深度學習中，針對不同的學習任務有不同的評價標準，常用的評價指標有準確率和召回率，合適的評估標準可以有效提高模型的訓練效率。計算出每個類別的精確度（Precision）和召回率（Recall），得到1 條P-R 曲線，曲線下的面積就是檢測精度（Av?erage Precision，AP）。AP值結果如圖11所示。

圖11 AP值結果

對所有類別的AP 值求平均得到平均檢測精度（mean Average Precision，mAP），mAP 是衡量模型精度的重要指標，能夠反映目標分類與預測框的位置是否準確

式中：為模型的mAP 值；為每一類別的AP 值；為類別數量。

4.2 試驗結果對比分析

模型訓練結束后，分別對10 張測試圖像進行檢測，以ResNet-50、Res2Net-50 為特征提取網絡的模型檢測結果分別如圖12、13所示。

圖12 以ResNet-50為特征提取網絡的模型檢測結果

從圖12 中可見，不同故障類型的檢測效果也有所不同，從圖12（a）中可見，2條裂紋只檢測出1條，且檢測結果的置信度較低，同時，檢測的真實框的長度偏長，不能很好地擬合裂紋的邊框；對于缺損故障的檢測效果較好，但是檢測結果的置信度還不足0.90。從圖13 中可見，能夠檢測出圖中所有的裂紋，且裂紋與缺損故障的檢測置信度均優于ResNet-50模型的。

圖13 以Res2Net-50為特征提取網絡的模型檢測結果

模型改進前后的檢測精度與訓練時間的數據對比見表2。基于ResNet-50 模型的缺損故障的值為88.0%，裂紋的值為78.0%，模型的為83.0%，而基于Res2Net 模型的缺損故障的值為90.0%，裂 紋 的值 為79.0%，模 型 的值 為84.5%，優化后的模型值提高了1.8%，訓練時間縮短了5.56%。

表2 模型改進前后指標數據對比

將本文采用的Faster R-CNN 目標檢測算法與現在流行的YOLOv3、SSD目標檢測算法進行比較，其結果見表3。從表中可見，對于裂紋故障，其他2種模型的檢測精度均低于本文模型的；對于缺損故障，3種模型的檢測效果則相差無幾。本文模型在平均檢測精度上也優于其他2 種模型的，驗證了本文模型更適用于發動機葉片的故障檢測。

表3 不同檢測算法的檢測精度對比 %

5 結論

（1）針對小樣本數據集訓練效果不佳和訓練速度慢等問題，引入更具細粒度的多尺度殘差結構Res2Net模型，明顯提高了模型的檢測效果，優化后模型的平均檢測精度提高了1.8%。

（2）改進學習率衰減方法，采用多次余弦衰減，使訓練過程明顯加快，訓練時間縮短了5.56%。

試驗結果證明，改進后的模型在檢測性能上得到了一定的提高。