基于輕量級網絡的飛機蜂窩結構積水缺陷檢測

徐 方，劉文波，汪榮華，滕子煜

(1.南京航空航天大學 自動化學院，南京 211106；2.高速載運設施的無損檢測監控技術工業和信息化部重點實驗室，南京 211106；3.國營蕪湖機械廠，安徽 蕪湖 241000)

0 引言

蜂窩夾層結構是航空器結構中最理想、結構效率最高的形式之一。蜂窩夾層結構復合材料由蜂窩芯、面板和膠粘劑組成，具有質量輕、比強度和比剛度高、導熱系數低、抗失穩能力強、耐疲勞老化、吸音隔音等優點，已廣泛應用于軍用和民用飛機機身、機翼、尾翼、方向舵、雷達罩、地板等結構[1-3]。如F-35飛機的襟、副翼、平尾前緣、垂尾邊緣、方向舵等均采用了蜂窩夾層結構[2]，空中客機公司A380飛機上蜂窩夾層結構復合材料的用量達4 000 m2，中國商飛公司C919大型客機艙門、客貨艙、地板等結構使用了蜂窩夾層結構材料。

隨著飛機服役年限的增加，蜂窩結構在工作載荷作用下密封性下降，工作環境中的雨水、漏水、冷凝水等滲漏其中，造成積水缺陷。蜂窩芯格積水不僅破壞飛機載荷平衡，還會進一步引起蜂窩結構脫膠、內部腐蝕、結冰脹裂、結構強度降低等問題，危及飛行安全[4]。因此，在飛機日常檢修和定期大修期間，檢測蜂窩結構積水是一項必要且十分重要的工作。

針對飛機蜂窩結構積水缺陷無損檢測，國內外開展了一系列研究[4-7]，按照數據采集方法的不同，蜂窩夾層積水缺陷無損檢測方法大致可分為：超聲法、微波平板波導法、介電常數調制法、紅外法、微波法、全息雷達法、激光錯位散斑法、X射線成像法[8-13]。超聲檢測蜂窩積水信噪比低；紅外熱成像檢測技術容易受加熱不均勻、蜂窩夾層結構表面反射率及表面形狀的影響，檢測能力受到一定限制；由于探測波長的限制，平行平板波導法和微波全息雷達成像法只適用于特定材質的蜂窩夾層結構復合材料；介電常數調制法需要對儀器輸出的一維電壓信號進行分析來推測待測樣件積水情況，當蜂窩芯格內的積水深度低于2 mm時，介電常數調制法不能檢測出該缺陷。

X射線成像技術具有檢測效率高、非接觸、無需耦合、顯示結果直觀、不受限于被測樣件材料等優點，數字X射線成像(DR，digital radiography)相較于傳統膠片成像具有分辨率高，動態范圍大、信噪比高、X射線曝光劑量低檢測結果直觀等優點[4，14]，適合用于檢測蜂窩結構復合材料內部的積水缺陷。對于DR設備采集的高質量圖像，目前的研究者仍然依靠目視X射線圖像的方法確定蜂窩結構內部是否存在積水缺陷[15-17]。依靠人工目視的方法效率低、耗費時間長、自動化程度低。

對于蜂窩結構DR圖像，基于圖像處理和統計學習的傳統缺陷檢測方法需要依靠設計者的先驗知識，根據特定的數據類型和領域特性設計選取圖像的形狀、紋理、顏色等底層視覺特征或尺度不變特征變換[18]、局部二值模式[19]、方向梯度直方圖[20]等局部不變特征，人工設計選取特征十分困難且耗費時間。近年來，隨著深度學習在計算機視覺應用領域不斷取得成功，人們開始尋求將深度學習用于工業缺陷檢測，并逐漸發展為工業缺陷檢測領域的主流方法。相較于基于圖像處理與統計學習的傳統方法，卷積神經網絡(CNN，convolutional neural network)無需手工設計特征，而是依靠強大的特征提取能力和對高維特征的表征能力自動學習人類難以設計的特征，更加適合用于處理復雜的工業圖像數據[21-22]。

現有的卷積神經網絡具有參數量較大、難以部署在移動或嵌入式設備的局限性。本文提出一種用于篩選檢測蜂窩結構中積水缺陷的輕量型卷積神經網絡，可用于飛機蜂窩結構件無損檢測的工業檢修場景，提升蜂窩積水檢測的準確率、效率和自動化程度。也可在漏檢后果嚴重的檢修場景下作為一項輔助或檢驗技術。

1 輕量級網絡SE-IR LCNN設計基礎

1.1 可分離卷積

卷積層是卷積神經網絡的基本運算單元，從輸入數據中提取抽象的特征信息。卷積運算是構建卷積層的基礎。在數學上，卷積運算是對兩個實變函數乘積的一種特殊積分形式，一維連續函數x(t)、w(t)的卷積s(t)定義為：

(1)

常規卷積即標準卷積(Std Conv，standard convolutional)。如圖1(a)所示，對輸入的三通道圖像，預設輸出通道數為4即輸出特征層包含4個特征圖時，常規卷積層中包含4個卷積塊，每塊由3個大小為3×3的卷積核堆疊構成。常規卷積層的參數量Nstd為：

圖1 常規卷積與可分離卷積組成示意圖

Nstd=4×3×3×3=108

(2)

可分離卷積由Google于2017年提出[23]，核心思想是將一個完整的卷積運算分解為兩步進行，分別為深度卷積(DW Conv，depthwise convolution)和逐點卷積(PW Conv，pointwise convolution)。

DW Conv對輸入特征層的每個通道單獨進行卷積操作，輸出特征層通道數與輸入特征層通道數相同。DW Conv卷積層中卷積塊的數量與輸入特征層相同，如圖1(b)所示，DW Conv卷積層的參數量Ndw為：

Ndw=3×3×3=27

(3)

DW Conv單獨對輸入特征層的每個通道進行處理，未能有效利用不同特征圖在相同空間位置上的信息，因此需要進一步使用PW Conv將輸出的特征圖進行組合生成新的特征圖。

PW Conv卷積層中的每個卷積塊由n個1×1卷積核堆疊構成，n為PW Conv輸入特征層的通道數。如圖(b)所示，PW Conv將DW Conv輸出的特征圖在深度方向上進行加權組合，生成新的特征圖。PW Conv卷積層的參數量Npw為：

Npw=1×1×3×4=12

(4)

可分離卷積的總參數量Nseparable為：

Nseparable=Ndw+Npw=39

(5)

當輸入圖像相同，輸出特征層中都含有4張特征圖時，可分離卷積的參數量約為常規卷積的1/3，當限制卷積神經網絡的參數量時，使用可分離卷積可以將網絡層數做的更深，從而提升卷積神經網絡的性能。為了達到神經網絡的輕量化效果，便于部署在工業缺陷檢測過程中使用的移動和嵌入式設備等算力較低的設備上，本文使用可分離卷積搭建網路。

1.2 倒殘差結構

殘差結構由微軟實驗室于2015年發表的Resnet論文中提出[24]，倒殘差結構由谷歌團隊于2018年發表的MobilenetV2論文中提出[25]。倒殘差結構與殘差結構的不同之處主要體現在3個方面：一是特征維度變化過程不同，二是采用的特征提取卷積形式不同，三是使用的激活函數不同。

如圖2(a)所示，殘差結構先通過先使用1×1的PW Conv實現降維，再使用3×3 Std Conv提取特征，最后使用1×1的PW Conv升維，使輸出特征通道數與輸入特征通道數保持一致。如圖2(b)所示，殘差結構運算過程中，特征通道數即特征維度的變化過程呈現出一個兩頭大、中間小的沙漏型結構。圖2(c)中，倒殘差結構先使用1×1的PW Conv對特征進行升維，再使用3×3的DW Conv提取特征，最后使用1×1的PW Conv降維。使輸出特征通道數與輸入特征通道數保持一致。如圖2(d)所示，倒殘差結構運算過程中，通道數即特征維度的變化過程呈現出一個兩頭小、中間大的梭型結構。

圖2 殘差結構和倒殘差結構示意圖

DW Conv中卷積塊的數量取決于輸入特征的通道數，無法進行改變。倒殘差結構中使用PW Conv升維擴充了通道數，使DW Conv能夠在高維空間上提取更多的信息，達到更好的訓練效果。

殘差結構中統一采用ReLu激活函數，倒殘差結構中，升維和特征提取后采用ReLu6激活函數，降維后采用線性激活函數。ReLu的輸出范圍是零到正無窮，當不對其輸出范圍作出限制時，低精度16位浮點數無法精確描述其數值，帶來精度損失。ReLu6激活函數的輸出上界為6，可以保證移動端設備在float16低精度情況下，也能夠保有有很好的數值分辨率。

1.3 通道注意力機制

通道注意力網絡(SENet，squeeze and excitation network)由Momenta公司所屬團隊于2017年提出[26]，并斬獲當年ImageNet比賽中圖像分類任務的冠軍。SENet的核心為通道注意力模塊(SE，sequeeze and excitation block)。SE不是一個完整的卷積神經網絡結構，而是一個子模塊，可以嵌入到分類或檢測模型中。

SE的核心思想是通過網絡學習并調整每個特征通道的重要程度，提高有用的特征圖的權重、降低無效的特征圖的權重從而使模型達到更好的訓練效果。SE由壓縮、注意力和重標定三部分組成，SE原理如圖3所示。壓縮階段，使用全局均值池化由大小為C×H×W的特征層得到大小為1×1×C的具有全局感受野的特征圖；注意力階段，首先生成每個特征通道的權重，然后使用參數W顯式地建模特征通道間的相關性；重標定階段，將注意力階段輸出的各通道權重，通過乘法逐通道加權到各特征通道上，完成對特征圖的重標定。

圖3 注意力機制原理示意圖

圖中，Ftr(·，θ)為標準卷積；壓縮階段由全局均值池化(GAP，global average pooling)算法實現GAP對每個通道的二維圖像做平均，將H×W×C2的輸入轉換為1×1×C2的輸出，獲取C2個特征圖的全局信息。Squeeze過程的數學表達式為：

(6)

式中，uc表示U中的第c個特征圖。

注意力階段依次通過全連接層(FC，fully connected neural network)FC1、ReLu激活函數、全連接層FC2、Sigmoid激活函數獲取特征圖權重。注意力階段的數學表達式為：

sc=Fex(z，W)=σ(g(z，W))=σ(W2δ(W1z))

(7)

式中，sc為U中C2個特征圖的權重，s的維度為1×1×C2。W1、W2為兩個全連接層。W1、W2的維度為：

DW1=C2/r*C2

(8)

DW2=C2*C2/r

(9)

式中，r是為了減少通道數從而降低參數量的縮放參數，取r=16。

對于U中的第c個特征圖，重標定過程將二維特征圖uc與其權重sc進行融合，即對uc中的每個值乘以sc，從而對特征圖進行重標定。重標定過程的數學表達式為：

(10)

2 融合注意力機制的倒殘差模塊設計

2.1 融合注意力機制的倒殘差模塊式設計

為了滿足飛機蜂窩結構積水缺陷工業檢修環境中對檢測效率的要求，適應檢測場景中的較低算力的移動或嵌入式設備，盡可能地在保證檢測精度的同時減小卷積神經網絡的參數量。本文設計了一種融合通道注意力和倒殘差算法的模塊SE-IR(sequeeze and excitation-inverted residual module)。SE-IR的組成結構如圖4所示。

圖4 SE-IR模塊組成結構示意圖

使用的激活函數的數學表達式如表1所示。

表1 SE-IR中使用的激活函數

2.2 基于SE-IR的輕量級網絡設計

設計了一種基于SE-IR模塊的輕量級卷積神經網絡SE-IR LCNN(lightweight convolutional neural network base on SE-IR)。

SE-IR LCNN的組成如圖5所示，網絡結構中共含有5個卷積層，1個池化層，1個輸出層。輸入圖像是大小為224×224的三通道圖像，首先經過3×3標準卷積層Conv1，步長為2，對輸入圖像進行降采樣；Conv2由2個SE-IR模塊連接組成，步長為1；Conv3、 Conv4、Conv5均由3個SE-IR模塊連接組成，步長為2。輸入圖像經過卷積層提取特征后輸出特征圖尺寸為7×7，通道數為256，通過池化層的自適應均值池化投影到歸一化指數函數softmax層，將分類結果以概率形式輸出，實現對含有積水缺陷的蜂窩結構圖像的篩選。

圖5 SE-IR LCNN組成示意圖

3 實驗與分析

3.1 實驗數據獲取

由于沒有飛機蜂窩結構X射線圖像公開數據集，本文以主要材料為蜂窩結構的某型飛機方向舵作為檢測對象開展實驗研究。該方向舵中蜂窩結構復合材料的上下蒙皮材質為碳纖維，蜂窩芯材為正六邊形芳綸紙蜂窩，外形尺寸約為2 900 mm×1 000 mm。

X射線是電磁輻射的一種形式，在電磁波譜中處于高頻位置。大多數X射線的波長范圍在0.01～10 nm之間，對應的頻率范圍30 PHz～30 EHz之間。X射線的能量通常在100 eV～100 keV之間，光子能量超過10 keV的射線稱為硬X射線，否則稱為軟X射線。X射線在真空中以光速傳播，不受電場、磁場的影響；X射線具有很強的穿透性，在媒介中沿直線傳播；X射線具有感光性和熒光性，可使照相底片感光、使某些物質發出熒光；X射線在媒介表面可發生反射、折射，對于常見媒介，折射率接近于1。X射線無損檢測技術是X射線直線性、穿透性、感光性或熒光性的應用。

X射線無損檢測的物理基礎是X射線在被照射物體中由于散射和吸收產生的能量衰減變化。物理實驗表明，當一束射線在均勻介質中傳播時，在很小的厚度范圍內強度的衰減量與入射射線強度和穿透介質的厚度成正比[27]，即：

I=I0e-μH

(11)

式中，I0為入射線強度；I為透射射線強度；μ為射線的線衰減系數(cm-1)；H為射線穿透介質的厚度。

如圖6所示，當被檢測樣件內部存在一個很小的缺陷區時，檢測樣件在射線透射方向的厚度差與物質對比度之間的關系如式(12)所示：

圖6 X射線缺陷檢測原理示意圖

(12)

式中，I為均勻區域透射線強度，I′為缺陷區域透射線強度；μ為檢測構件的線衰減系數，μ′為缺陷區域線衰減系數；H為檢測構件厚度，ΔH為缺陷區域厚度，且通常有ΔH?H；n為均勻區域和缺陷區域對射線的散射比。

X射線對缺陷的檢測能力與缺陷在缺陷透照方向上的尺寸、缺陷區域與均勻區域線衰減系數的差異和散射線的控制有關。當飛機蜂窩結構復合材料存在積水缺陷時，X射線透射后會產生一定的物體對比度，并在探測器上產生一定灰度對比度，從而達到檢測積水缺陷的目的。基于上述原理，只要蜂窩結構中積水缺陷造成的物質對比度可以達到探測器和圖像顯示器可分辨的灰度極差，即可在X射線圖像中顯示出該缺陷。

DR是一種直接數字射線檢測方法，具有圖像質量好、圖像分辨率高、檢測效率高，檢測結果便于存儲傳輸等優點。如圖7所示，本文使用的DR系統主要由射線機、探測器、顯示器、通訊線纜組成。

圖7 DR檢測系統示意圖

本文開展實驗使用的DR檢測系統中，射線機使用美國GE公司的ERESCO 160MF4-R便攜式軟射線機，其射線管材質為金屬陶瓷、陽極材料為塢(W)。探測器使用以色列NOVO公司的NOVO-22WN便攜式非晶硅平板面陣探測器，其閃爍體材質為硫氧化釓(GOS)。從檢測對象中透射出的X射線通過非晶硅閃爍體時，閃爍體上的硫氧化釓涂層在X射線的作用下產生熒光，熒光被光電二極管收集后產生電信號，最終通過薄膜晶體管陣列轉換為數字圖像輸出。DR檢測系統的主要部件參數如表2所示。

表2 DR檢測系統部件主要參數

參考無損檢測X射線數字成像檢測方法相關標準[28]，實驗過程中DR檢測系統的主要參數為電壓38 kV、電流5 mA、積分時間2.0 s、焦距1 400 mm、雙絲IQI≥D6。

采集的飛機方向舵DR圖像如圖8所示，為RGB三通道彩色圖像，分辨率為2 878×2 352，水平和豎直分辨率均為172 dpi，位深度為24。積水缺陷在DR圖像上呈現為不規則的明亮區域。經過簡單預處理后將獲取的DR圖像隨機剪裁為224×224大小，實驗數據集中共3 000張圖像。

圖8 方向舵蜂窩結構DR圖像

3.2 實驗環境配置

本文基于PyTorch 1.10.2深度學習框架開展實驗，程序運行環境為Windows 10操作系統，編譯器為Python 3.6.13，CUDA版本為CUDA 11.2，cuDNN版本為cuDNN 8.1.1。

硬件平臺的處理器為內存16 GB的AMD Ryzen 7 5800U，顯卡為內存4 GB的NVIDIA GeForce RTX3050。

3.3 評價指標

對卷積神經網絡分類任務模型性能的評價需要借助的混淆矩陣，真正例(TP，true positive)表示網絡模型預測為正且真實情況為正，假正例(FP，false positive)表示網絡模型預測為正真實情況為反，假反例(FN，false negative)表示網絡模型預測為反且真實情況為正，真反例(TN，true negative)表示網絡模型預測為反且真實情況為反。準確率是指網絡模型預測結果中正確的比例，準確率值越高，表示模型的效果越好。借助混淆矩陣，模型準確率的計算公式為：

(13)

參數量是網絡空間復雜度的衡量標準，參數量越小，網絡運行過程中占用內存空間越小，網絡越輕量化。

3.4 實驗結果與分析

以3：1：1的比例劃分訓練集、驗證集和測試集，初始學習率設置為0.001，批大小設置為4，訓練150個epoch。網絡訓練過程中的訓練損失和驗證準確率的變線如圖9所示。

圖9 模型性能曲線

由訓練損失曲線可知，在經過20次迭代后，訓練損失開始收斂、趨于穩定，經過100次迭代后，訓練損失達到穩定，說明所提網絡模型運行正常且達到非常好的擬合效果。由驗證準確率曲線可知，在20次迭代以內，網絡即可達到較高的驗證準確率，體現了所提網絡模型的有效性。

為了定量比較本文網絡與研究領域內常見網絡，使用準確率和參數量來衡量網絡的綜合性能。為了保證實驗結果的有效性，在所有網絡訓練時設置相同的參數，使用同一硬件平臺在相同軟件環境下開展實驗，數據集均采用本文采集并制作的蜂窩結構DR數據集。實驗結果如表3所示。

表3 不同網絡性能比較

從表3可以看出，ResNet-DTL網絡達到了最高的準確率99.46%，但參數量是本文網絡的9.57倍。相較于研究領域內代表性的網絡ResNet-50，本文網絡的準確率提高了9.6%，參數量僅為ResNet-50的4.33%；相較于VGG16網絡，本文網絡的準確率提高了3.66%，參數量則減小了55.64倍。同樣使用可分離卷積的MobileNet網絡參數量與本文網絡最為接近，參數量為本文算法的2.75倍，但準確率相較于本文網絡降低了6.74%。綜上表明，本文算法在飛機蜂窩結構積水缺陷檢測任務中表現較佳，在保證高準確率的同時，大大地降低了參數量，減輕了網絡運行過程中硬件環境的負擔，便于嵌入在實際檢修場景中算力有限的設備中。

4 結束語

本文提出了一種融合倒殘差結構和通道注意力機制的輕量化卷積神經網絡，即SE-IR LCNN，對飛機蜂窩結構中的積水缺陷進行檢測。該網絡能夠達到較高的準確率、較為符合飛機檢修低漏檢率的要求，且能在不影響檢測準確率的同時顯著減少網絡參數量，更適合移植到飛機檢修場景中經常使用的移動或嵌入式設備等算力有限的硬件平臺中。本文提出的網絡可以用于提高飛機蜂窩積水無損檢測過程中的檢測效率和自動化程度，也可在仍然以人工為主的檢測過程中作為一項輔助技術。