基于深度學習的線圈炮缺陷自動檢測與分類

田浩杰，楊曉慶，翟曉雨

（四川大學電子信息學院，成都 610065）

0 引言

電磁武器系統現在已經成為衡量國家軍事實力的重要基礎之一，其中線圈炮又是電磁武器中一個重要的分支。線圈炮工作時的峰值電流常常會達到幾千甚至上萬安培，這不僅會使炮體溫度迅速上升，還會產生巨大的電磁應力，長時間的使用會形成很多種燒蝕疵病，這些疵病的產生會導致武器使用效能下降，運行安全性降低，服役壽命減少等諸多問題。《GJB2977A-2006火炮靜態檢測方法》軍用標準將武器系統的疵病按類別和損傷等級分為14大類和50余小類，疵病的復雜程度為金屬管道內壁疵病的識別和分類帶來了困難。如何高速、精準、自動化地對各種燒蝕疵病進行分類識別是當前研究的關鍵。

傳統的疵病檢測與識別方法一般有三種：一是由有經驗的技術人員采用光學窺腔儀等設備直接觀察，并對觀察到的區域進行分析和判斷的人工檢測方法；二是采用基于“疵病目標分割提取-人工疵病特征提取-人工特征描述計算”的統計學檢測方法；三是采用如BP神經網絡、支持向量機的“淺層網絡識別”的檢測方法。然而上述方法都存在著種種弊端：“人工檢測方法”僅能實現單人的定性觀察，無法進行定量測量，且會受到主觀因素影響，易發生漏檢和誤判的情況；“基于特征提取的統計學檢測方法”依賴于人工特征的提取，由于環境復雜，疵病種類多，不同疵病之間有很大的相似之處，人工特征的有效描述和準確選取是很困難的，很大程度上依靠個人經驗，不利于疵病的客觀評定；“基于淺層網絡識別的檢測方法”通常依賴于特征篩選和特征提取算法的設計，特別是對于復雜場景下獲取的原始數據，由于特征向量間的區分性不強，導致檢測結果不佳。

作為近年來圖像識別領域的研究熱點，卷積神經網絡被廣泛應用于模式識別領域。卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。卷積神經網絡具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類。卷積神經網絡由輸入層、卷積層、池化層、全連接層以及輸出層構成，作為一個多層神經網絡，它具有局部連接、權重共享、合并池化及多層結構這四個核心特征，實現了圖像的位移、縮放和扭曲不變性。相比于傳統的疵病檢測方式，卷積神經網絡只需要少量的圖像預處理且不需要人工提取疵病特征，通過直接將圖像作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程，并表現出極強的學習能力和計算準確性，具有應用到武器缺陷分類識別的潛力。

為了實現快速、準確地對線圈炮的各種燒蝕疵病進行自動化、智能化分類識別進而對武器工作效能及運行安全性做出有效評估，本文首先采用雙邊濾波算法進行圖像增強，為后續流程提供高質量圖片，同時基于單樣本幾何變換的數據增強策略擴充樣本數量，提高模型的適應性，然后比較了三種經典卷積神經網絡的分類能力，引入類激活熱力圖進行可視化，最后開發了可以根據缺陷圖像學習訓練并分類識別的自動化軟件，大大提高了檢測效率。

1 數據處理

1.1 獲取數據集

本文前期共獲得四種典型的金屬管道內壁的燒蝕疵病圖像共120張，分別為碎屑、磨損、裂紋和掛銅各30張，每張圖像的大小為50×50。為了進一步擴展缺陷種類，收集了東北大學熱軋鋼帶表面缺陷數據集，其中有夾雜、劃痕、氧化、開裂、麻點和斑塊共六種缺陷，每種缺陷各300張，每張圖像的大小為200×200。統一將圖像大小調整為50×50，共計十種缺陷圖像如圖1所示。

圖1 金屬管道內壁缺陷圖像

1.2 圖像增強和數據增強

由于實際成像過程中受到各種噪聲的影響，利用具有保護圖像邊緣信息能力的雙邊濾波算法提高圖像質量并降低檢測效果受環境光照不均等各種噪聲的影響。

雙邊濾波器是在高斯濾波器的基礎上改進而來的。高斯濾波器因為對圖像所有區域的濾波效果都是一樣的，所以不能突出像素變化大的區域，而雙邊濾波器通過修改高斯濾波器的權值可以使鄰域點和中心點像素變化較大的區域保持梯度，變化較小的區域實現高斯濾波的效果。其數學公式可以總結如下：

其中是權重，和是像素索引，是歸一化常數，是像素的強度值，σ為高斯函數的標準差。增強后的圖像如圖2所示。

圖2 圖像增強

由于樣本數量通常與識別魯棒性呈正相關，所以為了減少過擬合現象，提高模型泛化能力，對初始的四種缺陷圖像進行數據增強，采用隨機裁剪、中心裁剪、水平翻轉、垂直翻轉的方式將圖像數量由120張擴充為600張（示例見圖3），最后一共獲得2400張圖像，為后續構建具有強泛化能力的高精度分類模型提供數據支撐。

圖3 數據增強

2 缺陷分類

將上文中建立的數據集的80%作為訓練集（1920張），剩下的20%作為測試集（480張），樣本數據分布如表1所示。分類模型選用三種經典的基于深度卷積神經網絡的分類模型，包括Alexnet、VGG16和Resnet18。

表1 樣本數據分布

實驗的硬件環境如下：CPU為AMD 3600，內存為16G。軟件環境如下：Pytorch為深度學習框架，Python作為開發語言，Pycharm作為編程環境。

表2為三種分類模型對不同種類缺陷的識別準確率，可以看出三種模型對不同種類的缺陷識別準確率存在一些差異，但基本都達到了90%以上。表3為三種模型的性能指標對比。從表3中可以看出，Alexnet和Resnet分別在平均類識別率和單張圖像缺陷檢出率上最高，但與另外兩個模型差別不大。在480張圖像的預測總時間上，Alexnet遠遠優于VGG和Resnet，單張圖像的預測時間僅為0.00067秒。綜合來看，Alexnet的性能最優，后續編寫桌面交互軟件將以Alexnet為算法核心。

表2 不同種類缺陷識別準確率

表3 不同模型的性能指標

3 類激活熱力圖

采用上述的卷積神經網絡已經達到了較好的分類效果，但是模型判斷缺陷的方式不直觀，不能確定哪些像素對結果的影響更大。為了解決這一問題，本文引入梯度加權類激活熱力圖（Gradient-weighted Class Activation Map，Grad-CAM）來表征每個像素在該類別圖像上的重要程度，可以更直觀的展示模型在提取圖像特征時敏感度更高的區域是否為缺陷所在的區域，從而判斷是否出現過擬合現象。

圖4所示為十種缺陷圖像的Grad-CAM可視化結果，從圖中可以看出模型提取的每張圖像的特征區域基本都在缺陷所在區域，這表明模型具有一定的泛化能力，沒有出現過擬合現象。但是當一張圖像中存在多個相同缺陷時顯示效果有所下降，不過不影響顯示網絡最敏感的區域。

圖4 Grad-CAM可視化結果

4 自動化軟件

為了提高缺陷檢測的效率，更方便快捷地對線圈炮金屬管道內壁的各種燒蝕疵病進行自動化、智能化分類識別，利用C#語言在.Net框架下開發了自動化軟件，可以實現自定義訓練模型、批量缺陷識別、數據后處理等功能。圖5所示為軟件訓練模型和驗證樣本的界面，相比于在代碼層面完成模型訓練與樣本驗證等工作，通過該軟件可以更簡單高效地實現。

圖5 軟件界面

5 結語

本文重點研究了基于深度學習的線圈炮缺陷自動識別與分類方法。針對實際成像過程易受噪聲影響的問題，利用雙邊濾波算法對數據集進行了圖像增強。針對樣本數量少的問題，通過單樣本幾何變換的方式實現了數據增強。之后比較了三種經典的卷積神經網絡分類模型的性能，三個模型在分類精度上差別不大，但在預測時間上Alexnet遠遠優于另外兩個模型；同時為了更直觀地觀察模型是否更多關注缺陷區域，引入Grad-CAM來顯示模型對每類缺陷圖像的敏感區域。為了提高缺陷檢測的效率，專門開發可以根據缺陷圖像學習訓練并分類識別的自動化軟件，可以大大降低人力和時間成本，保障設備安全可靠運行。然而線圈炮缺陷檢測難度相對較大，檢測類別和精度還需進一步提升，并且圖像的采集還沒有自動化，使得樣本數量較少，未來我們將結合現有的研究基礎控制攝像頭進一步實現缺陷圖像的自動采集。