基于輕量級網絡的鋼鐵表面缺陷分類

史楊瀟，章 軍，陳 鵬，王 兵

（1.安徽大學電氣工程與自動化學院，合肥 230601；2.安徽工業大學電氣信息學院，安徽馬鞍山 243002）

（?通信作者電子郵箱1142752120@qq.com）

0 引言

鋼鐵表面缺陷分類是工業缺陷檢測的關鍵環節。然而，在傳統工業中，這個環節往往是手動執行的。為了取代手工操作，人們希望機器能夠利用計算機視覺技術自動檢測鋼鐵表面缺陷［1］。

由于鋼鐵表面缺陷圖像受到光照和材質變化的影響，并且鋼鐵表面類內缺陷在外觀上存在較大差異，類間缺陷又有相似的方面［2］，利用計算機視覺技術進行缺陷分類，仍然是一個巨大的挑戰。目前的圖像分類方法主要為兩類:傳統機器學習圖像分類算法和基于卷積神經網絡（Convolutional Neural Network，CNN）［3］的深度學習方法。傳統圖像分類算法主要采用特征提取和分類器設計兩大步驟來實現，如K近鄰（K-Nearest Neighbor，KNN）算 法［4］、支持向量機（Support Vector Machine，SVM）［5］以及神經網絡［6］等。在實際缺陷分類應用中會面臨各種復雜的情況，使用傳統的圖像處理方法在準確率上很難達到要求。

近年來，基于深度學習的圖像分類方法取得了很好的效果，例如VGGNet（Visual Geometry Group Network）［7］、ResNet（Residual Network）［8］等。然而，最先進的CNN 需要數十億次浮點運算，這使得它們無法用于移動或嵌入式設備。例如，ResNet-101 的復雜度為7.8×109FLOPs（FLoating-point Operations Per second），即使使用強大的GPU 也無法實現實時檢測。考慮到現代CNN 的巨大計算成本，輕量級神經網絡被提出部署在移動或嵌入式設備上。例如:MobileNetV1［9］和MobileNetV2［10］采用深度可分離卷積來構建輕量級網絡；ShuffleNet［11］采用分組卷積和深度可分離卷積來構建輕量級網絡；SqueezeNet［12］利用核心模塊Fire 壓縮模型參數，減小網絡的深度，降低模型的大小；SENet（Squeeze-and-Excitation Network）［13］提出的SE 模塊是一種輕量級注意力機制，通過學習通道重要性的方式自適應校準特征圖，然而SE模塊只關注了特征圖通道方面的影響而忽略了空間維度的重要性。同時，目前已有研究者進行輕量級網絡應用在缺陷和分類方面的研究，如:姚海明等［14］提出了一種用于實時檢測瓷片表面缺陷的MagnetNet；張琪等［15］提出了一種改進的用于對肝部病理組織進行分類的MobileNet。

輕量級網絡可以在有限的計算預算下獲得相對較高的精度。然而現有輕量級網絡傾向于使用“稀疏連接”卷積，例如深度卷積和群卷積，而不是標準的“完全連接”卷積。這種“稀疏連接”卷積在降低參數量的同時，一定程度上會阻礙組間信息的交換，導致網絡性能下降。而實用的鋼鐵缺陷分類算法需要部署在CPU 甚至嵌入式系統上，因此需要采用一種可以避免組間信息丟失的具有較低計算復雜度，同時具有較高分類準確率的算法。

本文提出了一種新穎的Mix-Fusion 網絡模型，以ShuffleNet 的通道洗牌單元和MENet（Merging-Evolution Network）的融合編碼模塊為核心，構建出具有三個分支的MF（Mix-Fusion）模塊。該模塊通過標準分支保留原有特征；通過降參分支降低計算成本的同時優化了模型精度；通過融合分支避免組間信息的丟失。同時，將該輕量級網絡與混合卷積模塊融合，提高了網絡對于不同分辨率模式的捕獲能力，獲得了更好的模型精度及效率。在NEU-CLS 數據集上進行實驗驗證，通過和其他方法的比較結果可以得出，Mix-Fusion 網絡模型避免了組間信息的丟失，進一步降低了參數量和計算量，顯著提升了分類精度。

1 Mix-Fusion網絡的構建

由于深層神經網絡計算量大、模型容量大，神經網絡的壓縮和加速問題已成為深度學習領域的研究熱點。在嵌入式設備上運行高質量深層神經網絡的需求不斷增加，更是鼓勵了對輕量級網絡模型設計的研究。這些網絡傾向于利用“稀疏連接”卷積，在減小計算成本的同時也會阻礙組間的信息交換。本文借鑒了ShuffleNet 和MENet［16］的思想，并加入 了MixConv［17］卷積模塊，提出了一種Mix-Fusion 網絡。該網絡在分類精度提高的同時，計算成本也有所下降。

1.1 通道洗牌網絡單元

通道洗牌網絡單元（Channel-shuffle）是ShuffleNet 網絡的核心，目的在于解決組卷積阻礙組間信息交換、導致性能下降的問題。如圖1 所示，將3 組原始通道每組再次平均分為3組，用①～⑨表示，通道洗牌操作將9組通道打亂重置，使得第二卷積層中的每個組包含來自第一卷積層中每個組的通道，在一定程度上實現了組間信息的交換。

圖1 通道洗牌網絡單元示意圖Fig.1 Schematic diagram of channel shuffle network unit

然而，當每組通道數為3 時，通道洗牌無法完全避免組間信息的丟失，第二卷積層中的每個組僅從第一卷積層的每個組接收一個通道，導致每個組中其他兩個信道被忽略。因此，大部分組間信息無法利用。這個問題在更多的信道組中會更加嚴重。隨著組數的增加，每組通道數增加，然而第二卷積層接收的通道數仍然保持為1 個，同時每組忽略的通道數量也增加，造成組間信息丟失嚴重，網絡性能大幅下降。

1.2 融合編碼模塊

為了解決組間信息丟失的問題，本文借鑒了MENet 中合并和進化的思想。如圖2 所示，利用一個狹窄的特征映射對組間通道信息進行融合編碼，并對其進行匹配變換后與原始網絡相結合以獲得更具區分性的特征。操作如下:

圖2 融合編碼模塊示意圖Fig.2 Schematic diagram of fusion coding module

1）通道融合。通道融合的目的是將所有通道特征聚合，并對組間信息編碼，形成一個狹窄的特征映射。在組卷積生成的原始特征圖F∈RC×H×W基礎之上，網絡對其進行融合編碼變換TF:RC×H×W→，達到對所有通道的特征進行聚合的目的。其中:C為原始特征圖的通道數；H和W為原始特征圖的寬和高；CM為融合特征圖的通道數。由于C比較大，在不影響計算成本的前提下，很難對空間信息進行集成。因此本文首先利用1×1 單點卷積完成融合編碼變換，將同一空間位置上所有通道的特征聚合起來，同時降低通道數量并進行批處理規范化［18］和ReLU（Rectified Linear Unit）激活。

2）空間變換。由于計算成本的限制，通道融合操作未對空間信息進行集成，因此引入一個標準的3×3 卷積核進行空間變換TS:。空間變換操作能夠在不改變通道數的情況下提取更多的空間信息，之后進行批處理規范化和ReLU激活。

3）匹配變換。為了將處理后的特征圖與原始網絡相結合以獲得更具區分性的特征，網絡對空間特征圖進行匹配變換TM:，之后進行批處理規范化和Sigmoid激活，得到與原始特征圖一樣維度的匹配特征圖。最終，將匹配特征圖作為神經元尺度因子，與原始網絡以元素乘積的方式相結合，進一步提高特征在網絡中的表達能力。在通道融合過程中，1×1 單點卷積操作對于每一個通道的信息都進行了編碼，因此在最終的匹配特征圖中，變換后的通道都包含了來自原始特征圖每一個通道的信息，這避免了卷積過程中組間信息的丟失。

1.3 混合卷積模塊

深度卷積（DepthWise Convolution，DWConv）在現代輕量級網絡中越來越流行，常用的深度卷積將每個通道單獨分為一組進行組卷積，從而極大降低了參數量和計算成本。然而傳統做法都是簡單地使用3×3 卷積核［19］，忽視了卷積核的大小。本文借鑒MixConv 多核結合的思想，使用不同大小組合的卷積核替代深度卷積，大卷積核能夠在一定范圍內提高模型精度，多卷積核則能提高模型在不同分辨率下的適應度。

如圖3 所示，不同于將單個內核應用于所有通道的深度卷積，混合卷積將通道平均劃分為若干組，并對每個組應用不同大小的內核。網絡既需要大卷積核來捕捉高分辨率模式，也需要小卷積核來捕捉低分辨率模式，以獲得更好的模型精度和效率。相較于多分支網絡集中改變神經網絡的宏觀結構以利用不同的卷積運算，如Inception［20］和NASNet［21］，混合卷積在不改變網絡結構的情況下，能夠替換不同大小組合的卷積核以測試模型性能。

圖3 深度卷積和混合卷積原理Fig.3 Principles of deep convolution and mixed convolution

1.4 Mix-Fusion模塊

基于上述單元，本文提出了MF 模塊。MF 模塊由圖4（a）從左至右三個分支組成:標準分支、降參分支和融合分支。標準分支是對原始特征圖的直接映射。降參分支采用“稀疏連接”卷積，它由三層組成:第一層單點群卷積降低了計算成本，之后執行通道洗牌操作以減少組間信息丟失。第二層混合卷積添加在通道洗牌操作之后，利用混合卷積核在不同分辨率下的高適應度獲得更加穩定的特征圖，通過混合卷積中的大卷積核保留更多的特征信息；之后與融合分支處理后的特征圖結合，成為連接降參分支和融合分支的橋梁。第三層單點群卷積是為了恢復通道維數以匹配標準分支。融合分支對網絡進行融合編碼，并在第三層單點群卷積前與降參分支以元素乘積的方式相結合，這種設計有助于降低第三層卷積過程中組間信息的丟失。

圖4（b）為MF 模塊的下采樣版本，做了以下修改:1）降參分支的混合卷積和融合分支中的3×3標準卷積的步長變為2。2）在標準分支中應用了步長為2的3×3平均池化，并用元素拼接（Concat）的方式代替了元素加法，將標準分支和降參分支結合起來。經過下采樣MF 模塊后，特征圖的空間維數被減半，而通道維數則增加了1倍。

圖4 Mix-Fusion 模塊示意圖Fig.4 Schematic diagram of Mix-Fusion module

1.5 Mix-Fusion網絡

基于MF 模塊，本文提出了一種新穎的網絡結構Mix-Fusion，總體結構如表1 所示。網絡結構分為4 個階段:階段一包括步長為2的一個3×3卷積層和max pooling層，這兩層對輸入圖像執行4倍的下采樣以降低計算成本；之后3個階段都是由一個下采樣MF 模塊和若干標準MF 模塊組成。模塊類型后面的數字代表輸出通道的數量。“×3”和“×7”分別表示MF模塊重復3 次或7 次，“/2”表示步長為2，帶有“/2”的MF 模塊執行下采樣功能。表1 中的“分類層”為采用核大小為7 的全局平均池化層，通過全連接層輸出6 類缺陷的概率，生成預測分類。

表1 Mix-Fusion網絡結構Tab.1 Network structure of Mix-Fusion

輸出通道的數量在同一階段中保持不變，在下一階段中增加1倍。此外，降參分支中的通道數被設置為同一MF 模塊中輸出信道的1/4以節省計算成本。最后，本文將降參分支中組卷積的組數設置為3，進而增加降參分支的連接稀疏度。

2 實驗設計及結果分析

2.1 實驗數據集

本文采用東北大學收集的熱軋帶鋼表面缺陷數據集NEU-CLS［22］。該數據集收集了六種典型熱軋帶鋼表面缺陷，包括裂紋（Cr）、夾雜（In）、裂斑（Pa）、麻點（PS）、軋屑（RS）和劃痕（SC）。每一類缺陷有300 個樣本，每幅圖像的原始分辨率為200 像素×200 像素。該數據集主要面臨兩個挑戰:1）類內缺陷在外觀上存在較大差異；2）類間缺陷有相似的方面，由于缺陷圖像受到光照和材料變化的影響，類間缺陷圖像的灰度也會發生變化。部分缺陷圖像示例樣本如圖5所示。

圖5 示例缺陷圖像及對應標簽Fig.5 Sample defect images and corresponding labels

2.2 基準實驗

本文在NEU-CLS 數據集上提取了一種常用的傳統紋理特征并進行基準測試，即灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）［23］。GLCM 描述了具有某種空間位置關系的兩個像素灰度的聯合分布，它可以反映像素的分布特征以及圖片的紋理特征。本文選取對比度、差異性、同質性、熵、相關性、能量六種灰度共生矩陣統計量的組合作為需要提取的特征，并選取支持向量機（SVM）作為分類器，svm.SVC 作為SVM 類，linear 作為核函數，懲罰因子C設置為0.5，最終分類結果達到了90.81%。

這種由特征提取算法加分類器設計的傳統方法是目前工業界主流的一種表面缺陷分類方法，將此SVM+GLCM 作為基準實驗并與Mix-Fusion網絡比較可以保證實驗的可靠性。

2.3 環境與訓練

本文的算法是在PyTorch 框架上進行的，實驗環境配置為:Inter Core i7-6700 CPU@ 3.40 GHz 處理器，16 GB 內存，NVIDIAGeForce GTX 1080顯卡，操作系統為Windows 10。

實驗從數據集中隨機選取1 440張圖像作為訓練集，剩余360 張圖像作為測試集。網絡在訓練階段采用Adam 優化算法基于訓練數據迭代地更新神經網絡的權重，每一個批次（batch）包含32 張圖像，權值的初始學習率0.02，每隔10 個epoch 學習率衰減一次，衰減系數設置為0.9。在訓練前將數據圖像邊緣調整為256像素，之后中心裁剪為224×224像素進行實驗。

2.4 結果分析

為測試網絡模型在鋼鐵表面缺陷分類任務中的綜合性能，本文引入了四種評價指標:計算力，即每秒所執行的浮點運算次數（FLoating-point Operations Per second，FLOPs）、參數量、精度以及平均運行時間，并使用PyTorch-OpCounter 工具測試出網絡的FLOPs 以及參數量。其中，FLOPs 表示浮點運算數，用來衡量模型的復雜度，復雜度越低，模型越輕便，一般輕量級網絡的FLOPs 可以降到150×106以下。精度反映了模型在缺陷分類任務中的準確率，運行平均時間為單張圖像連續運行12次，去掉一個最大值和一個最小值后取10次運行的平均結果，衡量了模型的運行速度。表2 展示了在NEU-CLS數據集上Mix-Fusion 和一些最先進的網絡結構以及基準實驗關于四種評價指標的比較情況。表2 中的MFLOPs（Million FLOPs）用來衡量FLOPs，指每秒浮點運算次數為106。

表2 不同網絡綜合性能對比Tab.2 Comparison of comprehensive performance of different networks

為驗證提出的不同模塊對于網絡性能的影響，本文設計了一個只使用傳統深度卷積的Mix-Fusion（Base）網絡。基礎網絡結構與圖4 保持一致，僅僅將模塊示意圖中的混合卷積替換為卷積核尺度一致的3×3 深度卷積，結果表明該網絡測試效果明顯優于基準實驗，分類精度達96.67%。之后將Mix-Fusion（Base）網絡與三種 經典的流行網絡（GooGleNet［24］、ResNet-50以及AlexNet［25］）作比較。其中AlexNet及ResNet-50分別取得了95.00%和95.56%的分類精度，而GooGleNet 取得了稍好的精度96.38%。相比較之下，Mix-Fusion（Base）相較AlexNet 精度提高了1.67 個百分點的同時FLOPs 數量減少為原來的1/17.2，相較ResNet-50 精度提高了1.11 個百分點的同時FLOPs數量減少為原來的1/99.7，相較GooGleNet精度提高了0.29 個百分點的同時FLOPs 數量減少為原來的1/36.5。上述結果充分說明了組卷積和通道洗牌操作具有降低網絡參數量的作用，且融合編碼操作打通了組間信息交流，具有降低性能損失的有效性。

之后，本文實驗了不同大小混合卷積核對于Mix-Fusion網絡性能的影響。如表2 所示，網絡名稱的數字后綴代表了混合卷積核的組合大小，如Mix-Fusion（3-5）代表將通道平均劃分為兩組，分別應用｛（3×3），（5×5）｝的混合卷積核。實驗結果顯示，隨著混合卷積模塊的加入，模型精度有所提高，其中Mix-Fusion（3-5-7）取得了最好的精度98.61%，表明混合卷積可以有效降低網絡對大卷積核的敏感度，提高網絡穩定性，優化模型性能。

為做出全面的比較實驗，本文引入帶有通道注意力機制的SENet 進行比較。如表2 所示，盡管SE-ResNet-50 和SEResNet-101 的分類精度高出Mix-Fusion（3-5）和Mix-Fusion（3-5-7-9），但是Mix-Fusion（3-5-7）的分類精度依然略微勝出，同時Mix-Fusion 網絡的運行速度要遠快于SE-ResNet 網絡，SE-ResNet網絡的參數量和復雜度遠大于Mix-Fusion網絡。

表3展示了Mix-Fusion網絡對于數據的依賴性分析，訓練數據占比代表新的訓練集在原始訓練集中所占百分比。當訓練數據占比為50%和25%時網絡精度略微下降，當訓練數據占比為10%及以下時網絡性能會極大下降，并出現輕微的過擬合現象，表明本文網絡對數據量有一定的依賴性。

表3 不同訓練數據占比的網絡精度對比Tab.3 Comparison of network accuracy with different training data ratios

為分析網絡的收斂性及穩定性，圖6 展示了Mix-Fusion、ShuffleNetV2以及MobileNetV2三種網絡的訓練損失曲線和驗證準確率曲線。

如圖6（a）所示，Mix-Fusion 網絡收斂最快，loss 穩定在0.004；ShuffleNetV2 收斂速 度次之，loss 穩定在0.005；MobileNetV2 收斂最慢，loss 穩定在0.009。圖6（b）中，Mix-Fusion 的驗證準確率明顯高于另外兩個網絡，同時準確率曲線趨勢顯示Mix-Fusion 和ShuffleNetV2 的穩定性較高，MobileNetV2次之。

圖6 不同模型性能比較Fig.6 Performance comparison of different models

為了驗證模型的有效性，本文進一步比較了Mix-Fusion與三種先進的輕量級網絡ShuffleNet、ShuffleNetV2 以及MobileNetV2 的綜合性能，如表4 所示。由表4 可以看出，Mix-Fusion 的性能優于ShuffleNet。考慮到在Mix-Fusion 中降參分支的通道比在ShuffleNet中要少，將這種改進歸因于所提出的融合編碼操作。盡管ShuffleNet擁有更多的通道，但它依然遭受著組間信息丟失的困擾，而Mix-Fusion 有效地利用了組間信息。因此，Mix-Fusion 比ShuffleNet 產生了更具有區分性的特征，克服了性能下降的缺陷。同時與ShuffleNetV2、MobileNetV2 相比，Mix-Fusion 的分類精度在最小計算成本的基礎上取得了分別高于前兩者1.36 個百分點以及1.67 個百分點的好成績。

表4 不同輕量級網絡綜合性能對比Tab.4 Comparison of comprehensive performance of different lightweight networks

綜上所述，Mix-Fusion 無論是在與傳統紋理特征提取方法（GLCM），還是其他幾種經典網絡或是先進的輕量級網絡的對比中都能夠在更小的計算成本代價下取得更高的分類精度和更快的運行速度。一方面是因為MF 模塊的融合分支有效地解決了“稀疏連接”卷積阻礙組間信息交換的問題，降參分支極大降低了網絡的計算量；另一方面是因為混合卷積相較于傳統的深度卷積，降低了網絡對大卷積核的敏感性，提高了網絡的穩定性。

3 結語

針對卷積神經網絡參數量、計算成本日益增長以及現有輕量級網絡難以完全避免組間信息丟失的問題，本文借鑒了ShuffleNet 和MENet 的思想，提出了一種新穎的輕量級網絡Mix-Fusion。實驗結果表明，該網絡避免了組間信息丟失，提高了分類精度，降低了計算成本和參數量，相較其他網絡綜合性能有明顯提升，為鋼鐵表面缺陷分類任務在移動端的部署提供了有力支持。我們接下來的工作是進一步驗證模型的泛化性能，并開展優化算法、適配設備等方面的工作以滿足產品化的需求。