一種基于改進RefineDet的管道數字射線成像缺陷圖像檢測方法

時亞南, 馬聰, 張婷*, 陳迎春, 劉兆英, 范效禮, 苗銳

(1.新疆維吾爾自治區特種設備檢驗研究院, 烏魯木齊 830011; 2.新疆特種設備檢測技術研究重點實驗室, 烏魯木齊 830011; 3.北京工業大學信息學部, 北京 100124; 4.北京工業大學城市建設學部, 北京 100124)

管道為工業領域常用的液體和氣體傳輸介質,由于工作環境和傳輸材料的復雜性,其在使用過程中極容易發生腐蝕、裂紋、變形等問題,因此管道缺陷檢測是工業生產中非常重要的一環,它能夠發現管道內部的缺陷,從而及時采取修復措施,保障工業生產安全和可靠性。由于傳統的管道缺陷圖像人工檢測方法存在耗費時間多、容易誤檢漏檢等情況,因此隨著工業自動化和智能化水平的不斷提高,管道數字射線成像(digital radiography,DR)缺陷圖像檢測技術也在不斷發展,采用計算機視覺和人工智能技術進行自動化檢測已成為主流。這不僅提高了檢測的準確性和效率,而且降低了檢測成本。因此,研究和開發高效可靠的管道DR缺陷圖像技術對于保障工業生產安全和可靠性具有重要意義。

管道DR缺陷圖像檢測是缺陷檢測的一種。近年來,隨著深度學習在計算機視覺領域的快速發展,研究者們開展了基于深度學習的缺陷檢測方法研究。此類方法使用深度神經網絡自動提取DR缺陷圖像的特征,并進行目標的分類和回歸。根據處理方式的不同,現有的基于深度學習的缺陷檢測模型主要分為單階段和兩階段兩種類型[1]。單階段模型是指直接從輸入圖像中提取特征,通過單個前向傳遞過程即可直接預測目標的位置和類別。常見的單階段目標檢測模型包括SSD(single shot multibox detector)[2]和YOLO(you only look once)[3-5]系列模型。例如,閻馨等[6]針對鋼材表面缺陷檢測的低精度和慢速問題,提出了一種改進的SSD算法。該算法使用Transformer多頭注意力機制增強對小目標的檢測能力,有效地檢測到鋼材表面的小目標缺陷。魯鑫等[7]針對煙條透明塑料外包裝上拉線頭缺陷檢測誤報率高的問題,提出了一種基于YOLO和Hough變換圓檢測相結合的方法來提高缺陷檢測的定位精度和檢測速度。

兩階段模型是指將目標檢測任務分為提取候選框和檢測兩個階段:在第一階段中,模型生成候選區域或錨框,提取這些區域或框中的特征;在第二階段中,模型對每個候選區域或錨框進行分類和回歸,得到最終的目標檢測結果。這類模型一般需要在兩個階段之間進行顯式的區分,所以需要更多的計算資源和時間。常見的兩階段目標檢測模型包括Faster R-CNN[8](faster region-based convolutional neural network)、Cascade R-CNN[9](cascade region-based convolutional neural network)和Mask R-CNN[10](mask region-based convolutional neural network)。例如,趙楚等[11]針對瓷磚表面瑕疵缺陷檢測中存在的極小缺陷目標、缺陷形態差異大等問題,提出了一種改進的Faster R-CNN算法。通過引入可變形卷積來自適應學習缺陷特征、優化區域建議網絡生成更契合目標尺度的錨框,以更好地檢測小目標缺陷。王紅星等[12]提出了一種兩階段的銷釘缺陷檢測模型用于無人機巡檢。首先使用Faster R-CNN提取候選區域,然后使用改進的Cascade R-CNN進行缺陷識別。翁玉尚等[13]針對帶鋼生產過程中表面缺陷的檢測問題,提出了一種改進的Mask R-CNN算法,并使用k-means聚類算法[14]改進了區域候選網絡的錨框生成方法。通過調整網絡結構和移除掩膜分支,該算法實現了更快速、更準確的缺陷檢測。

單階段方法對錨框只進行一次回歸,速度快,但準確率較低。而兩階段算法通過對錨框進行兩次回歸,可以獲得較高的準確率,但速度較慢。Zhang等[15]綜合單階段方法和兩階段方法的優點,提出了RefineDet(refinement detector)模型,實現了比兩階段方法更好的精度,并保持了與單階段方法相當的效率。

然而,RefineDet模型也存在一些問題:①主干網絡提取特征不夠豐富:使用VGG (visual geometry group)網絡[16]提取圖像特征,得到的特征不夠豐富,且包含較多的參數;②沒有凸顯目標的顯著特征:由于管道DR缺陷圖像中目標數量較少,絕大部分區域為背景,所以背景干擾經常會影響到檢測結果;③后處理算法較為暴力:RefineDet使用非最大值抑制[17]作為后處理方法,當兩個真實目標重疊部分大于設定的值時非最大值抑制方法可能會誤刪一個真實目標框的問題。

針對上述問題,現提出一種基于改進RefineDet管道DR缺陷圖像檢測方法。首先,使用分類網絡Swin Transformer[18](shifted window transformer)的tiny版本替換原模型的主干網絡VGG16以提高圖像的提取特征能力;其次,對主干網絡提取的特征使用Non-local注意力模塊[19]來加強目標物體的表征,減少背景干擾,提高目標檢測的精度;最后,使用改進的后處理方法軟非最大值抑制(soft non-maximum suppression, Soft-NMS)[20]減少誤刪目標框的現象。

1 RefineDet模型

RefineDet模型主要由4部分組成,分別為主干網絡、Neck模塊、Anchor細化模塊和目標檢測模塊。

RefineDet模型的主干網絡是使用去除分類層并且添加輔助層的VGG16提取像素大小為320×320×3圖像的特征。具體來說,將VGG16的最后兩個全連接層替換為卷積層。此外,與其他層相比,卷積層conv4_3和conv5_3具有不同的特征尺度,RefineDet使用L2歸一化[21]將conv4_3和conv5_3中的特征范數縮放為10和8,然后學習反向傳播期間的尺度。同時,為了提取高級特征信息并進行多尺度目標檢測,RefineDet在VGG16去除分類層后的末尾額外增加了兩個卷積層conv6_1和conv6_2。

Anchor細化模塊通過減少分類器的搜索空間,粗略地描述Anchor的位置和大小。它接收骨干網絡中某些層的輸出,經過不同的卷積層處理后輸出特征圖上每個位置中生成固定個數的修正錨框,以及前景和背景的置信度。

Neck模塊通過將高級特征添加到低級特征中來集成上下文,以改進檢測精度。為了匹配它們之間的維度,RefineDet使用反卷積操作放大高級特征圖,并以逐元素相加的方式求和。然后,在求和之后添加卷積層,以確保用于檢測的特征的可分辨性。

目標檢測模塊的輸入為Anchor細化模塊輸出的修正錨框和Neck模塊輸出的特征圖。經過多個3×3卷積層后,輸出初始預測結果。為了進一步得到更準確的結果,在該模塊中,使用非最大值抑制模塊去除非最優匹配候選框,得到最終的檢測結果。

2 改進RefineDet的管道DR缺陷圖像檢測方法

2.1 整體網絡結構

為了提高RefineDet的檢測準確率,本文研究提出了一種改進的RefineDet管道DR缺陷圖像檢測方法,該方法同樣由4個部分組成,分別為主干網絡、Neck模塊、Anchor細化模塊和目標檢測模塊。整體網絡結構如圖1所示。

圖1 整體網絡結構圖Fig.1 Overall network structure diagram

2.1.1 主干網絡

為了充分挖掘管道DR圖像的特征,使用Swin Transformer替換VGG16,作為RefineDet的主干網絡。Swin Transformer的設計思想是通過“分層局部視覺窗口”的方式,將大圖像分割成多個小的視覺窗口,并對每個小窗口進行自注意力機制的計算,從而實現對大尺度圖像的高效處理。

2.1.2 改進后的Neck模塊

由于管道DR缺陷圖像中的目標易受背景干擾,因此在Neck模塊中增加注意力模塊使網絡減少背景圖像對目標的干擾。Non-local注意力模塊通過關注局部信息,提取更豐富的圖像信息,在多個任務上取得了更好的性能。為此,本文研究在Neck中引入Non-local模塊,使網絡更關注到局部信息。Non-local模塊的結構如圖2所示。

Conv為卷積操作;1*1為卷積核的大小;stride為卷積核的步長;BN為批量歸一化操作

Non-local模塊的Non-local操作包含3步:首先,對于輸入特征圖中的每個位置,計算該位置與所有其他位置之間的相似度。然后,使用這些相似度計算一個加權和,生成每個位置的輸出特征。最后,將這些輸出特征與輸入特征圖進行相加得到最終輸出。具體而言,Non-local操作可以表示為

yi=Softmax[f(xi,xj)]g(xj)

(1)

式(1)中: Softmax為歸一化操作;xi和xj為輸入特征圖中要進行注意力計算的像素點, 其中i,j=0,1,2,…,H×W-1;yi為與xi和xj進行注意力計算后的輸出;函數f用于計算特征圖的位置i和任意位置j處相關性的函數;函數g是用作線性變換的1*1卷積。函數f的公式形式為

f(xi,xj)=θ(xi)?(xj)T

(2)

式(2)中:θ和?為1*1卷積。函數f使用點積計算兩個特征圖的相關性。

因此Non-local模塊可以被定義為

yi=Wzyi+xi

(3)

式(3)中:yi為式(1)的輸出結果;Wz為可學習的權重矩陣;+xi表示殘差連接[22]。

2.1.3 目標檢測模塊的后處理算法Soft-NMS

傳統的非最大值抑制(non-maximum suppression, NMS)算法通過將置信度得分最高的框作為候選框,然后直接刪除與該框的交并比大于設定閾值的框。然而,當兩個目標框的交并比大于設定閾值但都是真實目標時,這時傳統的非最大值抑制算法就會刪除其中一個真實目標框。為此,本文研究引入一種軟非最大值抑制算法(soft non-maximum suppression, Soft-NMS)進行處理。軟非最大值抑制可以在抑制重疊的檢測結果時保留一定的冗余檢測結果。與傳統的非最大值抑制算法相比,它可以更細致地控制抑制過程,減少漏檢和過度抑制的情況,從而提高目標檢測的準確率。

假設Soft-NMS算法的輸入為:B={b1,b2,…,bN},S={s1,s2,…,sN},Nt,minscore;其中B是包含所有檢測框的列表,S是包含B中每個框對應的置信度得分的列表,minscore為最小得分閾值,本文設定為1×10-3。算法流程如下。

(1)根據置信度得分對所有檢測框進行排序,并且創建候選列表框D。

(2)選擇置信度得分最高的檢測框M,并計算它與其他未處理的檢測框的交并比,然后將M從B中刪除,并存入D中。其中,交并比是指預測框與真實框相交的面積除以相并的面積。

(3)對于所有與當前框交并比大于某個閾值的框,使用線性函數衰減其置信度得分,置信度得分進行線性衰減的公式為

(4)

式(4)中:si為第i個框的置信度得分;M為置信度得分最高的框;bi為第i個框;iou(M,bi)為計算框M和bi的交并比;Nt為設定交并比 (intersection over union, IoU)閾值。

(4)更新所有被衰減過的框的置信度得分,繼續進行第(2)步,直到B中沒有檢測框為止。

(5)對D中對應置信度得分小于minscore的框刪除,最后輸出保留下的框。

與傳統NMS算法相比,Soft-NMS的關鍵步驟在于第(3)步。在傳統NMS算法中,所有與置信度得分最高的框的IoU值大于一定閾值的框的置信度都被設為0,直接移除了這些框。而在Soft-NMS算法中,這些框的置信度并不會直接被設為0,而是按照一定比例降低,以保留一定的冗余信息。這個比例通常是一個線性或高斯衰減函數,本文使用的衰減方式是線性衰減。

2.2 損失函數

改進后RefineDet的損失函數包括兩部分,分別為Anchor細化模塊的損失函數和目標檢測模塊的損失函數。兩個模塊的邊框回歸損失函數都為平滑L1損失[8],而Anchor細化模塊的分類損失函數為二分類交叉熵損失[23],目標檢測模塊的分類損失函數為多分類交叉熵損失。

假設有N個訓練樣本,第i個樣本的預測輸出為y′i,標簽為yi,則Anchor細化模塊的二分類交叉熵損失函數為

(5)

假設有N個訓練樣本,C個類別,第i個樣本中對第c類的預測概率為y′i,c,則目標檢測模塊的多分類交叉熵損失函數為

(6)

式(6)中:當第i個樣本的標簽為第c類時,yi,c=1,否則為0。

平滑L1損失函數的公式為

(7)

式(7)中:

(8)

3 實驗結果與分析

為了驗證本文方法的有效性,本節依次闡述該實驗所用數據集、評價指標、訓練細節、改進部分對結果的影響和與其他方法的結果對比。本文所有實驗使用的深度學習框架為Pytorch,Python版本為3.8,操作系統為Windows10,GPU型號為NVIDIA GeForce RTX 3080。

3.1 數據集

本文研究使用的數據集是管道DR缺陷圖像數據集。數據集包含了20種類別,共有6 010個樣本以及對應的標簽,其中訓練集樣本數為4 258,測試集樣本數為1 752,圖像分辨率為320×320,通道數均為3。部分DR缺陷圖像標注示例如圖3所示。

圖3 不同類型的管道DR缺陷圖像Fig.3 Different types of pipeline DR defect images

3.2 評價指標

本文研究采用的評價指標是平均準確率(mean average precision,mAP)[24]。計算方式為

(9)

3.3 訓練細節

本次實驗使用Adam優化器[25]進行訓練,動量為0.9,權重衰減為0.05;初始學習率為5×10-4,使用warmup[26]和cosine[26]學習率調整策略,具體為:訓練前10輪學習率從0線性增加到的5×10-4,剩余訓練輪數學習率從5×10-4以余弦函數形式逐漸降到設置的最小學習率1×10-6。本文實驗中,迷你塊大小為16,訓練輪數為130,訓練過程中使用了SSD數據增強方法,分別為數據類型和坐標轉換、像素內容變換、空間幾何變換、坐標轉換和縮放及減均值。

3.4 主干網絡對檢測結果的影響

為探索主干網絡對改進RefineDet性能的影響,本節分別使用VGG16和Swin transformer作為改進后模型的主干網絡進行實驗。表1展示了相應的實驗結果。其中,IR-VGG16表示主干網絡為VGG16的改進后模型,IR-Swin transformer表示主干網絡為Swin transformer的改進后模型,即本文方法。

表1 主干網絡對檢測結果的影響Table 1 Effect of the backbone network on the detection results

從表1可以看出:①當使用Swin transformer作為主干網絡時,改進后的RefineDet獲得了92.3%的平均準確率,與VGG16為主干網絡的模型相比,提高了0.4%;②當使用Swin transformer作為主干網絡時,改進后的RefineDet擁有40.39 M的參數量和30.44 G的FLOPs,與VGG16為主干網絡的模型相比,分別減少了21.37 M和106.04 G;③使用Swin transformer不僅可以提高模型的檢測準確率,而且可以減少模型參數。

3.5 注意力模塊對檢測結果的影響

為分析Non-local注意力模塊對改進RefineDet性能的影響,本節分別對Neck模塊添加Non-local模塊和不添加Non-local模塊的改進模型進行了實驗,實驗結果如表2所示。其中,IR-Non-local(without)表示沒有使用Non-local注意力機制的改進后模型,IR-Non-local(with)表示使用Non-local注意力機制的改進后模型,即本文方法。

表2 注意力模塊對檢測結果的影響Table 2 Effect of the attention module on the detection results

從表2可以看出:①當在Neck模塊中添加Non-local注意力模塊時,改進后模型獲得了92.3%的平均準確率,與沒有添加Non-local注意力模塊相比提高了0.1%;② 模型在Neck模塊中添加Non-local注意力模塊的計算量和參數量與沒有添加Non-local注意力模塊相比只分別增加了0.48 G和1.58 M;③ 使用Non-local注意力模塊可以計算量和參數量基本不變的情況下小幅提升模型的準確率。

3.6 后處理方法對檢測結果的影響

為分析后處理方法對改進RefineDet性能的影響,本節分別對目標檢測模塊使用非最大值抑制和使用軟非最大值抑制的改進模型進行了實驗,實驗結果如表3所示。在表3中,IR-NMS表示使用非最大值抑制,IR-Soft-NMS表示使用軟非最大值抑制,即本文使用方法。

表3 后處理方法對檢測結果的影響Table 3 Effect of the post-processing methods on the detection results

從表3可以看出:①模型使用軟非最大值抑制時獲得了92.3%的平均準確率,與使用非最大值抑制的結果相比提高了0.3%;②模型使用軟非最大值抑制時的計算量和參數量與使用非最大值抑制的結果相比沒有增加;③使用軟非最大值抑制作為后處理算法可以計算量和參數量不變的情況下提高模型的準確率。

3.7 與其他方法的檢測性能比較

為進一步分析本文方法的性能,本節將本文方法與現有4種目標檢測方法進行對比分析,檢測結果如表4所示。圖4展示了相應的檢測示例。

表4 不同方法比較Table 4 Comparison of different methods

從表4和圖4可以看出:①本文方法取得了92.3%的評價準確率,與其他4種模型相比,最高提高了4.6%。這表明使用Swin Transformer充分提取圖像的特征,利用注意力機制挖掘圖像的局部信息,有助于提高網絡的檢測準確率;②本文方法分別獲得了30.44 G的FLOPs,少于SSD、Cascade-RCNN和RefineDet的FLOPs。同時,本文方法獲得了40.39 M的參數量,少于Cascade-RCNN和RefineDet的參數量。此外,由于YOLOv3使用了輕量級網絡MobileNetV2[27](mobile network version 2)作為主干網絡,因為擁有最少的計算量和參數量;③從可視化結果可以看出,與其他方法相比,本文方法預測的分類置信度得分更高,預測的框更準,很少會出現多檢或漏檢的情況。

4 結論

針對管道DR缺陷圖像檢測準確率低的問題,提出了一種基于改進RefineDet的管道DR缺陷圖像檢測方法,并得出以下結論。

(1)通過分析主干網絡對檢測結果的影響,驗證了Swin transformer能夠更有效的提取DR管道圖像的特征,有助于提高檢測準確率。

(2)通過分析注意力機制對檢測結果的影響,驗證了Non-local注意力模塊能夠使網絡關注到細節信息,能夠提高檢測準確率。

(3)提出的方法為工業管道DR缺陷圖像檢測提供了一種新方法,也為其他類型的缺陷檢測提供了參考。