改進的Faster-RCNN算法在聚乙烯管接頭內部缺陷檢測中的應用

彭伊娟 王振超 張秋菊

(1 江南大學機械工程學院 無錫 214122)

(2 羅森博格(無錫)管道技術有限公司 無錫 214161)

0 引言

管道運輸多用于液體和氣體物資的長距離輸送，在聚乙烯(Polyethylene,PE)管道的熱熔對接過程中，受到工藝、設備、環(huán)境等因素的不良影響，易在熱熔接頭處產(chǎn)生各種各樣的缺陷(如氣孔、夾雜、裂紋等)。這些缺陷容易導致熔接接頭質量不佳而發(fā)生泄漏和破壞，是整個PE 管道中最薄弱的地方，極大地影響著PE 管道的安全使用。這就需要對管道接頭內部缺陷進行有效的檢測，及時發(fā)現(xiàn)存在的安全隱患。目前，PE管道熱熔接頭的無損檢測方法主要有X 射線檢測[1]、紅外熱成像檢測和超聲檢測(衍射時差法和超聲相控陣)等[2]。超聲檢測是近年來較為有效的無損檢測方法。傳統(tǒng)的超聲波檢測受到PE 管表面多次反射回波信號的干擾，并且由于PE 材料具有聲波衰減性，PE 熱熔接頭缺陷識別很難實現(xiàn)，而超聲相控陣檢測技術能夠實現(xiàn)聲束偏轉以及聲束集中，所以能夠很好地克服這一困難[3]。

不同種類的缺陷具有不同的失效形式，因此在對PE 管道熱熔接頭進行超聲相控陣檢測時，需要根據(jù)超聲相控陣圖譜識別出缺陷的種類。采用人工形式對超聲相控陣檢測圖像中的缺陷評定往往存在誤差且效率不高，隨著計算機技術的發(fā)展，傳統(tǒng)的圖像處理方法被廣泛使用。費學智等[4]通過分析目標缺陷軌跡和缺陷自身的面積來綜合判斷是否為真實缺陷。Rostami等[5]對PE 管電熔接頭超聲圖譜的數(shù)字格式采用形態(tài)學技術重新構建圖像來補充缺失信息，從而實現(xiàn)目標特征分區(qū)，但未能實現(xiàn)特征缺陷的識別。然而上述采用圖像處理的方法對含有多種缺陷的PE 管道熱熔接頭未能進行有效識別。

近年來隨著深度學習的迅速發(fā)展，基于深度學習的目標檢測方法在效率和精度上相較于傳統(tǒng)的圖像檢測方法都有很大提升，逐漸成為國內外學者的研究熱點。這部分研究主要集中在兩個方面，一方面是采用特征提取加淺層神經(jīng)網(wǎng)絡的方法對檢測數(shù)據(jù)進行分類，另一方面是采用深度學習方法，輸入數(shù)據(jù)主要是人工提取的特征值，近年逐漸發(fā)展到自動提取特征[6]。

在淺層神經(jīng)網(wǎng)絡方面，盛雄[7]采用BP 神經(jīng)網(wǎng)絡實現(xiàn)對PE 管電熔接頭缺陷圖像檢測特征區(qū)域的準確分類以及缺陷識別。Sambath等[8]對檢測到的回波離散小波變換表示缺陷特征向量，并利用BP神經(jīng)網(wǎng)絡進行分類。在深度學習方面，要追溯到2014 年，Girshick等[9]將卷積神經(jīng)網(wǎng)絡(Convolutional neural networks,CNN)[10]與目標檢測結合，提出R-CNN 算法。2015 年，Song等[11]將R-CNN和SPPNet 進一步提高，提出Fast-RCNN 算法，在相同的網(wǎng)絡配置下同時實現(xiàn)區(qū)域的特征提取、分類和邊界框回歸。2017 年，Ren等[12]將Fast-RCNN與區(qū)域候選網(wǎng)絡(Region proposal network,RPN)相結合，提出Faster-RCNN 算法，實現(xiàn)端到端的接近實時的檢測，提高檢測速度與精度。

在超聲缺陷檢測領域也有不少學者采用深度學習方法進行缺陷識別。Meng等[13]用小波變換系數(shù)來學習每個信號的有效表示，使用深度神經(jīng)網(wǎng)絡進行炭纖維缺陷檢測。萬陶磊等[14]提取超聲信號的無量綱參數(shù)和小波包能量系數(shù)組成多維特征向量，然后利用BP 神經(jīng)網(wǎng)絡進行缺陷檢測。張重遠等[15]采用基于相似矩陣的盲源分離方法對超聲檢測信號進行預處理，使用CNN 進行信號識別。

目前為止，多數(shù)研究者都是采用信號處理方法來提取特征從而提高缺陷識別準確率，然后采用BP 神經(jīng)網(wǎng)絡來進行缺陷分類。本文直接將超聲相控陣采集的超聲D 掃圖作為輸入，針對超聲D 掃視圖中缺陷小且密集的狀況，以Faster-RCNN網(wǎng)絡為基礎，采用不同的骨干網(wǎng)絡結構對缺陷進行檢測，并對Faster-RCNN網(wǎng)絡進行優(yōu)化，實現(xiàn)檢測能力的提升。

1 Faster-RCNN網(wǎng)絡介紹

Faster-RCNN 目標檢測模型提出了與RCNN、SPPNet、Fast-RCNN 不一樣的RPN 網(wǎng)絡模型，該模型突破了Fast-RCNN 在時間上的性能瓶頸。其網(wǎng)絡結構圖如圖1所示。

圖1 Faster-RCNN 網(wǎng)絡結構圖Fig.1 Structure diagram of Faster-RCNN network

由圖1 可知，F(xiàn)aster-RCNN 可以分為4 個主要內容：

(1) 骨干網(wǎng)絡(Backbone)。Faster-RCNN 首先使用一組基礎的卷積、激活、池化層用來提取圖像的特征圖。

(2) 區(qū)域候選網(wǎng)絡(RPN)。輸入特征圖，使用RPN層生成候選框，進行是否含有物體的二分類。

(3) 感興趣區(qū)域池化(ROI pooling)。將各個不同尺寸的特征圖通過ROI pooling 層縮放到同樣大小的特征圖。

(4) 分類以及回歸(Classification and regression)。將大小一致的特征圖送到全連接層，進行目標的分類并且完成邊界框回歸，獲得檢測框最終的精確位置。

Faster-RCNN 加入了RPN 層來產(chǎn)生候選框，PRN 層可以和檢測網(wǎng)絡共享卷積層，并且可以在每個位置同時預測目標邊界和objectness 得分，實現(xiàn)了端到端的檢測，提升了模型精度。然而Faster-RCNN 也存在著一些問題：Faster-RCNN網(wǎng)絡具有大量的參數(shù)，需要花費大量的時間，容易出現(xiàn)過擬合，此外在卷積過程中小目標容易丟失，導致對小缺陷的識別效果不佳。

2 改進的Faster-RCNN網(wǎng)絡

超聲相控陣檢測出的熱熔接頭內部D 掃視圖缺陷相較于尋常目標識別對象，面積小且密集。本文提出了一種基于輕量級卷積注意力模塊(Convolutional block attention module,CBAM)的Faster-RCNN算法應用于超聲相控陣PE 管道熱熔接頭內部缺陷檢測，將深度殘差網(wǎng)絡(ResNet50)與特征金字塔(Feature pyramid network,FPN)集成形成骨干網(wǎng)絡，引入通道注意力模塊和空間注意力模塊提高網(wǎng)絡對超聲相控陣D 掃圖小缺陷的學習能力。

2.1 CBAM

CBAM 是一個作用于前饋CNN 的注意力模塊，它結合了通道和空間兩種注意力模塊，相比于只關注通道的SE 注意力機制有更好的效果。CBAM以一個中間特征映射F ∈RC×H×W作為輸入，該模塊將根據(jù)通道維數(shù)ωc ∈R1×1×C和空間維數(shù)MS ∈R1×H×W來推斷注意力圖，然后將注意力圖與輸入特征圖相乘，自適應細化特征[16]，計算公式見式(1)：

式(1)中：?表示元素級乘法，F(xiàn)′′是最終特征輸出。圖2顯示了每個注意力模塊的計算進度。

圖2 CBAM 模塊的結構Fig.2 Structure of CBAM model

通道注意力模塊關注輸入圖片中有意義的特征信息[17]，如圖2(a)所示。首先將輸入的特征圖經(jīng)過兩個并行的最大池化層和平均池化層，將特征圖從C×H ×W變?yōu)镃×1×1 的大小。然后經(jīng)過兩層的神經(jīng)網(wǎng)絡共享全連接層，第一層神經(jīng)元個數(shù)為C/r(r為減少率)，第二層神經(jīng)元個數(shù)為C，激活函數(shù)為ReLU。將MLP 輸出特征進行element-wise加和操作，再通過一個sigmoid 激活函數(shù)生成最終的通道注意力特征圖，即MC，計算公式見式(2)。最后，將MC和輸入特征圖F相乘生成空間注意力模塊的輸入特征F′，見式(1)。

式(2)中，W0∈RC/r×C，W1∈RC×C/r，σ表示sigmoid激活函數(shù)。

空間注意圖是根據(jù)特征間的空間關系生成的，空間注意模塊主要關注特征信息的位置[18]，是對通道注意力的補充，如圖2(b)所示。首先，在通道軸上應用平均池化與最大池化來生成兩個特征圖，F(xiàn)Savg和FSmax，將兩個特征圖進行通道拼接，生成有效的特征描述符，通過卷積層將描述符簡化為一個通道。然后使用sigmoid 函數(shù)將其激活，生成空間注意圖，計算公式見式(3)。最后空間注意力圖乘以輸入特征圖，得到最終的注意力特征圖F′′，見式(1)。

式(3)中：σ表示sigmoid 激活函數(shù)，f7×7表示卷積核為7×7的卷積。

CBAM 補充了由通道注意力聚焦的語義信息和由空間注意力聚焦的位置信息，本文將CBAM加入到骨干網(wǎng)絡中，來關注深層網(wǎng)絡中PE 管接頭超聲相控陣D 掃圖小缺陷的特征信息，提升對小缺陷的檢測性能。

2.2 骨干網(wǎng)絡

本文將ResNet50 與FPN 相融合形成骨干網(wǎng)絡。ResNet50 通過構建殘差塊可以解決深度網(wǎng)絡退化問題。如圖3 所示，其中x表示殘差模塊的輸入，當特征圖輸入到特征提取網(wǎng)絡中，通過1×1的卷積核進行降維、3×3 的卷積核進行特征提取、1×1 的卷積核進行升維，最后得到256 維度的特征圖。而殘差模塊在輸入和輸出之間建立了直接連接，F(xiàn)(x)表示殘差模塊的擬合功能，輸出結果為H(x)=F(x) +x。如果某一層的梯度消失，則該層的輸出等于該層的輸入，從而形成一個恒等映射，不會影響后續(xù)網(wǎng)絡的學習，這樣在加深網(wǎng)絡的同時準確率也不會降低。

圖3 ResNet50 殘差結構Fig.3 Residual structure of ResNet50

原始Faster-RCNN是自底向上卷積，使用最后一層特征圖進行預測，這是因為最高層的特征具有最豐富的語義信息。這對于大目標的檢測很有效，但是對于小缺陷來說，當進行卷積、激活、池化到最后一層，實際上語義信息已經(jīng)沒有了，導致小缺陷容易檢測不到或者效果不佳。由于PE 管熱熔接頭內部超聲相控陣D 掃視圖缺陷特征都比較小，加入低層特征圖信息能更好地識別出小缺陷，本研究在殘差網(wǎng)絡中加入FPN[19]。FPN 模型通將低分辨率、高語義信息的高層特征和高低語義信息的特征進行自上而下的側邊連接，使得所有尺度下的特征都有豐富的語義信息，且每一層都獨立預測，從而提升對小缺陷的檢測效果。其核心思想包括3部分：一個自底向上的線路、一個自頂向下的線路、橫向連接。ResNet50+FPN網(wǎng)絡模型如圖4所示。

圖4 FPN 與ResNet50 網(wǎng)絡結構圖Fig.4 Structure diagram of FPN and ResNet50 network

由ResNet50+FPN 網(wǎng)絡結構圖可知，F(xiàn)PN 取ResNet50 的輸出特征圖作為輸入，對C5使用1×1的卷積進行降為處理，再經(jīng)過3×3的卷積處理輸出P5，C5 上采樣后與經(jīng)過降維處理過的C4 相加，再經(jīng)3×3 卷積處理，得到P4，以此類推，從而生成了不同尺度的特征圖，這樣用于檢測的特征圖就包含了多個階段的特征。然后將FPN 生成的多層特征圖P2–P5 傳入RPN 層生成候選框，此時需要將候選框映射到相應的特征圖從而進行接下來的ROI pooling操作[20]，具體映射方式見式(4)。

式(4)中：k0是映射到w×h=224×224的ROI目標級別，設置為4，w和h是ROI區(qū)域的長和寬，224是ImageNet數(shù)據(jù)集的預訓練圖像大小，k值應該做取整處理，即所使用的特征層。

本文將CBAM 和ResNet50+FPN 組合在一起，形成了一種改進的骨干網(wǎng)絡模型。考慮到隨著CNN 的加深，PE 管接頭內部超聲相控陣D 掃圖小缺陷信息出現(xiàn)丟失的現(xiàn)象，在ResNet50 和FPN之間設置了兩個注意模塊，來關注深層網(wǎng)絡中PE管接頭超聲相控陣小缺陷的特征信息，實現(xiàn)更優(yōu)的檢測性能。然后，將特征信息輸入到FPN 中，進一步融合深層和淺層的特征信息，使它們得到充分研究。最后將FPN 生成的多層特征圖輸入到RPN 層完成是否包含目標的二分類問題，本文使用的骨干網(wǎng)絡結構如圖5 所示，其中C 表示高效通道注意模塊，S表示空間注意模塊。

圖5 CBAM+ResNet50+FPN 網(wǎng)絡結構Fig.5 Structure diagram of CBAM+ResNet50+FPN network

3 實驗與結果分析

3.1 實驗環(huán)境與實驗數(shù)據(jù)

由于目前國內在超聲相控陣熱熔接頭焊縫缺陷領域沒有公開響應的權威大型數(shù)據(jù)集，本研究采用友聯(lián)公司MagicScan-UX 超聲相控陣模塊，并搭配5L32-0.6×10 超聲相控陣探頭以及橫波楔塊(N55S) 作為超聲相控陣無損檢測設備，進行PE 管道熱熔對接接頭內部進行圖像采集。根據(jù)上海市2017 年頒布的DB31/T1058–2017《燃氣用聚乙烯(PE)管道焊接接頭相控陣超聲檢測》[21]，PE 管道熱熔接頭內部缺陷系統(tǒng)地分為孔洞、裂紋、熔合面夾雜3 種，本文采集了含有孔洞缺陷、裂紋缺陷、融合面夾雜缺陷的超聲相控陣D 掃檢測圖并對數(shù)據(jù)集進行擴充，共2450 張，這些缺陷均采用人工預制，如圖6所示，可以看出PE管接頭內部缺陷特征圖都比較小。孔洞缺陷檢測圖如圖6(a)所示，接頭檢測區(qū)域中存在一個明顯的反射信號且邊緣較為圓潤呈圓形或者橢圓狀，熱熔對接接頭可能存在孔洞缺陷。裂紋的檢測圖如圖6(b)所示，接頭檢測區(qū)域中存在兩個明顯的反射信號且在同一垂直線上，接頭局部區(qū)域可能存在縫隙。熔合面夾雜缺陷如圖6(c)所示，接頭檢測區(qū)域內反射信號較弱，并且邊緣比較模糊，接頭疑似存在外來夾雜物[22]。此外使用Labelimg 對圖像進行標記，以遵循PASCAL VOC數(shù)據(jù)集的格式，訓練集、驗證集和測試集的數(shù)量比為7:1:2。

圖6 不同種類焊縫缺陷圖Fig.6 Different types of weld defects

試驗平臺windows10，CUDA11.3，處理器為Intel i9-10900X，顯卡為NVIDIA GeForce RTX 2080Ti，使用python 語言與pytorch 深度學習框架作為開發(fā)環(huán)境。

3.2 改進網(wǎng)絡的目標檢測結果

本文采用了目標檢測中常用的COCO 數(shù)據(jù)集的評價指標，如式(5)～(7)所示：

其中：精確度P指模型預測為正的樣本中實際也為正的PE 管接頭內部缺陷樣本占被預測為正的缺陷樣本的比例，用來衡量檢測系統(tǒng)的查準率；召回率R指實際為正的PE 管接頭內部缺陷樣本中被預測為正的樣本所占實際為正的缺陷樣本的比例，用來衡量檢測系統(tǒng)的查全率；AP是P-R曲線下的面積，AP 值越大，檢測性能越好，mAP 是多個類別AP 的平均值；TP代表被模型預測為正的超聲相控陣PE管接頭內部缺陷正樣本的數(shù)量；FP代表被模型預測為正的超聲相控陣PE 管接頭內部缺陷負樣本的數(shù)量；FN代表被模型預測為負的超聲相控陣PE 管接頭內部缺陷負樣本的數(shù)量。COCO評價指標及其意義如表1所示。

表1 COCO 目標檢測評價指標及其意義Table 1 Evaluation indexes of COCO target detection and its meaning

本文將SSD 網(wǎng)絡框架和Faster-RCNN 網(wǎng)絡框架用于模型訓練和測試，使用VGG16、ResNet50、ResNet50+FPN、ACBM+ResNet50+FPN 作為骨干網(wǎng)絡模型，依次對超聲相控陣D 掃圖PE 管道熱熔對接接頭內部缺陷樣本進行訓練對比。初始學習率設為0.01，動量值為0.9，訓練輪數(shù)(epochs)設為50。實驗結果和比較如表2 所示，AP 值的變化曲線如圖7所示。

表2 不同網(wǎng)絡模型的實驗結果比較Table 2 Comparison of experimental results of different network models

圖7 AP 值變化曲線Fig.7 Change curves of AP value

由表2可知，對于超聲相控陣PE管熱熔接頭缺陷檢測，SSD 網(wǎng)絡中缺陷數(shù)據(jù)集的mAP 為70.3%，而對于小缺陷檢測，APS僅為49.2%。相比之下，使用VGG16 骨干網(wǎng)絡的傳統(tǒng)Faster-RCNN，mAP為77.5%，APS達到56.1%。與SSD 網(wǎng)絡的結果相比，傳統(tǒng)Faster-RCNN 網(wǎng)絡的mAP 和APS分別增長7.3%和6.9%，證明Faster-RCNN 網(wǎng)絡比SSD網(wǎng)絡更適合超聲相控陣D 掃圖PE 管接頭缺陷檢測。ResNet50的mAP 值為79.9%，略高于VGG16網(wǎng)絡。ResNet50+FPN作為骨干網(wǎng)絡具有更強的特征學習能力，mAP 為85.6%，比單獨使用ResNet50骨干網(wǎng)絡提高了5.7%，對于小缺陷，APS增加了3.2%，檢測能力明顯提高。改進后的Faster-RCNN算法是將CBAM 和ResNet+FPN 相結合組成的最終骨干網(wǎng)絡，mAP 達到90.5%，相比ResNet+FPN骨干網(wǎng)絡提高了4.9%，同時小缺陷的檢測性能提升了4.2%。實驗結果表明，改進后的Faster-RCNN網(wǎng)絡對小缺陷的關注度更高，檢測能力更強，整體檢測性能較好。

圖8 顯示了超聲相控陣D 掃圖PE 管熱熔接頭缺陷檢測結果的P-R曲線，召回率R為橫坐標，精確度P為縱坐標，曲線和軸包圍的區(qū)域為AP 值，區(qū)域越大，檢測性能越好，圖中紅色曲線表示CBAM和ResNet+FPN 相結合骨干網(wǎng)絡的P-R曲線。從圖8 中可以看出，改進的Faster-RCNN 網(wǎng)絡模型在檢測方面取得了較好的效果。圖9 顯示了4 種骨干網(wǎng)絡的訓練損失比較曲線?？梢钥闯龈倪M的Faster-RCNN 網(wǎng)絡具有更快的訓練收斂速度和更少的損失。

圖8 P-R 曲線圖Fig.8 P-R curves

圖9 不同網(wǎng)絡模型訓練損失曲線圖Fig.9 Training loss value of different network model

VGG16、ResNet50、ResNet50+FPN、ACBM+ResNet50+FPN 骨干網(wǎng)絡識別效果如圖10～13所示。可以看出，VGG16作為骨干網(wǎng)絡時，裂紋缺陷未能有效提取，出現(xiàn)了漏檢和誤判現(xiàn)象；ResNet50相較于VGG16 骨干網(wǎng)絡效果有所提升，但仍然出現(xiàn)了漏檢和誤判現(xiàn)象；ResNet50+FPN 相較于ResNet50網(wǎng)絡漏檢現(xiàn)象減少，但是對平面狀缺陷如裂紋出現(xiàn)了誤判現(xiàn)象；ACBM+ResNet50+FPN 作為骨干網(wǎng)絡，相比VGG16、ResNet50和ResNet50+FPN 對各種缺陷的提取效果都有提升，預測框的位置更加準確，且誤判和漏檢現(xiàn)象較少。

圖10 VGG16 識別效果圖Fig.10 Recognition renderings of VGG16

圖11 ResNet50 識別效果圖Fig.11 Recognition renderings of ResNet50

圖12 ResNet50+FPN 識別效果圖Fig.12 Recognition renderings of ResNet50+FPN

4 結論

本文將基于注意力機制的Faster-RCNN 網(wǎng)絡應用于超聲相控陣D 掃圖PE 管熱熔對接接頭缺陷檢測。以ResNet50+FPN 為骨干網(wǎng)絡，通過應用輕量級通道注意力機制和空間注意力機制，顯著增強了神經(jīng)網(wǎng)絡對小缺陷的學習能力。試驗結果表明，改進的Faster-RCNN網(wǎng)絡框架相較于SSD網(wǎng)絡框架更適合應用于超聲相控陣D掃圖PE 管接頭內部缺陷檢測。與現(xiàn)有的目標檢測模型相比，改進的Faster-RCNN 網(wǎng)絡具有更好的檢測能力和更少的訓練損失，同時對小缺陷的檢測能力有了顯著提高。在后續(xù)的研究中，將收集更多的PE 管接頭內部缺陷超聲相控陣數(shù)據(jù)圖，并使用更多不同的網(wǎng)絡方法，提高對超聲相控陣PE管道接頭內部缺陷的識別。