基于三維檢測的鋼管外表面缺陷檢測與識別方法

劉國棟 蘇成 王曉晨 吳昆鵬 王少聰 周錦波

關鍵詞：無縫鋼管；外表面缺陷檢測；3D缺陷尺寸檢測；輪廓檢測；深度學習

0 引言

無縫鋼管被譽為工業血管，廣泛應用于化工、石油、海洋、地質及軍工等領域，對國家工業、國防建設具有重要意義與戰略價值，由于長期處于惡劣工作環境等問題，無縫鋼管對產品表面缺陷要求極為嚴格。對鋼管缺陷常用的檢測方式包括水壓機檢測、漏磁探傷檢測、熒光粉檢測、超聲檢測、渦流檢測、人工檢測、視覺二維檢測等。其中水壓機檢測屬于離線檢測手段，漏磁探傷檢測需要經常標定，超聲檢測、渦流檢測方式具有“趨膚效應”，誤報率較高，維護成本高，且這幾種檢測屬于接觸式測量，探頭易損壞，對平滑類缺陷不敏感。人工檢測方式漏檢率高，不能全方位檢測，檢出的缺陷可追溯性差，且勞動強度大。

目前主流的檢測方式還是基于機器視覺的非接觸式測量，運用機器視覺檢測方式，通過相機拍照并依靠LED光源或者激光光源，形成高對比度的成像環境，實現非接觸式檢測缺陷，該檢測方式被大量應用在連鑄、熱軋、寬厚板、鋼管等冷、熱態場合。目前機器視覺二維檢測主要依靠RGB圖像方法，通過工業相機采集表面二維灰度圖像，計算機對獲取的圖像的灰度值變化進行處理和識別，確定表面是否有缺陷。但是鋼管表面的缺陷都是立體結構，普通的二維檢測只能定性地檢測出該缺陷有無，對于缺陷的深度或者高度則不能定量檢測，導致檢測的不準確性。

近幾年3D檢測方式得到應用，基于3D點云數據作為支撐，鋼管表面缺陷信息更加全面，彌補了二維檢測不能量化的缺點，為實現鋼管外表面缺陷高精度自動檢測和識別，本項目運用機器視覺檢測系統，提出基于二維三維融合視覺檢測技術，提高了鋼管外表面缺陷識別精度和檢出率。

1 鋼管外表面缺陷檢測原理

通過三維檢測技術實現鋼管熱態或者冷態的檢測，實現鋼管表面缺陷的3D檢測，對缺陷進行量化檢測，提高缺陷的檢出率和識別率。無縫鋼管表面檢測采用3D線激光傳感器，原理基于三角測量法：當被測物體沿激光方向發生移動時，位置傳感器上的光斑將產生移動，其位移大小對應被測物體的移動距離，因此可通過算法設計，由光斑位移距離計算出被測物體與基線的距離值，如圖1所示。如圖2所示，3D相機的激光線（X）垂直于鋼管徑向方向，當鋼管沿徑向方向運動時，3D相機的采集行頻和速度匹配，點云數據組成產品的表面形狀輪廓。

2 系統組成

整體系統包括圖像、點云數據采集端、速度數據采集端、數據處理端、HMI終端、冷卻端、防護設備等。圖像、點云數據和速度數據通過千兆網絡傳輸到數據處理端進行存儲、分析、運算，將檢測出的表面缺陷數據、鋼管長度、溫度數據保存在數據庫中，通過軟件處理后在HMI終端進行顯示，系統檢測流程如圖3所示。為適應無縫鋼管形狀特性和規格多樣性，3D相機安裝在鋼管的一周，實現360°拍攝，且成像系統有足夠大的景深，如圖4所示。

3 檢測算法

3.1 缺陷識別流程

缺陷識別流程如圖5所示。通過拍攝鋼管外表面，得到鋼管外表面的3D點云數據和二維灰度圖兩種鋼管表面信息，3D點云數據與二維灰度圖相比，3D點云數據具有鋼管表面相應位置的三維坐標（xyz），3D點云數據經過綜合處理后，計算對應區域測量點相對于鋼管外表基準面的高度差，得到三維系統處理后的圖片。再經過二維系統的預處理、缺陷分割、缺陷識別等處理進行缺陷檢測。本文通過深度學習智能算法的缺陷檢測方法，將圖像根據三維尺寸和灰度明顯區域、邊界明顯區域、紋理明顯區域進行提取，并定義為可疑待選的缺陷區域，快速減少處理的圖像數據大小，然后運用復合縮放的網絡構建方法進行最終的缺陷識別。

3.2 AI深度學習智能算法的缺陷檢測方法

開發基于AI深度學習智能算法的缺陷檢測方法。采用校正注意力YOLOF方法來檢測圓鋼表面的缺陷，網絡結構如圖6所示，主要包含4個組成部分：主干、編碼器、解碼器和校正注意力模塊。

主干部分如圖6（a）所示，主要采用ResNet作為主干，C5表示主干網的輸出的特征映射，Cout表示該特征映射的通道數，默認是2 048個通道，并且下采樣率為32。編碼器部分如圖6（b）所示，采用YOLOF的擴展編碼器，其具體結構如圖7所示，包括1個投影層和4個連續的殘差塊。投影層用一個1×1的卷積層來降低通道數，再用一個3×3卷積層來細化語義上下文，形成具有512個通道的特征映射。殘差塊采用一個1×1的卷積層來縮減通道數，縮減率為4，然后采用一個3×3的卷積層來擴大感受野，最后再采用一個1×1的卷積層來恢復通道數。解碼器部分如圖6（c）所示，采用RetinaNet的設計，由兩個并行的特定任務組成：回歸和分類。回歸包括4個卷積層、批量歸一化層和Mish層。分類包含2個卷積層，遵循Autoassign， 并為回歸中的每個錨點使用對象性預測來證明錨點是否包含對象。分類得分的最終預測是通過將分類輸出與對象性預測相乘得到的。校正注意力模塊如圖6（d）所示，包括局部灰度校正模塊、校正注意力網絡和異常值分割模塊。輸入圖像經過局部灰度校正得到一個增強圖像，然后經過校正注意力網絡的編碼部分得到特征映射C5′，對其執行以下3個操作：1）與YOLOF主干網絡輸出的特征C5相加；2）經過空間注意力模型得到一個通道數為1的特征，再與YOLOF編碼器部分的輸出相乘；3）繼續執行注意力網絡的解碼器，但是這一操作只在訓練時執行，驗證時不執行。最后，在訓練時用到的真實數據采用異常值分割模塊來獲取，訓練主干網絡的模糊缺陷檢測能力。

3.3 復合縮放的網絡構建方法

深度型缺陷先通過深度設定閾值進行二值化處理，二值化后的缺陷區域對應的位置如圖8（a）所示，通過圖像截取后的子圖，經過分類網絡模型得到具體類別。采用復合縮放的網絡構建方法，使用系數調整3個參數值（深度、寬度、輸入圖像分辨率），增加網絡的深度，去捕獲圖像中更多像素的特征，如圖8（b）所示。

EfficientNet-B4網絡模型的整體結構如圖9所示，其中檢測流程中的分類模型采用基于EfficientNet的網絡結構，通過遷移學習訓練進行調整。以實際使用的EfficientNet-B4為例（該系列網絡中速度和準確度較為均衡的一款模型結構），進行遷移學習時，凍結Block1-Block4，利用管材表面缺陷樣本數據訓練優化Block5-Block7的網絡參數，利用初始的低層次的圖像特征，調優高層次的圖像特征以適應管材缺陷的識別。在網絡頭部部分，以管材缺陷類別，重新構建模型的輸出頭，輸出頭采用SoftMax層得到各類別缺陷的置信度信息。

4 應用效果

4.1 實際缺陷檢測分析

通過缺陷檢出分割處理，將圖像根據三維尺寸和灰度明顯區域、邊界明顯區域、紋理明顯區域進行提取，并定義可疑待選的缺陷區域，快速減少處理的圖像數據大小，然后將備選的區域送入分類器模型進行最終的類別判定，類別判定采用置信概率值的方式，可提供置信度的區域類別顯示。檢測結果如圖10所示，其中圖10（a）～（d）為缺陷的二維圖像，圖10（e）～（h）為缺陷點云圖渲染的3D圖。

本文設計的方法可以同時輸入二維圖像和三維點云數據進行檢測，對比的同類型方法（Yolov3、Yolov5）由于網絡結構僅使用二維圖像的輸入，實驗得到的缺陷檢出率（式（1））和缺陷誤檢率（式（2））見表1。由表中數據可分析得到，對于凹坑、青線兩類缺陷，由于二維圖像特征不明顯，使用Yolov3和Yolov5方法檢出率不高，本文方法由于使用了三維圖像特征，使凹坑、青線缺陷檢出率大幅提高；對于外折、軋疤缺陷，其二維圖像中的特征足以支撐模型檢測，所以在檢出率上本文方法提升不明顯，但由于使用了三維數據，有效控制了外折、軋疤缺陷的誤報，對誤報率指標有積極作用。

4.2 本系統現場實際應用

目前系統已經投用在國內某個無縫鋼管廠，如圖11所示。系統采用6套3D傳感器，相機分辨率為2 560×832，采集速率根據現場輥道速度進行自動調整，深度檢測精度在0.2 mm， 可有效檢測出0.2 mm以上的缺陷。檢測系統軟件界面如圖12所示，不同的缺陷以不同的顏色來進行顯示，同時顯示二維和三維缺陷圖片，便于操作工判斷。操作工根據需要可選擇周期性缺陷顯示、單個缺陷信息顯示，便于對檢測缺陷的類型、位置、大小及圖像進行人工識別，并與檢測缺陷的自動判別結果進行對比分析。

系統對缺陷的識別檢出主要依靠大量分類準確的樣本圖像，通過二維數據和三維數據的聯合識別可有效提高樣本的可靠性。算法程序根據模型處理圖像上的一塊區域，準確提取疑似缺陷區域，并根據錄入的缺陷類別進行準確分類。系統連續幾個月的本系統檢測數據與人工和漏磁探傷機進行數據對比，分別從報傷管數、漏檢、缺陷過檢數、缺陷過檢率等數據分析。其中：報傷管數為報警有缺陷的鋼管數量；漏檢為鋼管表面有缺陷，但是沒有檢出；缺陷過檢數為檢測出的缺陷并不影響鋼管質量，此類缺陷不需要檢出。

缺陷過檢率：

E=（Td-Tm）/Tp×100%（3）

式中：E為缺陷過檢率，Td為本系統報傷管數，Tm為漏磁探傷機報傷管數，Tp為對比鋼管總數。

檢測效果對比見表2。對開放性缺陷可實現不漏檢，且過檢率控制在2%左右。通過以上對比發現，本系統對開放性缺陷的檢出率大于99%，且過檢率控制在2%左右，是實現非接觸式測量的有利手段。目前漏磁探傷機是鋼管廠的標準產品，成熟度高，但是對于橫向缺陷以及“寬深比”比較大的缺陷則誤檢率很高，同時漏磁探傷機需要每4 h標定1次，或者換鋼管規格時都需要標定，使用起來很復雜，且成本也非常高。目前通過機器視覺的檢測手段不僅缺陷檢出率高，同時安裝方便簡單，成本相對較低，且使用簡單，滿足大多數鋼管廠的使用要求，符合智能制造的統一

思想。

5 結論

1）系統周向布置6個3D相機采集含有鋼管表面深度信息的點云數據，分析點云數據實現缺陷的三維檢測。使用復合縮放的網絡構建方法，通過調整圖像深度、寬度、輸入圖像分辨率，增加網絡的深度，去捕獲圖像中更多像素的特征，對于復雜背景下缺陷的分類準確率有更大的提高，對現場的缺陷識別率可以達到95%以上。二維三維融合檢測，代替傳統的人工和二維檢測，三維信息是二維信息很好的補充，解決二維系統檢出率低、識別率低等問題，使得該系統在鋼廠智能制造方面發揮更大的作用。

2）本系統只針對圓鋼生產線，對異型鋼，如H型鋼、螺紋鋼等產線則缺乏一定經驗。在本系統 研究基礎上，向異型鋼以及高速（速度大于20 m/s）的生產線作進一步研究。

本文摘自《冶金自動化》2024年第1期