基于機器視覺的工業零件焊接圖像缺陷檢測

肖衡

三亞學院 信息與智能工程學院，海南三亞 572022

0 引言

在工業生產中，焊接是一項非常重要的工藝，被廣泛應用于各種機械設備、汽車、航空航天等領域。隨著工業零件生產制造行業的不斷發展，工廠對于工業零件加工制造工藝及產品質量的把控也變得日益嚴格。工業零件焊接的質量與外觀成為人們購買時的主要考慮因素，良好的外部焊接對于工業零件的保護作用是十分重要的，完好的焊接技術不僅可以提升工業零件的機械性能，而且還能起到保護作用，有效地防止外部空氣與水分對工業零件造成侵蝕破壞。然而，由于工業零件焊接工藝水平的限制以及生產環境的不確定性等因素，造成工業零件焊接表面產生不同程度的缺陷，因此，及時準確地檢測焊接缺陷對于保證產品質量、提高生產效率和保障工人安全具有重要意義。近年來，隨著計算機視覺和深度學習技術的發展，工業零件焊接圖像缺陷檢測技術取得了很大的進展。通過對焊接圖像進行數字化處理和分析，可以有效地檢測和識別焊接缺陷并實現自動化檢測，提高了檢測效率和準確性。因此，工業零件焊接圖像缺陷檢測成為了一個研究熱點，相關技術也被廣泛應用于實際生產中。

文獻[1]提出基于卷積神經網絡的帶鋼表面缺陷圖像檢測方法：選擇了Faster-RCNN、YOLOv4、CenterNet 3 種不同的方法，分別用 Python 編程實現了這3 種方法的設計，并將其用于帶材表面質量的檢測。該方法對焊接圖像缺陷檢測的效率較好，但是檢測誤差較大。文獻[2]提出基于改正二維主成分分析的焊縫表面缺陷檢測方法：通過對采集到的視頻幀圖像進行預處理，獲取焊接區域塊圖像；采用均值更新的增量二維主成分分析方法，對已有的樣本數據進行遞增，以提高模型的收斂速度；最終，采用模糊神經網絡將已有的模型特征與焊接區域分類進行關聯，實現焊接區域的實時檢測。該方法的檢測準確率較好，但檢測效率較差。

針對上述問題，提出基于機器視覺的工業零件焊接圖像缺陷檢測。

1 工業零件焊接圖像預處理

考慮到所有待檢測圖像均為工業零件焊接現場采集，在采集過程中，由于受到生產環境與人為因素的各種影響，導致出現不同程度的圖像噪聲，因此，為了保證工業零件焊接圖像質量，在提取圖像缺陷特征以及識別圖像缺陷之前，需要對工業零件焊接圖像進行預處理。圖像濾波是圖像預處理的一個重要環節，此次采用理想低通濾波技術對焊接圖像進行濾波處理，濾除焊接圖像噪聲。以焊接圖像頻譜中心點為中心劃分的圓形區域，原始焊接圖像在該圓形區域內通過，在通過過程中，圓形區域內的所有頻率均不會衰減，圓形區域外的焊接圖像頻率均被濾除，通過函數用公式表示為：

其中，H表示理想低通濾波器的通過函數，又稱傳遞函數，傳遞結果分為“1”、“0”兩種，“1”表示通過，“0”表示阻擋；S(u, v)表示理想低通濾波器的截止頻率；W表示缺陷圖像頻譜中心點到圖像中心點的距離，如果理想低通濾波器的截止頻率小于圖像頻譜中心點到圖像中心點的距離，則圖像頻率被保留，否則被阻擋。假設焊接圖像各個點的能量在傳遞過程中未被損失，其能量總額為：

其中，F表示傳遞過程焊接圖像各個點的能量總和；f(x, y)表示焊接圖像像素；x、y分別表示焊接圖像像素點在像素坐標系中的橫坐標與縱坐標[3]。將圖像頻率為中心半徑的圓形區域覆蓋焊接圖像，對其進行低通理想濾波，則濾波后的圖像為：

其中，B表示低通理想濾波處理后的工業零件焊接圖像[4]。考慮到焊接圖像采集環境光照變化影響，拍攝到的焊接圖像亮度不均，故在濾波處理基礎上對圖像進行增強處理，此次采用高斯尺度算子對焊接圖像進行增強，其用公式表示為：

其中，B*(x,y)表示增強處理后的焊接圖像像素；γ表示一個參量矩陣；c表示高斯環繞尺度[5]。按照以上流程對圖像濾波、增強處理，為后續焊接圖像分割、缺陷特征提取以及識別檢測奠定基礎。

2 焊接圖像分割

原始圖像由前景與背景兩部分組成，前景為圖像中工業零件焊接區域，背景為除目標以外的區域。為了準確識別到圖像缺陷，方便圖像缺陷特征提取，對處理后的焊接圖像分割，將圖像前景與背景分離[6]。考慮到焊接圖像中背景區域灰度值小于前景區域像素，故此次焊接圖像分割采用閾值分割法。閾值分割是將焊接圖像中所有像素點灰度值與閾值比較，灰度值小于閾值的像素點為焊接圖像背景，灰度值大于閾值的像素點為焊接圖像前景[7]。由于原始焊接圖像為彩色圖像，所以在閾值分割前，將三通道的紅、黃、藍彩色圖像轉化為單一通道的灰度值圖像，即將所有圖像像素點灰度級用0 ～255 灰度范圍的數字表示。圖像轉換為灰度值圖像后，確定閾值，閾值取值是否合理非常關鍵，根據灰度圖像像素點與鄰近區域的標準差和均值計算出閾值，兩個參數計算公式為：

其中，m表示灰度焊接圖像上任意一個像素點鄰近像素區間集合的標準差；i表示鄰近像素區間集合中像素點數量；ei表示灰度焊接圖像上一個離散隨機變量；kB*(x, y)表示灰度焊接圖像的灰度分布概率函數；h表示灰度焊接圖像上任意一個像素點鄰近像素區間集合的均值，根據非負變換標準差與均值計算出自適應閾值，其計算公式為：

其中，?表示焊接圖像分割的自適應閾值；a、b分別表示兩個閾值參數[8]。將灰度焊接圖像中像素點灰度值與閾值比較，得到分割后的圖像為：

其中，g(x, y)表示分割后的工業零件焊接前景圖像[9]。通過以上對焊接圖像分割，提取到工業零件焊接圖像前景，實現圖像前景與背景分離。

3 基于機器視覺的圖像缺陷識別檢測

正常情況下，一個完好的工業零件焊接產品，其圖像中焊接輪廓不會出現未連接現象，即焊接輪廓是一個完整無損的整體，而如果是存在缺陷的焊接產品，其圖像中的焊接輪廓會出現未連接現象，連接的區域為連通域，未連接的區域為未連通域[10]。因此，在上述基礎上利用機器視覺技術對焊接前景圖像邊緣計算，提取到焊接圖像缺陷特征，對焊接圖像連通域計算，從而識別檢測到焊接圖像的缺陷。假設工業零件焊接圖像缺陷特征向量為U，根據焊接前景圖像邊緣密度與平均像素值計算出焊接圖像缺陷特征值，其計算公式為：

其中，Eg(x, y)表示工業焊接前景圖像的邊緣密度值；zg(x, y)表示工業焊接前景圖像的平均像素值； 表示工業焊接前景區域寬度值[11]。利用遞增函數對工業零件焊接圖像特征向量計算，確定工業零件焊接圖像連通域值，其計算公式為：

其中，ε表示工業零件焊接圖像前景連通域；λ表示遞增函數[12]。根據實際情況和檢查需求，設定一個閾值，將該閾值與公式（9）計算得到的圖像連通域比較，如果圖像連通域大于閾值，表示工業零件焊接圖像連接情況符合需求，焊接圖像不存在缺陷；如果小于閾值，則表示工業零件焊接圖像連接情況不符合需求，焊接圖像存在缺陷，以此識別檢測到焊接圖像缺陷，進而實現了基于機器視覺的工業零件焊接圖像缺陷檢測。

4 實驗分析

4.1 實驗準備與設計

完成上述基于機器視覺的工業零件焊接圖像缺陷檢測方法設計后，為實現對所提方法在實際應用中效果的檢驗，以下將采用對比實驗的方式對所提方法的適應性與可靠性進行檢驗。收集汽車零件焊接圖像為實驗數據樣本，共10 000 張，圖像均來自KHFF-A4F7工業相機，利用本次所提方法對該工業零件焊接圖像缺陷檢測。為了使實驗數據與實驗結果具有一定的說明性與可靠性，選擇文獻[1]提出的基于卷積神經網絡的焊接圖像缺陷檢測方法、文獻[2]提出的基于改正二維主成分分析的焊接圖像缺陷檢測方法作為實驗對比方法，以下分別用文獻[1]方法與文獻[2]方法表示。

按照上述流程對焊接圖像進行濾波、增強、分割，提取焊接圖像缺陷特征，以及識別檢測出焊接圖像缺陷，隨機抽取8 張工業零件焊接圖像缺陷檢測數據，具體檢測結果如表1 所示。

表1 工業零件焊接圖像缺陷檢測結果

實驗中，共識別檢測到5 624 張缺陷圖像樣本，所提方法基本可以完成工業零件焊接圖像缺陷檢測任務，以下對具體檢測效果進行驗證。

4.2 實驗結果與討論

以一幅汽車零件焊接缺陷圖像樣本為例，如圖1所示。該汽車零件焊接圖像存在單個氣孔，產生該缺陷的原因可能是焊接速度過快、電壓過大而導致的。圖1中存在大量噪聲，圖像清晰度較差，影響焊接缺陷檢測的準確性。利用上述3 種方法對汽車零件焊接圖像進行去噪處理，對比3 種方法的去噪效果，得出實驗結果如圖2 所示。

由圖2 可以看出，采用文獻[1]方法與文獻[2]方法對汽車零件焊接缺陷圖像進行去噪處理，獲取的去噪圖像仍存在一定的噪聲，圖像清晰度不高，去噪效果較差；采用所提方法得到的去噪圖像去除了圖像中的大量噪聲，去噪效果較好，獲取的圖像清晰度較高。

以精準率為3 種方法檢測精度評價指標，精準率可以反映出工業零件焊接圖像缺陷被正確檢測的準確率，其計算公式為：

其中，Accuracy表示工業零件焊接圖像缺陷檢測精準率；TP表示描述被正確檢測的正面樣本；FN表示描述被錯誤檢測的正面樣本。精準率越高，則表示圖像缺陷被正確檢測的準確性越高，實驗以檢測圖像樣本數量為變量，利用上述公式計算出不同樣本數量下3 種方法精確率，具體數據如圖3 所示。

從圖3 可以看出，3 種方法精確率均隨著檢測圖像樣本數量的增加而降低，但所提方法精確率始終高于兩種對比方法，并且精確率降低幅度比較小。當檢測圖像樣本數量達到10 000張時，所提方法精確率為94.5%，相比之下，文獻[1]方法與文獻[2]方法精確率均隨著檢測圖像樣本數量的增加而大幅度降低，當檢測圖像樣本數量達到10 000 張時，文獻[1]方法的精確率為67.5%，文獻[2]方法的精確率為63.0%。由此證明，在工業零件焊接圖像缺陷被正確檢測的準確性方面，所提方法優于其他兩種方法。

為了進一步驗證所提方法的適用性，對3 種方法誤檢率進行對比，誤檢率可以反映出圖像缺陷被錯誤檢測為無損圖像的概率，其計算公式為：

其中，False表示工業零件焊接圖像缺陷檢測誤檢率。誤檢率越高，則表示圖像缺陷被錯誤檢測為無損圖像的概率越高。實驗以工業零件焊接圖像信噪比為變量，圖像信噪比水平范圍在0 ～18 dB 之間，利用上述公式計算出不同信噪比圖像下3 種方法誤檢率，使用電子表格對實驗數據記錄，具體數據如表2 所示。

表2 3 種方法誤檢率對比（%）

從表2 中數據可以看出，本次實驗中所提方法誤檢率相對比較低，雖然3 種方法誤檢率均隨著檢測圖像信噪比值的降低而增長，但是所提方法增長幅度比較小，當檢測圖像信噪比值為0 dB 時，所提方法誤檢率僅為0.76%，可以將誤檢率控制在1%以下；而兩種對比方法誤檢率均隨著檢測圖像信噪比值的降低而大幅度增長，當檢測圖像信噪比值為0 dB 時，文獻[1]方法誤檢率比所提方法高約12%，文獻[2]方法誤檢率比所提方法高約11%。所提方法采用了理想低通濾波器對焊接圖像進行了濾波處理，降低了焊接圖像數據信噪比水平，從而可以有效保證焊接圖像缺陷檢測的準確性。實驗證明，無論是在精準性方面還是在錯誤檢測概率方面，所提方法均表現出明顯的優勢，更適用于工業零件焊接圖像缺陷檢測。

5 結束語

焊接圖像缺陷檢測是工業零件焊接加工質量檢測的一個重要手段，此次以工業零件焊接圖像為研究對象，針對現階段檢測方法的不足之處，采用機器視覺技術設計了針對焊接圖像缺陷的檢測方法。實驗結果表明，該方法對工業零件焊接圖像的去噪效果較好，有效提高了工業零件焊接圖像缺陷檢測精度。此次研究為工業零件焊接圖像缺陷檢測提供了參考依據，有助于提升工業零件焊接缺陷檢測工作的智能化、自動化水平，具有良好的現實意義。