基于機器視覺的鋁巴表面缺陷檢測系統設計

摘 要：表面缺陷檢測是產品出廠前必不可少的一個環節，新能源汽車電池底座的鋁巴缺陷檢測以往是依靠人工目檢，但該方式效率低下、誤檢率高，且易受人的主觀因素影響。為了促進產線升級，通過Halcon與C#實現混合編程，設計一種基于機器視覺的鋁巴表面缺陷檢測系統。通過工業相機采集鋁巴圖像進行相應的閾值分割；采用Halcon算法的圖像處理方式，依據正常與缺失鋁巴間的差異選擇特征向量進行特征提取，進而判斷鋁巴是否缺失。該系統彌補了以往人工目檢方式存在的不足，實現了由傳統人工生產向半自動化生產的轉變。企業實際應用結果表明：所設計檢測系統的誤檢率為0%，相比于人工目檢省時26 min，達到了預期效果，能夠滿足實際需求。

關鍵詞：機器視覺；缺陷檢測；圖像處理；特征提取；誤檢率；人工目檢

中圖分類號：TP29；TP31 文獻標識碼：A 文章編號：2095-1302（2024）09-00-05

DOI：10.16667/j.issn.2095-1302.2024.09.004

0 引 言

隨著科技的進步和社會的發展，工業生產技術越來越成熟，工業的發展已經逐漸從工業3.0階段步入工業4.0階

段[1-2]，以智能化生產控制為主的產業日益增多，眾多先進的生產技術被運用于生產生活中，其中機器視覺技術是智能化時代的核心技術之一。鋁巴作為新能源汽車電池底座上的零部件，起到導電和固定的作用。若鋁巴不良品被安裝到汽車上，則會影響電池系統的正常運轉，嚴重時可引發短路，造成嚴重事故。為了避免類似現象發生，本文研究使用機器視覺代替傳統人工完成對鋁巴表面缺陷的檢測，防止不良品流向市場。

以往的鋁巴缺陷主要依靠人工目檢，在實際操作中存在效率低下、誤檢率高且易受人的主觀因素影響等問題，無法滿足大規模生產需求，不符合現代化生產規范。近年來，計算機技術取得了長足的進步，基于機器視覺的表面缺陷檢測技術已經在多種場景下得到應用，如農產品表面缺陷檢測[3]、復合材料表面缺陷檢測[4]、織物表面缺陷檢測[5]、電子器件表面缺陷檢測[6]。由此可見，將機器視覺技術應用到金屬表面缺陷檢測是切實可行的，這也為本文的研究提供了

參考。

隨著圖像處理技術的發展，基于機器視覺的缺陷檢測方法已逐漸取代人工檢測方法，并在工業現場生產檢測環節得到了實踐應用[7-9]。本文研究的基于機器視覺的鋁巴表面缺陷檢測系統能夠根據企業要求完成對鋁巴缺陷的檢測。該系統對促使檢測從傳統人工方式邁向半自動化方式有很大的促進作用。檢測過程中機器視覺系統發送信號指令給PLC，PLC接收和執行信號指令并控制機械臂帶動相機采集圖像，通過圖像采集卡將圖像的電信號轉換為數字信號。在算法中采用閾值分割對鋁巴進行定位得到感興趣區域，對該區域進行形態學處理和特征提取后得到精確位置，根據所提取特征向量的周長值大小判斷鋁巴是否缺失。

1 檢測系統硬件選型及結構

1.1 檢測內容

正常鋁巴的大小一致，為銀白色，呈圓環形，內圓半徑為

6.8 mm，外圓半徑為47.3 mm。

鋁巴檢測要求：能檢測出鋁巴缺失；能在系統頁面顯示出缺陷鋁巴的個數；檢測單條物料時間應少于10 s；誤檢率不超過1%。

1.2 系統組成及其原理

機器視覺系統一般以計算機為中心，主要由視覺傳感器、圖像采集系統、圖像處理系統以及結果顯示系統組成，并綜合了機械、光學、計算機軟硬件、電學、控制工程等多學科與技術。其工作原理是使用圖像采集系統和圖像處理系統來模擬人類視覺功能，從采集到的目標圖像中提取信息并進行處理，獲得所需的檢測對象信息，并加以分析和判斷，將最終結果傳輸給硬件設備，以指引設備的下一步動作。

1.3 硬件選型

1.3.1 光源設備的選擇

在機器視覺檢測系統中，相機采集圖像的質量嚴重影響著后續一系列圖像算法的效果，而光源的優劣直接影響圖像的質量。合適的光源是保證圖像質量的關鍵因素之一，能夠最大程度凸顯出圖像的特征，有助于程序進行圖像處理。選取光源需結合亮度、穩定性、溫度等參數，本文研究采用的設備型號為OPT-LDB15015K-K，它是一種穹頂光源，具有發光覆蓋面廣、光源亮度均勻的特點。

1.3.2 相機的選擇

市面上的相機可分為CCD（Charge-Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）兩大類。CCD具有信號輸出一致性好、色彩還原能力佳等優點；CMOS具有芯片功耗低、曝光時間短等優點。選取相機要結合待測產品的大小、視野范圍、測量精度、分辨率、曝光時間等參數。本文采用CMOS類海康威視2 000萬像素相機，該設備型號為MV-CS200-10GC，它是一種可以采集彩色圖像的相機，能夠滿足鋁巴圖像采集的需求。

1.3.3 鏡頭的選擇

除光源和相機外，另一影響圖像質量的重要部件則是光學鏡頭，其優劣直接影響圖像算法的效果[10]。鏡頭起到聚焦的作用，常根據光圈數、焦距、工作距離等參數選取。其兩側上下分布有旋鈕，上面旋鈕控制光圈，起到調節光源亮度的作用；下面旋鈕控制焦距，起到調節圖像清晰度的作用。本文研究采用的設備型號為OPT-DC25M20，它是一種

FA（Factory Automation）鏡頭。

1.4 檢測流程及結構

系統啟動時向PLC發送移動信號，向相機發送采集圖像信號，PLC接收并執行該信號控制伺服電機（機械臂）帶動相機采集圖像。移動信號的點位是由X軸、Y軸、Z軸共同決定的，并在PLC中存儲；伺服電機移動到對應位置時，串口調試助手向系統發送指令，PLC執行指令并將結果發送給系統，進而控制相機采集圖像。圖像采集卡將圖像的電信號轉換為數字信號，經過編程軟件的圖像處理后完成分類識別，并將檢測結果顯示在系統主頁面。檢測系統結構示意圖如

圖1所示，流程如圖2所示。

2 鋁巴缺陷檢測算法原理及處理結果分析

2.1 閾值分割

本文研究的新能源汽車電池底座整體呈矩形，長、寬分別為1 267 mm、106 mm。對每條邊分11次進行圖像采集。在這種情況下，仍有很多背景區域。為了實現檢測目的，需要結合灰度、紋理、顏色等特征進行閾值分割，并提取感興趣區域圖像，這樣做能夠縮小檢測區域、縮短檢測時間。

文中針對鋁巴是否缺失進行判斷時，采用圖像分割技術依據灰度分布進行閾值分割，進而提取鋁巴所在圖像區域。原理是利用特定的閾值T對圖像f（x， y）進行運算，將其轉換成僅有0、1兩個灰度等級的二值圖像。黑色用0表示，白色用1表示，其表達式如下：

（1）

式中：g（x， y）為二值圖像。本文在二值圖像基礎上引入灰度圖像，使圖像的顏色信息更加豐富。由式（1）可知，閾值分割的核心問題為T值的確定，該值決定前景與背景的區分情況。大多數情況下，前景與背景閾值差異較小，無法完美地提取前景區域圖像，因此可通過2.2小節所述的形態學處理方法去除。下面介紹常用的閾值分割方法：實驗法、最大類間方差法。

2.1.1 實驗法

實驗法是對某些特征已知的圖像進行不同閾值設置的實驗，并通過人眼觀察閾值設置是否滿足要求。該方法的閾值確定是通過反復觀察并分析欲提取區域的灰度值而得出的，適用于前景和背景灰度閾值差異較大的情況。但該方法的分割效果易受主觀性影響。實驗法下的閾值分割圖像如圖3（a）所示。

2.1.2 最大類間方差法

最大類間方差法又稱為OTSU。采用該方法對圖像進行閾值分割時，選定的閾值應使前景、背景和整幅圖像三者間的平均灰度差異最大，其差異大小用方差表示。假設各灰度級概率為pk，以閾值T為界將圖像分為R1、R2兩組，每組的灰度級概率分別為：

（2）

式中：m表示圖像灰度等級。R1、R2兩組的灰度均值表示為：

（3）

R1、R2兩組間灰度的方差表示為：

（4）

式中：μ表示整幅圖像的灰度均值，其表達式為：

（5）

綜上所述，該方法的最優閾值應滿足式（4）的目標函數，且為最大值。其閾值分割圖像如圖3（b）所示。

鋁巴為圓環形，圖3中的白色區域即為在閾值范圍內的圖像。從圖3可以看出，兩種方法都能將前景提取出來；相比較而言，實驗法下的背景要比最大類間方差法的少很多，所以本文采用實驗法進行閾值分割。

2.2 形態學處理

經過閾值處理后的圖像在白色區域的周圍存在著大小不一、形狀各異的毛刺。采用形態學技術能夠有效地細化、修剪這些毛刺，從而提取出目標本質特征。

2.2.1 腐蝕

在圖像處理過程中，腐蝕（erosion）操作是通過算子減法來實現的，算子符號表示為，例如AB表示結構元素B對圖像A進行腐蝕操作，其公式如下：

AB={a|（a+b）∈A， （a∈A， b∈B）} （6）

腐蝕算子常用于消除物體周圍毛刺和多余的小區域，也可以使相近的兩個物體分開。本文通過腐蝕算子消除鋁巴周圍的毛刺，但內部也會出現黑點。圖4所示為腐蝕前與腐蝕后的圖像對比。

2.2.2 膨脹

在圖像處理中，膨脹（dilation）操作是采用算子加法來實現的，算子符號表示為⊕，若A和B是z2的集合，則A⊕B表示結構元素B對圖像A進行膨脹操作，其公式如下：

（7）

膨脹算子常用于填充物體內部的空洞和周圍的縫隙，也可以使相近的兩個物體連接在一起。本文通過膨脹算子填充內部出現的黑點，形成一個完整的鋁巴圖像。圖5所示為膨脹前與膨脹后的圖像對比。

2.3 特征提取

本文研究需要依據特征實現鋁巴缺陷的檢測分類。通過觀察正常與缺失鋁巴間特征上的差異，選取合適的特征值和特征向量進行特征提取，進而判斷鋁巴是否缺失。特征向量與特征值的選擇是特征提取的關鍵，依據閾值提取到的圖像區域經過形態學處理和連通后，不相連的部分將會被分散成獨立區域，考慮到檢測物體形狀、大小固定，可根據周長特征進行特征提取。

使用鋁巴輪廓線所占像素點表示周長特征，用鏈碼描述區域形狀，如：焊點的輪廓用x0L0L1...Ln表示，其中x0表示起點坐標，Li表示鏈碼字。根據歐幾里得度量標準，周長C的計算公式如下：

（8）

（9）

像素的鄰域鏈碼如圖6所示。

相機采集的單幅圖片包含4個鋁巴，經過圖像處理后像素周長總值范圍為4 000～5 000，若實際檢測值在該范圍內則系統識別為正常；若小于4 000，則系統識別為缺失。具體標準為：像素周長總值在3 000～4 000范圍內，系統識別為“缺失1個”；像素周長總值在2 000～3 000范圍內，系統識別為“缺失2個”；像素周長總值在1 000～2 000范圍內，系統識別為“缺失3個”；像素周長總值在0～1 000范圍內，系統識別為“缺失4個”。系統檢測結果如圖7所示。

3 檢測系統軟件設計及缺陷檢測結果

3.1 系統軟件設計

WPF是微軟推出的面向對象的用戶界面框架，可用于實現上位機界面設計、圖像處理算子調用以及與應用程序間的通信[11]。圖8為檢測系統軟件主頁面，該系統具有用戶登錄、料號切換等功能，包含圖像窗口、運行結果、設備狀態、運行數據、硬盤容量、PLC和相機狀態等顯示模塊。操作前將待測物料放入載具，打開該系統主頁面登入選擇料號，按啟動按鈕可實現檢測。

相機采集完單塊物料圖像后，程序會立即識別，并將結果顯示在上位機WPF頁面。系統啟動時該頁面可顯示鋁巴實時圖像，系統檢測完成時該頁面可顯示結果。后端程序會自動更新數據，并將日期、良品、不良品、所有產品、良率等數據顯示在該頁面相應區域，便于操作工人觀察。為了降低誤判率，本文添加了復判功能。當系統檢測出不良品時會自動彈出復判窗口，待人工復判后點擊相應選型即可。

Halcon是德國MVtec公司開發的視覺算法工具[12]，其本身擁有海量的算法，在圖像處理方面有著強大的功能，能夠滿足編寫鋁巴缺陷檢測算子的需求。在采集圖像后依據缺陷特征運用Halcon編程軟件編寫算子，通過閾值分割、腐蝕、膨脹、填充、連通、特征提取等算子實現檢測分類。其程序簡單明了，便于后期優化。

3.2 缺陷檢測結果

本文分別使用人工目檢、機器視覺對1 000塊物料進行檢測，然后比較時間、誤檢率、客觀條件、經驗要求、眼睛疲勞程度、成本等因素，結果見表1所列。實驗結果表明：本文設計的檢測系統誤檢率為0%，相比于人工目檢省時

26 min，達到了預期效果，能夠滿足實際需求。該系統的投入使用解決了以往鋁巴缺陷檢測效率低下、誤檢率高的問題。

4 結 語

本文設計的系統能夠有效代替人工目檢對鋁巴進行缺陷檢測，其利用閾值分割得到感興趣區域，對感興趣區域作形態學處理，選取最優的特征值和特征向量實現特征提取，從而實現對待檢測圖像的分類識別。該系統在實際使用中具有節時、省力、誤檢率低等優點，能將有缺陷的鋁巴圖片單獨保存到文件夾中，相較于人工目檢更能滿足企業檢測

所需。

檢測系統通過提取圖像內部特征實現對鋁巴表面缺陷的檢測，但生產過程中出現的特殊鋁巴沒有相關特征數據，無法對其進行準確識別，因此會出現少量誤判現象。后期將考慮加入SVM分類器，其內部產生的超平面可以將兩類數據最大限度地分開。兩類數據的一類為OK產品圖像，另一類為包含幾種缺陷類型的NG產品圖像。創建SVM模型后將訓練樣本添加到SVM中，可以使用支持向量機對特征向量進行分類，從而極大地降低誤判率。

注：本文通訊作者為潘盛輝。

參考文獻

[1]陳偉康，鄭豪.德國工業4.0成熟度標準最新研究[J].機械工業標準化與質量，2020，45（2）：15-16.

[2] BENITEZ G B，LIMA M，LERMAN L V，et al. Understanding industry 4.0： definitions and insights from a cognitive map analysis [J]. Brazilian journal of operations amp; production management，2019，16（2）：192-200.

[3] CHEN S H，LAI Y W，KUO C L，et al. A surface defect detection system for golden diamond pineapple based on CycleGAN and YOLOv4 [J]. Journal of King Saud University-computer and information sciences，2022，34（10）：8041-8053.

[4] LU L，HOU J，YUAN S，et al. Deep learning-assisted real-time defect detection and closed-loop adjustment for additive manufacturing of continuous fiber-reinforced polymer composites [J]. Robotics and computer-integrated manufacturing，2023，79：102431.

[5] ZHANG J，JING J，LU P，et al. Improved MobileNetV2-SSDLite for automatic fabric defect detection system based on cloud-edge computing [J]. Measurement，2022，201：111665.

[6] CHEN K，CAI N，WU Z，et al. Multi-scale GAN with transformer for surface defect inspection of IC metal packages [J]. Expert systems with applications，2023，212： 118788.

[7]張濤，劉玉婷，楊亞寧，等.基于機器視覺的表面缺陷檢測研究綜述[J].科學技術與工程，2020，20（35）：14366-14376.

[8]趙衛東，陳鳳，黃漢成，等.基于深度學習的電表字符缺陷檢測方法[J].安徽工業大學學報（自然科學版），2021，38（1）：76-81.

[9]化猛奇，許四祥，蔡永禎，等.基于雙目視覺與ROS的機器人去板坯毛刺方法[J].安徽工業大學學報（自然科學版），2021，38（1）：60-66.

[10]鄧細鳳.基于圖像處理的螺紋表面缺陷檢測技術研究[D].重慶：重慶大學，2013.

[11]趙偉鵬，潘盛輝，李鎮楠.基于機器視覺的連接器PIN針歪斜檢測系統設計[J].廣西科技大學學報，2023，34（2）：100-107.

[12]張偉超.基于HALCON的PCB缺陷在線視覺檢測系統[D].濟南：齊魯工業大學，2021.

收稿日期：2023-09-17 修回日期：2023-10-18

基金項目：廣西自然科學基金面上項目（2018GXNSFAA138122）

作者簡介：潘盛輝（1971—），男，碩士，副教授，研究方向為汽車電子控制技術、自動測試技術。

邱振武（1997—），男，在讀碩士研究生，研究方向為機器視覺、圖像處理。

趙偉鵬（1998—），男，碩士，研究方向為機器視覺、圖像處理。