基于機器視覺的汽車線束外觀檢測方法研究

黃思博，蔡昭權，方曉彬，陳伽，蔡映雪

（惠州學院，惠州516007）

0 引言

隨著全球電子信息產業的快速發展，我國已成為全球線束及連接器增長最快和容量最大的市場[1]，其中，汽車線束作為汽車電路的網絡主體，其質量直接關系車輛的穩定性和安全性[2-3]。在線束生產和裝配過程中，最常見的缺陷包括線束端子包膠不良[4]、銅線過長、過短，線束沒有按照規定的顏色順序接插或漏線等不良，當前仍有不少企業在生產過程中采取人工目檢的方式對產品進行檢測，該方式容易受到視覺疲勞等因素影響而出現漏檢、誤檢，影響不良品的檢出效率，影響線束產品的良品率，且成本較高，無法滿足相關企業對線束產品質量的檢測要求。本文研究通過機器視覺方法替代傳統的人工檢測，基于HALCON 算法包研究汽車線束端子及線束線序的檢測方法，并通過C#和HALCON 聯合編程實現相關功能。

1 系統組成及檢測過程

線束端子及線序缺陷檢測系統由工業相機、可調節實驗工作臺、光學鏡頭、照明光源、相應的數據線和PC 組成。其中，工業相機、工業鏡頭以及光源用于圖像采集，實驗工作臺可對相機和光源夾具進行水平和豎直方向的拉伸和微調，適應各種測試環境，滿足圖像采集過程中對視野的要求。

系統通過工業相機采集汽車線束圖像，針對單線端子和線束線材進行缺陷檢測，主要通過圖像預處理、Blob 分析、單線端子區域定位方法和孔洞銅線的特征分析、線束分割、線束顏色及混色線束特征提取分類等方法的研究，進行缺陷識別的算法設計和驗證，并通過HALCON 與C#的聯合編程實現。

2 圖像預處理

對圖像的預處理主要包括圖像灰度化和均值濾波。

將彩色圖像轉化為灰度圖像的過程稱為圖像的灰度化處理。對于灰度化的方式有分量法、最大值法、平均值法，加權平均法等。本文采用的灰度化方式是加權平均法，其定義為：

均值濾波器使用濾波器模板確定的鄰域內像素的平均灰度值代替圖像中的每個像素值，降低圖像灰度的尖銳變化，即模糊圖像的邊緣和輪廓。最簡單的均值濾波器是算術均值濾波器，定義為：

Sxy表示中心在點(x,y)處、大小為m×n 的矩形子圖像鄰域的一組坐標，算術均值濾波器在Sxy定義的區域內計算圖像g( s,t )的平均值，將其作為鄰域中心點的像素值f(x,y)。

3 線束定位與特征提取方法研究

在對汽車線束的端子和線材檢測前，需要對端子和線材進行定位以及特征提取。為了實現線束端子和線束線序的檢測，需要對端子和線束進行定位，并提取端子和線束的特征。對于線束端子，先通過Blob 分析方法，定位出感興趣區域，再通過閾值分割銅線區域，提取區域高度特征；對于線束而言，先通過模板匹配方法，定位出感興趣區域，再通過閾值分割出線束區域，提取顏色矩特征。

3.1 單線端子定位與特征提取方法研究

圖像中具有相似顏色、紋理等特征的區域，所組成的一塊連通區域，稱作Blob。而Blob 分析[5]是對圖像中相同像素的連通域進行分析和操作，從背景中分離出目標。

（1）單線端子Blob 分析定位方法研究

首先基于區域對圖像分割，利用閾值分割方法分割出處在閾值范圍內的圖像，定義如式（2）：

在HALCON 中，閾值分割的算子為：

threshold（GrayImage，Regions，80，255）

GrayImage 為輸入的灰度圖像，Regions 為閾值分割所獲取的區域，閾值范圍取80～255。如圖1（a）所示，紅色部分為分割出來的感興趣區域。由于閾值分割出來的結果中包含有不需要的部分區域，因此，需要調整分割后的區域形狀，調整區域的方法包括形態學處理、特征提取及篩選和區域形狀變化等。

其中選擇區域面積作為區域特征，區域的面積a就是區域內的點數 ||R ，定義如式（3）：

首先對閾值分割后的區域進行連通，HALCON 中連通區域的算子為：

connection（Region，ConnectedRegions）

感興趣區域Region 分散為連通域ConnectedRegions。如圖1（b）所示；

接著通過連通域分析，區域面積取400 到2000 作為閾值，篩選出需要的區域，如圖1（c）所示；

select_shape（ConnectedRegions，SelectedRegions，'area'，'and'，400，2000）

最后改變區域形狀，將篩選出的區域連接成一個包含銅線的大區域。HALCON 中區域形變的算子為：

shape_trans（SelectedRegions，RegionTrans，‘rectangle2'）

取'rectangle2'最小外接矩形參數作為形變結果，將篩選區域SelectedRegions 形狀改變為矩形區域RegionTrans，如圖1（d）所示。至此，完成通過Blob 分析方法的區域定位。

圖1 Blob分析定位

（2）單線端子特征提取研究

當端子中的銅線過長或者過短時，都會導致生產的汽車線束產品不良。因此，可在端子中的銅線部分提取特征，作為判斷依據。首先按照Blob 分析定位的區域將原圖像裁剪，如圖2（a）所示；接著使用7×7 均值濾波器平滑裁剪圖像，進行去噪處理和模糊邊緣，方便后期處理，如圖2（b）所示。

圖2 均值濾波

在RGB 顏色空間中，銅線區域難以從背景中通過閾值分割出來，因此將圖像轉換到更接近人視覺特性的HSV 顏色空間。HSV 模型中，H 分量圖像和S 分量圖像均可通過閾值分割出銅線區域。

圖3 HSV顏色空間

分割結果中往往包含干擾，通過區域形態學方法調整區域形狀。兩個區域R 和S 的交集是位于R 內且又位于S 內的所有點的集合，定義如式（4）：

在H 分量圖像中取10 至27 的閾值范圍，在S 分量圖像中取96 至172 的閾值范圍，分割出的結果中包含有非銅線區域，為過濾掉這些干擾，可取兩個分量圖像各自分割出的區域的交集，以獲取實際需要的區域。在HALCON 中利用以下閾值分割和區域交集的算子進行處理，效果如圖4（a）所示。

threshold（Hue，HRegions，10，27）

threshold（Saturation，SRegions，96，172）

intersection（HRegions，SRegions，HSRegion）

接著對區域進行閉運算，即先膨脹處理再腐蝕處理，可有效彌補裂縫。HALCON 中閉運算的算子為：

closing_circle（HSRegion，RegionClosing，3）

取3×3 圓形模板對有裂縫的HSRegion 區域進行閉運算，彌補裂縫獲取RegionClosing 區域；取500 到12000 的區域面積特征作為閾值范圍，篩選出需要的區域，改變區域形狀以方便處理，如圖4（b）所示。

圖4 形態學處理

最后，通過提取端子的上、下孔洞銅線區域的高度和數量，作為判斷端子好壞依據的特征。

3.2 線束定位與顏色特征提取方法研究

（1）線束定位方法研究

線束定位主要通過模板匹配實現，根據相似度的定義方式，可分為不同的模板匹配方式。基于灰度值的模板匹配[6]算法，是基于模板和圖像中的灰度值計算相似度進行匹配。最簡單的相似度量是計算模板與圖像之間差值的絕對值的總和（SAD）或所有差值的平方和（SSD），但易受光照變化影響。為適應不同的光照環境，須計算另外一種不隨光照變化而變化的相似度，即歸一化互相關系數（NCC），定義如式（5）：

NCC 通過計算圖像的平均灰度值和方差來消除光照變化的影響，系數范圍在-1 到1 之間，如果模板和圖像完全相似，則NCC=±1，反之如果NCC 值越接近0，則表示模板和圖像越不相似。在整個圖像中計算相似度是非常耗時的過程，為了提高算法速度，設置一個適當層數的圖像金字塔，減少需要檢查的位姿數量以及模板中點的數量，提高匹配速度。由于檢測的線束是雙排線束，線束連接器的正反面的形狀和細節不一致，因此，截取連接器的一部分和背景，作為基于灰度值的NCC 模板匹配的模板。

一般情況下，待測圖像目標物體的位姿與參考圖像目標物體的位姿往往是不同的，因此，需要對參考圖像中的感興趣區域的位姿進行適當調整。通過仿射變換[7]修正位姿。定義如式（6）：

創建模板后，通過模板在待測圖像中尋找目標物體，獲取目標物體的位姿。計算出參考圖像目標物體的位姿變化到待測圖像目標物體的位姿所需要的變換矩陣；再利用參考圖像感興趣區域的位姿，通過變換矩陣計算出待測圖像感興趣區域的位姿，這樣就獲取了待測圖像感興趣區域，即完成線束定位。

圖5 線束定位

（2）線束顏色特征提取方法研究

顏色矩[8]是一種非常簡單而有效的顏色特征，由于顏色分布信息主要集中在低階矩中，因此采用顏色的一階矩、二階矩和三階矩就足以表達圖像的顏色分布。定義如式（7）、（8）、（9）：

式中，N 表示圖像總像素數，Pi,j表示圖像第i 個顏色通道第j 個像素值，μi表示第i 個顏色通道上所有像素的均值，σi表示第i 個顏色通道上所有像素的標準差，Si表示第i 個顏色通道上所有像素的斜度的3次方根。

由于線束中包含有混色線，直接用閾值分割難以識別出混色線，因此需要選用其他顏色特征，如顏色矩。提取線束的顏色矩，僅采用顏色矩的一階矩和二階矩。由于在RGB 顏色空間中，線束區域難以從背景中通過閾值分割出來，因此在HSV 顏色空間中提取三個通道的顏色矩特征。

在H 分量圖像和S 分量圖像中通過閾值分割出部分線束區域，分別取25～230 和107～205 的閾值范圍，合并兩個區域，在HALCON 中閾值分割和區域合并的算子為：

threshold（Hue，HRegions，23，230）

threshold（Saturation，SRegions，107，205）

union2（HRegions，SRegions，HSRegion）

最后通過區域面積特征和寬度特征過濾掉不需要的區域，HALCON 中對應篩選的算子為：

select_shape （ConnectedRegions， SelectedRegions，['width'，'area']，'and'，[0，500]，[60，3000]）

這樣就可以有效分割出線束區域，并從中提取顏色矩特征。

圖6 線束特征提取

4 汽車線束外觀缺陷檢測識別

4.1 線束端子外觀缺陷檢測識別

通過Blob 分析方法分割出端子的銅線區域之后，計算銅線區域的數量和高度，并判斷端子好壞。在HALCON 中實現的關鍵代碼為：

count_obj（HSRegionTrans，Number）

area_center（HSRegionTrans，Area，Row，Column）

smallest_rectangle2（ObjectSelected，Row1，Column1，Phi，Length1，Length2）

count_obj 獲取銅線區域HSRegionTrans 的數量Number；area_center 主要獲取銅線區域HSRegionTrans的區域面積Area，根據區域面積判斷上、下孔洞銅線區域，上孔洞銅線區域面積一般大于下孔洞的；smallest_rectangle2 主要獲取銅線區域的區域高度Length2，即銅線像素長度。如果銅線區域有兩個，且上孔洞銅線區域高度在20 到24 范圍內，下孔洞銅線區域高度在8 到12 范圍內，則判斷端子為良品。

圖7 端子檢測識別

如果銅線區域只有一個，則判斷端子為不良品。銅線過長的不良品，端子上孔洞的銅線區域高度，一般要高于銅線過短的不良端子下孔洞的銅線區域高度。不良端子的識別結果如圖8 所示。

圖8 端子檢測識別

4.2 線束線序外觀缺陷檢測識別

采用BP 神經網絡[9]構造MLP（多層感知器）分類器，層數為3 層，提取實驗樣品線束在HSV 三個通道的顏色矩（一階矩和二階矩）共6 個數據作為輸入，即輸入層有6 個節點；需要識別的顏色有12 種，即輸出層有12 個節點；隱藏層節點個數一般在輸入層節點個數和輸出層節點個數之間，這里取8 個隱藏層節點。接著取一組不同線束的顏色矩作為訓練數據，如表1所示。

表1 訓練數據

MLP 分類器訓練完成后即可檢測是否存在漏線、誤配線等缺陷。檢測結果如圖9 所示。

圖9 線束檢測識別

5 軟件實現

系統界面采用C#語言制作的圖形化顯示界面，其界面如圖所示。主要功能包括讀取采集圖像，檢測圖像缺陷，顯示檢測區域，顯示檢測結果。對端子和線束線序的檢測功能和結果如圖10 所示。

6 結語

本文通過研究基于機器視覺方法對汽車線束端子和線序進行自動檢測，以提升檢測精度和速度，改善現有人工目檢易誤檢、漏檢的缺陷，進而提升企業線束產品的良品率。本文基于HALCON 機器視覺算法包，設計了圖像預處理方法和基于Blob 分析、模版匹配的定位方法，并提取區域特征實現對線束端子的缺陷檢測，通過提取顏色特征結合BP 網絡實現線束線序的檢測，最后基于C#和HALCON 混合編程實現，具有較好的實用價值。

圖10 線束端子及線束線序檢測結果