基于圖像的汽車線束結構檢測

黃新康 袁嫣紅

摘? 要： 針對汽車線束檢測項種類結構繁多、位置角度多變，以及人工檢測效率低、漏檢率高等問題，提出基于圖像的汽車線束結構檢測方案。通過匹配數據庫汽車線束字符自動切換線束檢測算法，結合各種圖像檢測傳統算法和深度學習檢測算法，實現不同線束各檢測項的普適檢測。應用到汽車線束生產檢測中，平均誤報率為2.38%，漏報率為0，證明了該檢測方案能準確高效地完成不同汽車線束的檢測。

關鍵詞： 汽車線束； 圖像檢測； 傳統檢測算法； 深度學習檢測算法； 人機界面

中圖分類號：TP391.4? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）06-129-05

Image-based detection of automobile wiring harness structure

Huang Xinkang1，2， Yuan Yanhong1

（1. College of Mechanical Engineering， Zhejiang University of Technology， Hangzhou， Zhejiang 310018， China;

2. Xinchang Research Institute of Zhejiang University of Technology）

Abstract： An image-based automobile harness structure detection scheme is proposed to solve the problems such as various types and structures of automobile harness detection items， variable position angles， and low efficiency and high leakage rate of manual detection. The harness detection algorithm is automatically switched by matching the automotive harness characters in the database. Combining various traditional image detection algorithms and deep learning detection algorithms， universal detection of different harness detection items is achieved. In the actual application to automobile harness production detection， the average false alarm rate is 2.38%， and the missed alarm rate is 0. It proves that the detection scheme can accurately and efficiently complete the detection requirements of different automobile harness.

Key words： automobile wiring harness; image detection; traditional detection algorithm; deep learning detection algorithm; interface

0 引言

汽車線束，被稱為汽車的神經網絡，它起著連接汽車各部分為一個整體的重要作用。汽車線束的零部件生產工藝已經比較成熟，由于汽車線束具有線材柔軟、種類多、要求高、定位不準和部分特征不明顯等特點，導致汽車線束的成品檢測比較困難，人工全檢效率低、準度差。同時汽車線束的生產具有周期性的特點，針對單一特定線束設計的檢測方案不適用其他生產周期的汽車線束檢測，并且即使是單一線束生產也偶爾會增減特定的檢測項導致檢測方案不適用。

常用的汽車線束檢測算法如模板匹配、特征匹配等難以應對汽車線束易變形、定位不準、特征不明顯和車間環境光變化的問題[1]，采用深度學習目標檢測算法雖然可以準確檢測，但汽車線束檢測項繁多導致訓練成本極高，而且不能應對檢測不同線束的問題。因此，研發一種高效、準確并適用于常用汽車線束的檢測方案，對于企業生產和汽車線束檢測研究具有重要的意義。

1 汽車線束檢測內容與檢測方案整體設計

目前國內尚無完全自動化的汽車線束組裝生產機械，企業一般采用流水線作業來提高線束的生產效率[2]，如圖1所示。依據線束的結構特征，設計的流水線和相應的線束工裝板。線束工裝板在流水線上循環，由工位1開始組裝到工位12結束，裝配成一個完整的線束，拿掉線束后空板回到工位1繼續循環。

各工位工人使用扎帶、膠布、膠帶等緊固件將線束固定成型，如圖2所示，下圖紅框中扎帶、膠布、膠帶統稱為汽車線束上的緊固件，各緊固件在工裝板上都有位置、長度、角度等要求，正是緊固件數量、種類和位置不同導致汽車線束結構不同從而形成形態各異的汽車線束。

1.1 汽車線束檢測內容與檢測要求

由于人工裝配的不確定性，扎帶、膠布和膠帶的三種緊固件裝配數量、位置可能出現錯誤，因此汽車線束的檢測項即為線束上的緊固件：扎帶、膠布、膠帶，如圖3所示。各種緊固件組合成不同的汽車線束，通過調研常用汽車線束，歸納汽車線束上需要檢測的緊固件種類，其中緊固件中常用檢測扎帶有12種，膠布種類只有一種但有不同長度的要求，膠帶是采用在線束上互壓膠帶寬度1/2的方式全纏而成[2]，膠帶互壓過程中會產生凸起的帶痕，因此膠帶不僅有長度的差別，還有左纏膠帶和右纏膠帶的區別。

1.2 汽車線束檢測方案整體設計

汽車線束在工裝板上進行裝配，工裝板在流水線上循環，工位12完成線束最后一道裝配任務，工裝板由氣缸推入檢測區域，工裝板到達指定位置后觸發位置傳感器輸出給PLC，PLC與相機通信，相機開始線束圖像采樣，經過算法判定，判定結果信號輸出到PLC，PLC控制線束機械臂抓取線束，根據判定結果將線束放入到線束不同分類區，然后機械臂回到原點，氣缸推動空工裝板到工位1，繼續循環，如圖4所示。

針對汽車線束檢測項不同特性采用不同的檢測算法。特征明顯容易識別的汽車線束檢測項采用傳統檢測算法，特征不明顯難以識別的檢測項采用深度學習檢測算法，結合傳統檢測算法與深度學習檢測算法既能高效準確地完成汽車線束檢測，又能節省檢測算法開發成本，如圖5所示。

2 汽車線束圖像硬件選型與圖像預處理

2.1 圖像采集系統硬件選型

圖像采集系統是圖像檢測的基礎，選型圖像采集硬件系統需要考慮汽車線束檢測項檢測內容、檢測要求、機械結構、檢測環境等[3]。

相機選型決定著拍攝圖像質量的高低。因汽車線束是組裝到工裝板上，拍攝汽車線束的范圍不得小于工裝板大小，工裝板標準長寬170mm*40mm，檢測精度要求0.1mm，同時線材類需要顏色檢測、檢測范圍廣、檢測時間長、檢測精度要求不高等特點，選擇相機型號為MV-CE200-10GM，部分參數如表1所示。

鏡頭選型決定了機器視覺系統成像的特性。汽車線束拍攝工作距離為60cm～90cm，針對線束不需要大光圈、視野寬等特點，選擇鏡頭型號為MVL-KF0814M-12MPE，部分參數如表2所示。

光源選型決定機器視覺系統成像的質量。汽車線束檢測項檢測環境寬廣、空間密封、檢測項主體為黑色，經實驗后選擇兩塊方形白色光源LTDS-H-300-W均勻對稱分布在相機兩側。

圖像采集系統搭建與調試

根據以上各部件選型及檢測環境、機構搭建圖像采集硬件系統如圖6所示，調試出最佳拍攝效果，拍攝圖像成像質量高、檢測內容畫面清晰、特征明顯，證明圖像采集硬件選型準確合適，如圖7所示。

2.2 圖像預處理

原始的拍攝圖含有大量干擾區域，并且部分檢測特征不明顯清楚，在進行圖像算法設置前需要對原始拍攝圖進行預處理，其中主要包括：ROI區選取與灰度化、圖像濾波、圖像增強等。

2.2.1 ROI區選取與圖像灰度化

在圖像處理領域，ROI是指在原始圖像中選擇的一個合適圖像區域，排除干擾信息，減少計算機運算量，后期只對該區域做進一步處理。同時為獲得更豐富的缺陷特征信息，相機所拍攝的圖像為RGB三通道位圖圖像，信息量較大，為降低上位機的數據處理量，需將采集到的圖像進行單通道灰度化處理。

2.2.2 圖像濾波

由于檢測系統工作環境惡劣，圖像在拍攝和傳輸過程中會受到隨機干擾信號的影響，導致采集到的圖像存在一定的噪聲[3]。這些干擾源在硬件上是無法避免的，因此有必要在處理算法上對圖像進行濾波，以降低噪聲，從而提高檢測的準確性。

2.2.3 圖像增強

圖像增強的目的是改善圖像的局部或整體特征，根據研究的需要對圖像進行特定的處理，提高圖像的判斷和識別效果[4]。

經過圖像預處理后圖像干擾信息大大減少，檢測項特征清晰明顯，如圖8所示，說明圖像預處理效果合適明顯。

3 汽車線束檢測算法設計

3.1 汽車線束智能切換檢測算法

一個完整的汽車線束檢測項是由常用檢測項其中的某幾項組合而成，因此在檢測不同線束或者同種線束加/減某個特定檢測項時，只需增刪對應的檢測項算法就行，從而實現汽車線束檢測模塊化，這樣大大提高了汽車線束檢測算法的普適性以及便捷性。

step 1 建立汽車線束樣本資料庫：將幾種常用的汽車線束字符與其對應的檢測項信息錄入數據庫以供后續算法調用。

step 2 由于線束是安裝在工裝板上，對工裝板的匹配定位就是對線束的匹配定位，識別線束字符判斷生產線束是否為目標生產線束，如圖9所示，如果用錯工裝板應及時更換，避免浪費工時。

step 3 得到線束字符后匹配數據庫中的線束字符，自動調用數據庫中線束字符對應的線束檢測項種類、數量、位置ROI區信息實現自動化切換檢測不同汽車線束的目的。

3.2 基于混合技術的圖像檢測算法

汽車線束檢測項繁多，相比單一使用某一種檢測方法檢測汽車線束，針對不同檢測項、不同檢測要求選取不同檢測算法或融合多種檢測方法，使得檢測整體汽車線束變得更高效、準確。

3.2.1 基于YOLO算法的深度學習目標檢測算法

固定扎帶檢測因在特殊角度下不同扎帶表現出的特征非常相似，如圖10所示，導致檢測易產生漏報；膠布檢測因膠布兩端通常緊挨扎帶，導致檢測長度失誤出現漏報；膠帶檢測因膠帶特征不明顯且特征不固定導致誤報率高且出現漏報。這三項要求用傳統檢測方法不能控制漏報為0，采用深度學習目標檢測算法可以實現準確地檢測。

step1 對線束樣本進行數據采集，線束樣本的主要部件為多角度的固定扎帶，膠布，左旋膠帶，右旋膠帶。本次實驗共對1000組線束進行數據采集，再對采集圖像進行數據清洗，篩選掉由于抖動、對焦不準等原因導致的模糊樣本圖，得到高質量的線束樣本圖像895張，如表4所示，其中圖像的分辨率為5472×3648。

step2 根據汽車線束數據集大小和檢測要求精度選擇YOLOv5s.pt進行預訓練從而加快后續訓練速度，然后導入汽車線束數據集和驗證集，修改訓練路徑開始模型訓練，啟用tensorbord查看訓練結果，mAP數值逐漸提高后趨于平穩值0.9左右，如圖11所示。

step3 模型訓練完會產生一個最好的權重文件best.pt，導入驗證圖片測試權重文件，測試圖片中需要檢測的扎帶、膠布、左旋膠帶都能準確地識別出來，且準確率均大于0.8，如圖12所示。

3.3 傳統檢測算法設計

除以上采用深度學習的三項檢測項外，其余特征明顯容易識別的檢測項采用傳統檢測算法可以減少檢測成本，檢測運行高效便捷。

3.3.1 基于圖像邊緣梯度的NCC匹配算法

由于汽車線束的裝配是在車間流水線上，檢測環境無法做到完全封閉，即使有專用的光源補充，拍攝環境光也會隨著時間或者遮蓋發生變化。常規模板匹配算法cv2.matchTemplate是基于像素的匹配算法[5]，很容易受光照的影響導致誤報。

基于圖像邊緣梯度的NCC模板匹配算法對圖像光照與像素遷移都有很強的抗干擾能力[6]，如圖13所示。在檢測特征明顯的扎帶匹配算法上，基于圖像邊緣梯度的NCC模板匹配算法在魯棒性、運算速率、精準度上是優于已有的模板匹配算法，如表5所示。

3.3.2 其他傳統檢測算法

由于檢測項與線材顏色有灰度上的差異，當存在檢測項時則有線束橫向的一個寬度值，不存在檢測項時則沒有，所以可采用間距測量算法檢測有無。除此之外，還有相似度檢測算法、顏色檢測算法等運用于汽車線束檢測的不同檢測場景，即使是同一個檢測項，可采用的檢測算法也不止一種，檢測準度、速度、魯棒性等也是不一樣的[7]。

3.4 人機界面及檢驗成果

設計人機交互界面，便于工人查看汽車線束檢驗狀態，包括顯示當前線束拍攝示意圖、統計生產數據、檢測結果等，如圖14所示。

我們對常用五種汽車線束進行算法檢驗，基于圖像的汽車線束結構檢測方案平均每小時檢測線束數量846個，誤報率在2.38%，漏報率為0，結果證明了該檢測方案可以實現對不同線束不同檢測項的準確高效檢測。

4 總結與展望

本文設計了基于圖像的汽車線束結構檢測系統，調研總結汽車線束常用檢測項，針對不同檢測項單獨設計檢測算法，結合傳統檢測算法與深度學習檢測算法實現對汽車線束檢測項高效準確的檢測。通過算法與數據庫的通訊實現對汽車線束的智能切換檢測方案，提高檢測算法的普適性。設計簡潔明了、便于操作的人機交互界面，方便工人更換不同汽車線束檢測算法、導出檢測統計數據。設計的系統不僅為企業提高了汽車線束生產效率，同時也給線束檢測領域提供了一種新思路。

參考文獻（References）：

[1] 李秀娟，李貝貝，于心俊.線束端子在線檢測系統[J].自動化

儀表，2015，36（6）：65-68

[2] 雷敏華，陳良.基于機器視覺的端子尺寸檢測系統[J].機電工

程技術，2013（7）：27-29

[3] MackenzieM，Tieu K.Gaussian filters and filter synthesis

using aHermite/Laguerre neural network[J].IEEE Transactions on Neural Networks，2004，15（1）：206

[4] 嚴攀.基于目標檢測的汽車線束外觀檢測應用研究[D].碩士，

電子科技大學，2020

[5] 趙旦峰，王博，楊大偉.一種邊緣定向平滑圖像插值算法[J].

電子與信息學報，2012，34（7）：1543-1546

[6]張相勝，焦鵬，潘豐.基于機器視覺的汽車線束壓接缺陷檢測

系統[J].儀表技術與傳感器，2020（3）：73-7

[7] 馮策，戴樹嶺.一種改進的非銳化掩模深度圖像增強算法[J].

哈爾濱：哈爾濱工業大學學報，2014，46（8）：107-112