基于圖像的汽車(chē)線(xiàn)束結(jié)構(gòu)檢測(cè)

黃新康 袁嫣紅

摘? 要： 針對(duì)汽車(chē)線(xiàn)束檢測(cè)項(xiàng)種類(lèi)結(jié)構(gòu)繁多、位置角度多變，以及人工檢測(cè)效率低、漏檢率高等問(wèn)題，提出基于圖像的汽車(chē)線(xiàn)束結(jié)構(gòu)檢測(cè)方案。通過(guò)匹配數(shù)據(jù)庫(kù)汽車(chē)線(xiàn)束字符自動(dòng)切換線(xiàn)束檢測(cè)算法，結(jié)合各種圖像檢測(cè)傳統(tǒng)算法和深度學(xué)習(xí)檢測(cè)算法，實(shí)現(xiàn)不同線(xiàn)束各檢測(cè)項(xiàng)的普適檢測(cè)。應(yīng)用到汽車(chē)線(xiàn)束生產(chǎn)檢測(cè)中，平均誤報(bào)率為2.38%，漏報(bào)率為0，證明了該檢測(cè)方案能準(zhǔn)確高效地完成不同汽車(chē)線(xiàn)束的檢測(cè)。

關(guān)鍵詞： 汽車(chē)線(xiàn)束； 圖像檢測(cè)； 傳統(tǒng)檢測(cè)算法； 深度學(xué)習(xí)檢測(cè)算法； 人機(jī)界面

中圖分類(lèi)號(hào)：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）06-129-05

Image-based detection of automobile wiring harness structure

Huang Xinkang1，2， Yuan Yanhong1

（1. College of Mechanical Engineering， Zhejiang University of Technology， Hangzhou， Zhejiang 310018， China;

2. Xinchang Research Institute of Zhejiang University of Technology）

Abstract： An image-based automobile harness structure detection scheme is proposed to solve the problems such as various types and structures of automobile harness detection items， variable position angles， and low efficiency and high leakage rate of manual detection. The harness detection algorithm is automatically switched by matching the automotive harness characters in the database. Combining various traditional image detection algorithms and deep learning detection algorithms， universal detection of different harness detection items is achieved. In the actual application to automobile harness production detection， the average false alarm rate is 2.38%， and the missed alarm rate is 0. It proves that the detection scheme can accurately and efficiently complete the detection requirements of different automobile harness.

Key words： automobile wiring harness; image detection; traditional detection algorithm; deep learning detection algorithm; interface

0 引言

汽車(chē)線(xiàn)束，被稱(chēng)為汽車(chē)的神經(jīng)網(wǎng)絡(luò)，它起著連接汽車(chē)各部分為一個(gè)整體的重要作用。汽車(chē)線(xiàn)束的零部件生產(chǎn)工藝已經(jīng)比較成熟，由于汽車(chē)線(xiàn)束具有線(xiàn)材柔軟、種類(lèi)多、要求高、定位不準(zhǔn)和部分特征不明顯等特點(diǎn)，導(dǎo)致汽車(chē)線(xiàn)束的成品檢測(cè)比較困難，人工全檢效率低、準(zhǔn)度差。同時(shí)汽車(chē)線(xiàn)束的生產(chǎn)具有周期性的特點(diǎn)，針對(duì)單一特定線(xiàn)束設(shè)計(jì)的檢測(cè)方案不適用其他生產(chǎn)周期的汽車(chē)線(xiàn)束檢測(cè)，并且即使是單一線(xiàn)束生產(chǎn)也偶爾會(huì)增減特定的檢測(cè)項(xiàng)導(dǎo)致檢測(cè)方案不適用。

常用的汽車(chē)線(xiàn)束檢測(cè)算法如模板匹配、特征匹配等難以應(yīng)對(duì)汽車(chē)線(xiàn)束易變形、定位不準(zhǔn)、特征不明顯和車(chē)間環(huán)境光變化的問(wèn)題[1]，采用深度學(xué)習(xí)目標(biāo)檢測(cè)算法雖然可以準(zhǔn)確檢測(cè)，但汽車(chē)線(xiàn)束檢測(cè)項(xiàng)繁多導(dǎo)致訓(xùn)練成本極高，而且不能應(yīng)對(duì)檢測(cè)不同線(xiàn)束的問(wèn)題。因此，研發(fā)一種高效、準(zhǔn)確并適用于常用汽車(chē)線(xiàn)束的檢測(cè)方案，對(duì)于企業(yè)生產(chǎn)和汽車(chē)線(xiàn)束檢測(cè)研究具有重要的意義。

1 汽車(chē)線(xiàn)束檢測(cè)內(nèi)容與檢測(cè)方案整體設(shè)計(jì)

目前國(guó)內(nèi)尚無(wú)完全自動(dòng)化的汽車(chē)線(xiàn)束組裝生產(chǎn)機(jī)械，企業(yè)一般采用流水線(xiàn)作業(yè)來(lái)提高線(xiàn)束的生產(chǎn)效率[2]，如圖1所示。依據(jù)線(xiàn)束的結(jié)構(gòu)特征，設(shè)計(jì)的流水線(xiàn)和相應(yīng)的線(xiàn)束工裝板。線(xiàn)束工裝板在流水線(xiàn)上循環(huán)，由工位1開(kāi)始組裝到工位12結(jié)束，裝配成一個(gè)完整的線(xiàn)束，拿掉線(xiàn)束后空板回到工位1繼續(xù)循環(huán)。

各工位工人使用扎帶、膠布、膠帶等緊固件將線(xiàn)束固定成型，如圖2所示，下圖紅框中扎帶、膠布、膠帶統(tǒng)稱(chēng)為汽車(chē)線(xiàn)束上的緊固件，各緊固件在工裝板上都有位置、長(zhǎng)度、角度等要求，正是緊固件數(shù)量、種類(lèi)和位置不同導(dǎo)致汽車(chē)線(xiàn)束結(jié)構(gòu)不同從而形成形態(tài)各異的汽車(chē)線(xiàn)束。

1.1 汽車(chē)線(xiàn)束檢測(cè)內(nèi)容與檢測(cè)要求

由于人工裝配的不確定性，扎帶、膠布和膠帶的三種緊固件裝配數(shù)量、位置可能出現(xiàn)錯(cuò)誤，因此汽車(chē)線(xiàn)束的檢測(cè)項(xiàng)即為線(xiàn)束上的緊固件：扎帶、膠布、膠帶，如圖3所示。各種緊固件組合成不同的汽車(chē)線(xiàn)束，通過(guò)調(diào)研常用汽車(chē)線(xiàn)束，歸納汽車(chē)線(xiàn)束上需要檢測(cè)的緊固件種類(lèi)，其中緊固件中常用檢測(cè)扎帶有12種，膠布種類(lèi)只有一種但有不同長(zhǎng)度的要求，膠帶是采用在線(xiàn)束上互壓膠帶寬度1/2的方式全纏而成[2]，膠帶互壓過(guò)程中會(huì)產(chǎn)生凸起的帶痕，因此膠帶不僅有長(zhǎng)度的差別，還有左纏膠帶和右纏膠帶的區(qū)別。

1.2 汽車(chē)線(xiàn)束檢測(cè)方案整體設(shè)計(jì)

汽車(chē)線(xiàn)束在工裝板上進(jìn)行裝配，工裝板在流水線(xiàn)上循環(huán)，工位12完成線(xiàn)束最后一道裝配任務(wù)，工裝板由氣缸推入檢測(cè)區(qū)域，工裝板到達(dá)指定位置后觸發(fā)位置傳感器輸出給PLC，PLC與相機(jī)通信，相機(jī)開(kāi)始線(xiàn)束圖像采樣，經(jīng)過(guò)算法判定，判定結(jié)果信號(hào)輸出到PLC，PLC控制線(xiàn)束機(jī)械臂抓取線(xiàn)束，根據(jù)判定結(jié)果將線(xiàn)束放入到線(xiàn)束不同分類(lèi)區(qū)，然后機(jī)械臂回到原點(diǎn)，氣缸推動(dòng)空工裝板到工位1，繼續(xù)循環(huán)，如圖4所示。

針對(duì)汽車(chē)線(xiàn)束檢測(cè)項(xiàng)不同特性采用不同的檢測(cè)算法。特征明顯容易識(shí)別的汽車(chē)線(xiàn)束檢測(cè)項(xiàng)采用傳統(tǒng)檢測(cè)算法，特征不明顯難以識(shí)別的檢測(cè)項(xiàng)采用深度學(xué)習(xí)檢測(cè)算法，結(jié)合傳統(tǒng)檢測(cè)算法與深度學(xué)習(xí)檢測(cè)算法既能高效準(zhǔn)確地完成汽車(chē)線(xiàn)束檢測(cè)，又能節(jié)省檢測(cè)算法開(kāi)發(fā)成本，如圖5所示。

2 汽車(chē)線(xiàn)束圖像硬件選型與圖像預(yù)處理

2.1 圖像采集系統(tǒng)硬件選型

圖像采集系統(tǒng)是圖像檢測(cè)的基礎(chǔ)，選型圖像采集硬件系統(tǒng)需要考慮汽車(chē)線(xiàn)束檢測(cè)項(xiàng)檢測(cè)內(nèi)容、檢測(cè)要求、機(jī)械結(jié)構(gòu)、檢測(cè)環(huán)境等[3]。

相機(jī)選型決定著拍攝圖像質(zhì)量的高低。因汽車(chē)線(xiàn)束是組裝到工裝板上，拍攝汽車(chē)線(xiàn)束的范圍不得小于工裝板大小，工裝板標(biāo)準(zhǔn)長(zhǎng)寬170mm*40mm，檢測(cè)精度要求0.1mm，同時(shí)線(xiàn)材類(lèi)需要顏色檢測(cè)、檢測(cè)范圍廣、檢測(cè)時(shí)間長(zhǎng)、檢測(cè)精度要求不高等特點(diǎn)，選擇相機(jī)型號(hào)為MV-CE200-10GM，部分參數(shù)如表1所示。

鏡頭選型決定了機(jī)器視覺(jué)系統(tǒng)成像的特性。汽車(chē)線(xiàn)束拍攝工作距離為60cm～90cm，針對(duì)線(xiàn)束不需要大光圈、視野寬等特點(diǎn)，選擇鏡頭型號(hào)為MVL-KF0814M-12MPE，部分參數(shù)如表2所示。

光源選型決定機(jī)器視覺(jué)系統(tǒng)成像的質(zhì)量。汽車(chē)線(xiàn)束檢測(cè)項(xiàng)檢測(cè)環(huán)境寬廣、空間密封、檢測(cè)項(xiàng)主體為黑色，經(jīng)實(shí)驗(yàn)后選擇兩塊方形白色光源LTDS-H-300-W均勻?qū)ΨQ(chēng)分布在相機(jī)兩側(cè)。

圖像采集系統(tǒng)搭建與調(diào)試

根據(jù)以上各部件選型及檢測(cè)環(huán)境、機(jī)構(gòu)搭建圖像采集硬件系統(tǒng)如圖6所示，調(diào)試出最佳拍攝效果，拍攝圖像成像質(zhì)量高、檢測(cè)內(nèi)容畫(huà)面清晰、特征明顯，證明圖像采集硬件選型準(zhǔn)確合適，如圖7所示。

2.2 圖像預(yù)處理

原始的拍攝圖含有大量干擾區(qū)域，并且部分檢測(cè)特征不明顯清楚，在進(jìn)行圖像算法設(shè)置前需要對(duì)原始拍攝圖進(jìn)行預(yù)處理，其中主要包括：ROI區(qū)選取與灰度化、圖像濾波、圖像增強(qiáng)等。

2.2.1 ROI區(qū)選取與圖像灰度化

在圖像處理領(lǐng)域，ROI是指在原始圖像中選擇的一個(gè)合適圖像區(qū)域，排除干擾信息，減少計(jì)算機(jī)運(yùn)算量，后期只對(duì)該區(qū)域做進(jìn)一步處理。同時(shí)為獲得更豐富的缺陷特征信息，相機(jī)所拍攝的圖像為RGB三通道位圖圖像，信息量較大，為降低上位機(jī)的數(shù)據(jù)處理量，需將采集到的圖像進(jìn)行單通道灰度化處理。

2.2.2 圖像濾波

由于檢測(cè)系統(tǒng)工作環(huán)境惡劣，圖像在拍攝和傳輸過(guò)程中會(huì)受到隨機(jī)干擾信號(hào)的影響，導(dǎo)致采集到的圖像存在一定的噪聲[3]。這些干擾源在硬件上是無(wú)法避免的，因此有必要在處理算法上對(duì)圖像進(jìn)行濾波，以降低噪聲，從而提高檢測(cè)的準(zhǔn)確性。

2.2.3 圖像增強(qiáng)

圖像增強(qiáng)的目的是改善圖像的局部或整體特征，根據(jù)研究的需要對(duì)圖像進(jìn)行特定的處理，提高圖像的判斷和識(shí)別效果[4]。

經(jīng)過(guò)圖像預(yù)處理后圖像干擾信息大大減少，檢測(cè)項(xiàng)特征清晰明顯，如圖8所示，說(shuō)明圖像預(yù)處理效果合適明顯。

3 汽車(chē)線(xiàn)束檢測(cè)算法設(shè)計(jì)

3.1 汽車(chē)線(xiàn)束智能切換檢測(cè)算法

一個(gè)完整的汽車(chē)線(xiàn)束檢測(cè)項(xiàng)是由常用檢測(cè)項(xiàng)其中的某幾項(xiàng)組合而成，因此在檢測(cè)不同線(xiàn)束或者同種線(xiàn)束加/減某個(gè)特定檢測(cè)項(xiàng)時(shí)，只需增刪對(duì)應(yīng)的檢測(cè)項(xiàng)算法就行，從而實(shí)現(xiàn)汽車(chē)線(xiàn)束檢測(cè)模塊化，這樣大大提高了汽車(chē)線(xiàn)束檢測(cè)算法的普適性以及便捷性。

step 1 建立汽車(chē)線(xiàn)束樣本資料庫(kù)：將幾種常用的汽車(chē)線(xiàn)束字符與其對(duì)應(yīng)的檢測(cè)項(xiàng)信息錄入數(shù)據(jù)庫(kù)以供后續(xù)算法調(diào)用。

step 2 由于線(xiàn)束是安裝在工裝板上，對(duì)工裝板的匹配定位就是對(duì)線(xiàn)束的匹配定位，識(shí)別線(xiàn)束字符判斷生產(chǎn)線(xiàn)束是否為目標(biāo)生產(chǎn)線(xiàn)束，如圖9所示，如果用錯(cuò)工裝板應(yīng)及時(shí)更換，避免浪費(fèi)工時(shí)。

step 3 得到線(xiàn)束字符后匹配數(shù)據(jù)庫(kù)中的線(xiàn)束字符，自動(dòng)調(diào)用數(shù)據(jù)庫(kù)中線(xiàn)束字符對(duì)應(yīng)的線(xiàn)束檢測(cè)項(xiàng)種類(lèi)、數(shù)量、位置ROI區(qū)信息實(shí)現(xiàn)自動(dòng)化切換檢測(cè)不同汽車(chē)線(xiàn)束的目的。

3.2 基于混合技術(shù)的圖像檢測(cè)算法

汽車(chē)線(xiàn)束檢測(cè)項(xiàng)繁多，相比單一使用某一種檢測(cè)方法檢測(cè)汽車(chē)線(xiàn)束，針對(duì)不同檢測(cè)項(xiàng)、不同檢測(cè)要求選取不同檢測(cè)算法或融合多種檢測(cè)方法，使得檢測(cè)整體汽車(chē)線(xiàn)束變得更高效、準(zhǔn)確。

3.2.1 基于YOLO算法的深度學(xué)習(xí)目標(biāo)檢測(cè)算法

固定扎帶檢測(cè)因在特殊角度下不同扎帶表現(xiàn)出的特征非常相似，如圖10所示，導(dǎo)致檢測(cè)易產(chǎn)生漏報(bào)；膠布檢測(cè)因膠布兩端通常緊挨扎帶，導(dǎo)致檢測(cè)長(zhǎng)度失誤出現(xiàn)漏報(bào)；膠帶檢測(cè)因膠帶特征不明顯且特征不固定導(dǎo)致誤報(bào)率高且出現(xiàn)漏報(bào)。這三項(xiàng)要求用傳統(tǒng)檢測(cè)方法不能控制漏報(bào)為0，采用深度學(xué)習(xí)目標(biāo)檢測(cè)算法可以實(shí)現(xiàn)準(zhǔn)確地檢測(cè)。

step1 對(duì)線(xiàn)束樣本進(jìn)行數(shù)據(jù)采集，線(xiàn)束樣本的主要部件為多角度的固定扎帶，膠布，左旋膠帶，右旋膠帶。本次實(shí)驗(yàn)共對(duì)1000組線(xiàn)束進(jìn)行數(shù)據(jù)采集，再對(duì)采集圖像進(jìn)行數(shù)據(jù)清洗，篩選掉由于抖動(dòng)、對(duì)焦不準(zhǔn)等原因?qū)е碌哪：龢颖緢D，得到高質(zhì)量的線(xiàn)束樣本圖像895張，如表4所示，其中圖像的分辨率為5472×3648。

step2 根據(jù)汽車(chē)線(xiàn)束數(shù)據(jù)集大小和檢測(cè)要求精度選擇YOLOv5s.pt進(jìn)行預(yù)訓(xùn)練從而加快后續(xù)訓(xùn)練速度，然后導(dǎo)入汽車(chē)線(xiàn)束數(shù)據(jù)集和驗(yàn)證集，修改訓(xùn)練路徑開(kāi)始模型訓(xùn)練，啟用tensorbord查看訓(xùn)練結(jié)果，mAP數(shù)值逐漸提高后趨于平穩(wěn)值0.9左右，如圖11所示。

step3 模型訓(xùn)練完會(huì)產(chǎn)生一個(gè)最好的權(quán)重文件best.pt，導(dǎo)入驗(yàn)證圖片測(cè)試權(quán)重文件，測(cè)試圖片中需要檢測(cè)的扎帶、膠布、左旋膠帶都能準(zhǔn)確地識(shí)別出來(lái)，且準(zhǔn)確率均大于0.8，如圖12所示。

3.3 傳統(tǒng)檢測(cè)算法設(shè)計(jì)

除以上采用深度學(xué)習(xí)的三項(xiàng)檢測(cè)項(xiàng)外，其余特征明顯容易識(shí)別的檢測(cè)項(xiàng)采用傳統(tǒng)檢測(cè)算法可以減少檢測(cè)成本，檢測(cè)運(yùn)行高效便捷。

3.3.1 基于圖像邊緣梯度的NCC匹配算法

由于汽車(chē)線(xiàn)束的裝配是在車(chē)間流水線(xiàn)上，檢測(cè)環(huán)境無(wú)法做到完全封閉，即使有專(zhuān)用的光源補(bǔ)充，拍攝環(huán)境光也會(huì)隨著時(shí)間或者遮蓋發(fā)生變化。常規(guī)模板匹配算法cv2.matchTemplate是基于像素的匹配算法[5]，很容易受光照的影響導(dǎo)致誤報(bào)。

基于圖像邊緣梯度的NCC模板匹配算法對(duì)圖像光照與像素遷移都有很強(qiáng)的抗干擾能力[6]，如圖13所示。在檢測(cè)特征明顯的扎帶匹配算法上，基于圖像邊緣梯度的NCC模板匹配算法在魯棒性、運(yùn)算速率、精準(zhǔn)度上是優(yōu)于已有的模板匹配算法，如表5所示。

3.3.2 其他傳統(tǒng)檢測(cè)算法

由于檢測(cè)項(xiàng)與線(xiàn)材顏色有灰度上的差異，當(dāng)存在檢測(cè)項(xiàng)時(shí)則有線(xiàn)束橫向的一個(gè)寬度值，不存在檢測(cè)項(xiàng)時(shí)則沒(méi)有，所以可采用間距測(cè)量算法檢測(cè)有無(wú)。除此之外，還有相似度檢測(cè)算法、顏色檢測(cè)算法等運(yùn)用于汽車(chē)線(xiàn)束檢測(cè)的不同檢測(cè)場(chǎng)景，即使是同一個(gè)檢測(cè)項(xiàng)，可采用的檢測(cè)算法也不止一種，檢測(cè)準(zhǔn)度、速度、魯棒性等也是不一樣的[7]。

3.4 人機(jī)界面及檢驗(yàn)成果

設(shè)計(jì)人機(jī)交互界面，便于工人查看汽車(chē)線(xiàn)束檢驗(yàn)狀態(tài)，包括顯示當(dāng)前線(xiàn)束拍攝示意圖、統(tǒng)計(jì)生產(chǎn)數(shù)據(jù)、檢測(cè)結(jié)果等，如圖14所示。

我們對(duì)常用五種汽車(chē)線(xiàn)束進(jìn)行算法檢驗(yàn)，基于圖像的汽車(chē)線(xiàn)束結(jié)構(gòu)檢測(cè)方案平均每小時(shí)檢測(cè)線(xiàn)束數(shù)量846個(gè)，誤報(bào)率在2.38%，漏報(bào)率為0，結(jié)果證明了該檢測(cè)方案可以實(shí)現(xiàn)對(duì)不同線(xiàn)束不同檢測(cè)項(xiàng)的準(zhǔn)確高效檢測(cè)。

4 總結(jié)與展望

本文設(shè)計(jì)了基于圖像的汽車(chē)線(xiàn)束結(jié)構(gòu)檢測(cè)系統(tǒng)，調(diào)研總結(jié)汽車(chē)線(xiàn)束常用檢測(cè)項(xiàng)，針對(duì)不同檢測(cè)項(xiàng)單獨(dú)設(shè)計(jì)檢測(cè)算法，結(jié)合傳統(tǒng)檢測(cè)算法與深度學(xué)習(xí)檢測(cè)算法實(shí)現(xiàn)對(duì)汽車(chē)線(xiàn)束檢測(cè)項(xiàng)高效準(zhǔn)確的檢測(cè)。通過(guò)算法與數(shù)據(jù)庫(kù)的通訊實(shí)現(xiàn)對(duì)汽車(chē)線(xiàn)束的智能切換檢測(cè)方案，提高檢測(cè)算法的普適性。設(shè)計(jì)簡(jiǎn)潔明了、便于操作的人機(jī)交互界面，方便工人更換不同汽車(chē)線(xiàn)束檢測(cè)算法、導(dǎo)出檢測(cè)統(tǒng)計(jì)數(shù)據(jù)。設(shè)計(jì)的系統(tǒng)不僅為企業(yè)提高了汽車(chē)線(xiàn)束生產(chǎn)效率，同時(shí)也給線(xiàn)束檢測(cè)領(lǐng)域提供了一種新思路。

參考文獻(xiàn)（References）：

[1] 李秀娟，李貝貝，于心俊.線(xiàn)束端子在線(xiàn)檢測(cè)系統(tǒng)[J].自動(dòng)化

儀表，2015，36（6）：65-68

[2] 雷敏華，陳良.基于機(jī)器視覺(jué)的端子尺寸檢測(cè)系統(tǒng)[J].機(jī)電工

程技術(shù)，2013（7）：27-29

[3] MackenzieM，Tieu K.Gaussian filters and filter synthesis

using aHermite/Laguerre neural network[J].IEEE Transactions on Neural Networks，2004，15（1）：206

[4] 嚴(yán)攀.基于目標(biāo)檢測(cè)的汽車(chē)線(xiàn)束外觀檢測(cè)應(yīng)用研究[D].碩士，

電子科技大學(xué)，2020

[5] 趙旦峰，王博，楊大偉.一種邊緣定向平滑圖像插值算法[J].

電子與信息學(xué)報(bào)，2012，34（7）：1543-1546

[6]張相勝，焦鵬，潘豐.基于機(jī)器視覺(jué)的汽車(chē)線(xiàn)束壓接缺陷檢測(cè)

系統(tǒng)[J].儀表技術(shù)與傳感器，2020（3）：73-7

[7] 馮策，戴樹(shù)嶺.一種改進(jìn)的非銳化掩模深度圖像增強(qiáng)算法[J].

哈爾濱：哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2014，46（8）：107-112