基于改進YOLOv3算法的線束端子缺陷檢測方法

摘" 要： 研發(fā)了一套基于深度學(xué)習(xí)的汽車線束缺陷檢測系統(tǒng)。基于YOLOv3改進的Pr-YOLOv3算法來檢測線束端子接插件缺陷，將主干提取網(wǎng)絡(luò)替換成ResNet50，提高特征提取能力，減少參數(shù)量，吸收多尺度預(yù)測方式和特征融合方面的優(yōu)勢，將主干提取網(wǎng)絡(luò)與FPN特征金字塔進行對接，豐富了特征的表達能力。用改進的YOLOv3模型進行訓(xùn)練，準確率可達98.61%，Recall指數(shù)可達98.6%。

關(guān)鍵詞： 射線無損檢測； 線束端子缺陷檢測； 卷積神經(jīng)網(wǎng)絡(luò)； YOLOv3

中圖分類號：TP181" " " " " 文獻標識碼：A" " "文章編號：1006-8228（2023）12-29-05

Defect detection method of wire harness terminal based on improved YOLOv3

Cheng Xiaoying1，2， Li Haisheng2， Lv Xubo3

（1. School of Mechanical Engineering， University of Electronic Science and Technology of China， Chengdu， Sichuan 611731， China;

2. School of Mechanical Engineering， Zhejiang Sci-tech University; 3. Zhejiang SIMITEK Auto-Electronics CO.， LTD）

Abstract： A deep-learning based automotive wiring harnesses defect detection system is developed. The Pr-YOLOv3 algorithm based on improved YOLOv3 is used to detect defects in wiring harness terminal connectors， and the backbone extraction network is replaced with ResNet50， which improves the feature extraction capability and reduces the number of parameters. Drawing on the advantages in multi-scale prediction methods and feature fusion， the backbone extraction network is interfaced with the FPN feature pyramid， which enriches the feature expression ability. Trained with the improved YOLOv3 model， the accuracy can reach 98.61% and the Recall index can reach 98.6%.

Key words： radiographic non-destructive testing; wire harness terminal defect detection; convolution neural network; YOLOv3

0 引言

汽車線束[1]是當今中國電子信息產(chǎn)業(yè)中發(fā)展最快，市場需求量最高，安裝方式最為便捷的產(chǎn)品之一。線束作為汽車的“中樞神經(jīng)”每一個指令都必須通過線束進行傳達和實現(xiàn)，如今信息化[2]、電子化[3]的高速發(fā)展，已經(jīng)蔓延到傳統(tǒng)汽車領(lǐng)域。然而線束端子[4]壓接過程中的缺陷問題，如壓接不良[5]，開口過大等都會影響線束接插件的裝配和導(dǎo)通。

隨著汽車工業(yè)的發(fā)展，社會對車燈零部件的質(zhì)量要求越來越高，而目前大多數(shù)企業(yè)采用的是人工檢測方法，這很難保證產(chǎn)品的質(zhì)量及性能。使用深度學(xué)習(xí)算法的檢測不僅提高了產(chǎn)品的檢測精度和速度，而且減少了人工，滿足企業(yè)高自動化和高精度檢測需求。Miao等人開源了一個X光檢測圖像的大規(guī)模數(shù)據(jù)集SIXray。Akcay[6]探討了Fast R-CNN[7]、YOLOv3等深度學(xué)習(xí)檢測網(wǎng)絡(luò)在X光安檢任務(wù)中的適用性，性能優(yōu)異于基于滑動窗口的傳統(tǒng)檢測方法SW-CNN[8]。

本文在之前研究的基礎(chǔ)上先通過X-Ray[9]機器拍攝的線束端子缺陷照片作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，然后通過改進傳統(tǒng)的YOLOv3模型，并采用訓(xùn)練集與測試集分開挖的數(shù)據(jù)集來驗證改進模型的有效性。

1 線束端子缺陷及其數(shù)據(jù)集

線束端子缺陷在本文中挑出兩類進行檢測，分別是壓接不良和開口過大，如圖1所示。為了增加對比類型，本文中引進了正常壓接和開口閉合兩種類型。端子壓接作為線束中導(dǎo)通和電路閉合承接的載體[1]，在線束中有著很重要的作用，壓接不良這是不允許存在的致命缺陷。

我司檢測過程中為了方便對壓接端子進行評價，按照其對線束的危害程度將壓接不良、正常壓接、開口過大、開口正常這四類命名方式命名，在Labelimg圖片標記中分別是Poorcrimping，Normalcrimping，Distortion，Closing。

本文的數(shù)據(jù)集來自浙江新寶電器有限公司的X-ray機器，經(jīng)過初篩之后，每張數(shù)據(jù)都是1500X1000像素的三通道RGB圖。最終數(shù)據(jù)集包括Poorcrimping、Normalcrimping、Distortion、Closing分別是600張，600張，450張，450張。

2 YOLOv3神經(jīng)網(wǎng)絡(luò)概況

2.1 網(wǎng)絡(luò)主要構(gòu)成

YOLOv3整體網(wǎng)絡(luò)結(jié)構(gòu)由特征提取網(wǎng)絡(luò)Darknet-53、特征金字塔（Featurepyramidnetwork，F(xiàn)PN）以及YOLOHead三個框架組成，其中卷積模塊（Convolutional）與殘差模塊（Residual）是其最重要的組成部分，如圖2所示。

⑴ 主干提取網(wǎng)絡(luò)

Darknet-53[2]是一個全部由卷積層與殘差塊組成的層級結(jié)構(gòu)，在YOLOv2中，可通過最大池化操作來變換圖像尺寸，而在YOLOv3中，為了降低池化池化帶來的負面梯度效果，直接摒棄了池化層。

2.2 ResNet架構(gòu)

ResNet通過在淺層網(wǎng)絡(luò)上加入一個恒等映射H（X）=X，既可以保證神經(jīng)網(wǎng)絡(luò)達到更深的層數(shù)，又可以避免神經(jīng)網(wǎng)絡(luò)的退化。圖2為ResNet的網(wǎng)絡(luò)結(jié)構(gòu)。

ResNet網(wǎng)絡(luò)結(jié)構(gòu)通過對每層的輸入做恒等映射H（X）=X，如圖5所示。構(gòu)造殘差函數(shù)F（X）=H（X）-X。這種殘差函數(shù)能夠保證網(wǎng)絡(luò)達到更深的深度，而且其結(jié)構(gòu)也較容易優(yōu)化。表達式如下：

[F=W2σW1X]" ⑴

研究表明，從DarkNet到ResNet的神經(jīng)網(wǎng)絡(luò)層和模塊均是按順序進行堆疊通過他們的分層精度、可轉(zhuǎn)移和可視化分析可知，更深層次的神經(jīng)網(wǎng)絡(luò)能夠提取更多語義和全局特征。

3 YOLOv3神經(jīng)網(wǎng)絡(luò)改進方法

本文對YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整，首先保持FPN與YOLOHead結(jié)構(gòu)不變，然后對于構(gòu)建FPN的特征提取層進行替換，為了提高YOLOv3的性能，我們將其主干提取網(wǎng)絡(luò)由Darknet-53替換為ResNet-50，圖3為ResNet-50各個Stage的具體結(jié)構(gòu)。

ResNet-50是一種深度卷積神經(jīng)網(wǎng)絡(luò)，具有優(yōu)秀的特征提取能力。我們將其預(yù)訓(xùn)練權(quán)重加載到模型中，并將輸出作為YOLOv3網(wǎng)絡(luò)的輸入。為了使ResNet-50的輸出與YOLOv3網(wǎng)絡(luò)的輸入一致，我們在其輸出后添加了一個卷積層。如圖4為改進的YOLOv3模型。

4 模型性能指標和實驗

4.1 模型性能指標

準確率（Accuracy）是指分類結(jié)果中分類正確的端子缺陷數(shù)量在所有樣本中所占的比例。精確率P是指正確的預(yù)測為為某類線束端子缺陷的樣本除以預(yù)測為這一類缺陷的樣本總數(shù)。查全率R是指正確的預(yù)測為某類缺陷數(shù)除以這一類的實際缺陷數(shù)量，公式如下：

[Recall =TPTP+FN]" ⑵

4.2 實驗

為了評估YOLOv3和Pr-YOLOv3模型的缺陷檢測性能，我們根據(jù)捕獲圖像數(shù)量共標記了3180個樣本框，而后將每個缺陷圖片以8：1：1的比例隨機劃分成訓(xùn)練集，驗證集和測試集。最終四個類別的訓(xùn)練集，驗證集和測試集分別進行匯總，得到1680張訓(xùn)練集，210張驗證集，210張測試集，如表1所示為樣本圖片和標注數(shù)量的統(tǒng)計。這樣得到訓(xùn)練集，驗證集和測試集中的數(shù)據(jù)不會互相重疊，能夠有效地防止模型出現(xiàn)測試效果虛高的假象。

實驗結(jié)果表明，YOLOv3-Pr模型的各方面檢測性能優(yōu)于YOLOv3，mAP值達到了98.61%。與原始YOLOv3模型相比，YOLOv3-pr模型的額mAP提高了一個百分點，且對于單類缺陷檢測結(jié)果的AP均能達到90%以上，而且在漏檢方面有很大的提高。在工業(yè)應(yīng)用上對于漏檢是無法容忍的態(tài)度，這不僅損害了公司的信譽，更對汽車的健康駕駛有著不小的威脅。圖5分別為YOLOv3和YOLOv3-Pr的損失函數(shù)曲線，兩種LOSS曲線都收斂的很好，trainingloss和validationloss都已經(jīng)收斂并且相差很小，而且兩者并沒有肉眼的差距，這說明兩種神經(jīng)網(wǎng)絡(luò)的loss曲線都已經(jīng)達到goodfit的目標。

YOLOv3-Pr在改進漏檢率方面也有很好的改良，YOLOv3-Pr能夠?qū)⒙z率降低至0.1個百分點，在三項檢驗中都可以達到百分之百的檢查率，然而在壓接不良方面還存在著0.1%的漏檢率。

lt;I：＼方正飛翔7.2＼Fit202312＼圖＼程曉穎圖6.tifgt;

圖6" 部分含缺陷線束端子的檢測結(jié)果示意圖

為了進一步驗證基于ResNet的改進YOLOv3模型對于缺陷的檢測性能，隨機抽取了若干幅含有缺陷的線束端子X光圖像對訓(xùn)練好的YOLOv3-Pr模型進行測試，測試結(jié)果如圖6所示，其中，“Poorcrimpin”、“Nomalcriming”、“Opening”、“Distortion”分別代表”壓接不良”、“正常壓接”、“閉合”、“扭曲變形”，矩形框的框選區(qū)域為線束端子的缺陷部位，框上方文字代表該缺陷的類別及確定概率。可以看出，經(jīng)過訓(xùn)練的YOLOv3-pr模型能夠準確地識別并定位線束端子的缺陷位置，并且對于每類缺陷的確定概率都較高，對于同一幅圖像中含有多類缺陷的情況也可精確檢出，充分驗證了模型的檢測能力。研究結(jié)果克服了人為主觀因素，建立了統(tǒng)一的缺陷判別標準，有助于提高線束端子的缺陷檢測效率。

對測試集的具體檢測結(jié)果如圖7所示，在原有的兩個神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，增加了三組對照。通過使用YOLOv3、YOLOv3-Pr和EfficientDet-D1、EfficientDet-D2、改進EfficientDet-D2作為網(wǎng)絡(luò)的模型的mAP值分別達到95.75%、98.61%、63.19%、75.97%和91.48%。可以看出，以ResNet作為主干網(wǎng)絡(luò)改進YOLOv3神經(jīng)網(wǎng)絡(luò)具有最高的檢測精度，mAP相較于原始YOLOv3提升了2.86%，此外，壓接不良、端子變形、正常壓接、開口正常四類特征各自的AP值相比改進之前均有所提升。對于漏檢的問題，使用ResNet作為主干特征提取網(wǎng)絡(luò)，可以很好地解決這個問題，能夠讓目標檢測達到工業(yè)的標準，如表2所示。與此同時，在改進EfficientDet網(wǎng)絡(luò)上，我們通過添加注意力機制和改變預(yù)訓(xùn)練權(quán)重的方法，使得網(wǎng)絡(luò)有了一個質(zhì)的飛躍。但是改進的EfficientDet網(wǎng)絡(luò)相較于YOLOv3還是存在一些不足和缺點，相比之下，改進YOLOv3不僅擁有較高的檢測精度同時具備較高的召回率，還解決了目標檢測網(wǎng)絡(luò)的漏檢問題。

5 結(jié)論

針對目前線束端子檢測方面存在的問題，為了提高檢測效率以使檢測部門能夠及時地對缺陷端子進行識別和檢出，同時建立統(tǒng)一的線束端子缺陷判別標準，客服人為判別的主觀因素，本文基于X光圖像與深度學(xué)習(xí)開展了線束端子的智能檢測研究，得出以下結(jié)論：

在YOLOv3目標檢測算法的基礎(chǔ)上，吸收多尺度預(yù)測方式和特征融合方面的優(yōu)勢，保留YOLOHead和FPN特征金字塔這兩個優(yōu)勢結(jié)構(gòu)，只對其特征提取結(jié)構(gòu)進行調(diào)整，引入去除輸出層的ResNet50網(wǎng)絡(luò)，將其與FPN特征金字塔對接，以步長為2的卷積輸出替代原Darknet-53輸出的三個特征層，完成線束端子缺陷智能檢測模型的構(gòu)建。實驗結(jié)果表明，該方法有助于提升預(yù)測性能，mAP可達98%。同時，在提高精確度的同時，能夠?qū)⒙z率降到最低，對企業(yè)應(yīng)用有參考價值。

在以后的工作中，我們將把工作重心放在線束端子數(shù)據(jù)集增強方面，以便獲得更大量的數(shù)據(jù)集，從而提高神經(jīng)網(wǎng)絡(luò)的檢測精度。

參考文獻（References）：

[1] 高永麗.淺析汽車線束工藝在線束加工中的應(yīng)用[J].汽車

實用技術(shù)，2020，45（17）：135-7.

[2] 曾文治，王疆瑛，蔡晉輝.基于深度學(xué)習(xí)的車燈零部件缺陷

檢測系統(tǒng)設(shè)計[J].中國計量大學(xué)學(xué)報，2022，33（2）.

[3] 李文強，陳莉，謝旭.改進YOLOv5的X光圖像違禁品檢測

算法[J].計算機工程與應(yīng)用，2023，59（16）.

[4] 黃健峰.線束端子壓接工藝的研究與可靠性分析 [D].北京：

北京郵電大學(xué)，2016.

[5] 康家晨.基于深度學(xué)習(xí)的絕緣子檢測與缺陷識別研究[D].

南昌：華東交通大學(xué)，2023（2）.

[6] Deep Learning based on CNN for Pedestrian Detection：

An Overview and Analysis; proceedings of the 9th International Symposium on Telecommunications （IST）， Iran Telecommunicat Res Ctr， Tehran， IRAN， F 2018 Dec 17-19， 2018[C].2018.

[7] MIAO? C，" L X. SIXray： A Large-scale Security Inspection

X-ray Benchmark for Prohibited Item Discovery in Overlapping Images[J].2019，

[8] SONG Y， JANG S， KIM K. Depth-Specific Variational

Scaling Method to Improve Accuracy of ResNet [J]. Journal of Korean Institute of Intelligent Systems，2021，31（4）：338-45.

[9] 盧祖文.基于X光圖像與深度學(xué)習(xí)的耐張線夾缺陷識別[D].

南昌：南昌大學(xué)，2023（2）.