基于深度學習的洗衣機插頭錯配識別系統

文 馬坤 無錫小天鵝電器有限公司

隨著國際貿易的快速發展，中國企業積極開拓海外市場。在洗衣機制造業中，由于不同國家電源插座標準不同，銷往不同國家的產品都必須配備上符合當前國家標準的插頭。目前，在洗衣機生產流水線中，人工不容易區分插頭與洗衣機箱體是否匹配，所以在完成洗衣機裝配后，通常直接對洗衣機進行封裝發往銷售地。插頭裝配過程中由于插頭誤拿、錯放等因素的影響，不能100%保證洗衣機型號與插頭類別相匹配。在銷售過程中，匹配錯誤的洗衣機不僅是資源的浪費，也對企業聲譽造成了影響。為了提高企業信譽，增強企業競爭力，洗衣機插頭檢測勢在必行。

近年來，隨著計算機性能的不斷提升，深度學習相關技術發展迅速，新的卷積神經網絡結構不斷涌現，在一些數據集上的分類水準已經接近于人類，利用卷積神經網絡提取圖像特征，也具有更好的效果和更強的魯棒性。在機器視覺和計算機視覺的相關應用領域，深度學習也不斷有大量的新算法涌現，在圖像分類、目標檢測、三維重建和語義分割等領域中應用廣泛，效果顯著。

目前，由于洗衣機插頭誤裝率低，流水線檢測時間短，檢測環境復雜，國內外目前還沒有洗衣機插頭錯配檢測的相關研究。由于不同插頭形狀不同，同時在插頭上往往刻有表示不同含義的字符，為采用深度學習識別插頭種類提供了可行性條件。本文采用相機圖像采集系統和深度學習目標檢測技術建立了在線插頭識別系統，在識別出插頭種類與代表洗衣機種類的條形碼不匹配時報錯，并由三色燈進行報警，實現了洗衣機插頭錯配識別與預警，大幅減少了插頭種類與洗衣機類別不匹配的產品流入市場。

視覺識別系統

系統硬件結構

視覺識別系統的硬件主要由插頭圖像采集、洗衣機條形碼識別和三色燈報警三個部分構成。其中，插頭圖像采集部分如圖1 所示，通過選取合理的工業相機和光源布局，采集插頭圖片。由于流水線上燈光環境復雜，為了能采集到清晰完整的插頭圖片，提高插頭識別準確率，光源采用環形燈光，從下往上照射，相機放置在環形光源下方，透過環形光源孔拍攝插頭圖片，同時采用茶色燈罩阻隔外部燈光。為了滿足流水線的快速性需求，圖像采集采用按鍵式拍照，在放置插頭的玻璃板下設置一個觸發按鍵，有插頭放置時按鍵觸發，同時打開三色燈與攝像頭拍照，完成圖像采集。洗衣機條形碼識別部分為掃碼槍，能夠在洗衣機經過時讀取洗衣機上條形碼的S/N 碼，并傳送至工控機。三色燈報警部分由三色燈構成，三色燈通過USB 接口連接在工控機上，在檢測到插頭識別出的種類與代表洗衣機種類的S/N 碼不匹配時，紅色燈閃爍報警。

圖1 插頭圖像采集部分示意圖

識別流程

識別流程由離線和在線兩個階段構成。離線階段是指深度學習模型訓練階段，先通過插頭圖像采集模塊采集不同種類的插頭圖像構成數據集，再經過旋轉、灰度化、拼接等圖片處理方式擴充數據集，使用獲得的數據集訓練深度學習目標定位模型，提取不同插頭的特征表示，獲得插頭種類，并將其保存在插頭的模型庫中便于后續調用比較。在線階段主要是指洗衣機流水線工作階段，分為掃碼槍識別洗衣機條形碼和插頭圖像采集獲取插頭種類兩部分。在洗衣機到達掃碼槍工位時，掃碼槍掃描箱體背后整機條形碼，并識別出代表洗衣機種類的S/N碼，檢測系統收到MES（制造執行系統）發送的S/N 碼后，調取模型庫中S/N 碼對應的插頭種類模型，同時將插頭放到圖像采集系統中，觸發按鍵拍攝插頭圖像，工控機獲取到插頭圖像后導入深度學習模型，獲得待測插頭的深度特征信息，根據所得特征信息獲得插頭模型庫中的插頭種類。將圖像采集獲得的插頭種類與掃描箱體條形碼獲得的插頭種類進行對比，檢測插頭是否錯配。插頭識別流程圖如圖2 所示。

圖2 插頭識別流程圖

插頭種類識別方法

目前，基于深度學習的目標檢測算法大致可以分為兩類：兩階段檢測算法和單階段檢測算法。其中，兩階段算法是先通過卷積神經網絡獲得一系列候選區域，然后再根據形狀、顏色等特征完成對特定區域的分類來達到檢測目的的算法，這種算法檢測準確率高，但由于其需要多次運行監測和分類流程，導致檢測速度很慢。單階段算法利用回歸思想，直接將圖片輸入到卷積神經網絡中，經過檢測后直接輸出得到結果，該算法雖然準確率不如兩階段算法，但是速度相對較快。

由于工廠流水線運轉速度快，在檢測過程中不能干擾流水線的正常運行，因此必須同時滿足快速性和準確性的要求。YOLO 算法作為單階段檢測算法的代表，其在目標檢測任務中滿足快速性的同時能保證檢測的準確性，因此被廣泛應用在目標檢測項目中。本文采用了YOLOv5 識別插頭的種類。

算法原理

YOLOv5 算法由Utralytics 在2020 年6 月提出，是YOLO算法的第五個版本，該版本在保證準確性的同時有良好的檢測速度，性能超過了YOLO 之前的所有版本，其網絡結構如圖3 所示。YOLOv5 算法又可以根據主干網絡寬度和深度的不同，分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 四個版本，其中YOLOv5s 是最簡單的版本，它的模型參數最少，檢測速度也最快。YOLOv5s 將模型分為Backbone 網絡、FPN 特征增強和YoloHead 三個部分，每個部分的作用都不盡相同。

Backbone 網絡部分又被稱為主干特征提取網絡，輸入的圖片會先在這里進行圖像特征提取。首先，圖片輸入后會先經過focus 網絡結構，輸入圖像會在此處每隔一個像素取一個值，獲得四個獨立特征層，然后再將這四個獨立特征層進行堆疊，此時，圖像的寬度和高度信息都會被集中到通道信息中，在降低圖像分辨率、減少計算量的同時還能提高每個點的感受野，減少原始信息的損失。接著，結合CSPNet 網絡的設計思想，設計了三個Resblock_body 模塊。該模塊將原先殘差塊的堆疊拆分成兩部分，主干部分繼續進行殘差塊的堆疊，另一部分則經過少量處理直接連接到最后，然后再將兩部分進行組合，這樣可以在保證準確性的同時減少計算量。在Backbone 網絡的最后部分使用了SPP 結構，采用不同池化核大小的最大池化對圖像進行特征提取，進一步擴大了網絡的感受野，更有效地將上下文特征進行分離。

FPN 特征增強部分為加強特征提取網絡，它可以使網絡的特征提取能力得到進一步的改善。在主干部分得到的三個有效特征層會在這一部分對圖像特征進行融合，通過這種方式，將不同尺度的特征信息進行結合。

YoloHead 是YOLOv5 的分類器與回歸器，它有三個分支。經過Backbone 網絡和FPN 網絡的增強后，可以得到三個加強過的有效特征層，每個特征層都含有寬、高和通道數等信息。這時，就可以把特征圖看作多個特征點的集合，每個特征點都含有該通道的多個特征。YoloHead 的工作就是對特征點進行判斷，判斷特征點上的先驗框是否有與之相匹配的對象。

數據集采集與構建

由于沒有公開的插頭種類數據集，本研究通過工業相機采集了七種插頭種類圖像共70 張，并通過人工標注的方式標出每個插頭的種類。但作為數據集，70 張圖像稍顯不足，因此繼續將這些圖像通過旋轉、裁剪、加入噪聲等方式擴充數據集，將每類插頭圖像均擴充為200 張，在此基礎上，將訓練集與測試集按照9:1 的比例進行隨機分配。

插頭種類識別過程

YOLOv5 在插頭種類識別過程中使用了K-means 聚類算法，該算法會對數據集中人工標記的分類框進行聚類分析：首先會確認先驗框的數量和寬高，然后在網絡周圍生成一些具有一定比例的邊界框，在這些邊界框中，包含有該區域中心點的位置、高度、寬度和置信度等信息，最后每個網格單元就會根據這些信息對這些邊界框的置信度分數進行預測。

利用置信度，可以確定檢測對象是否存在邊界框中，進而判斷預測框的準確度，其計算公式為

其中confidence——預測框的準確度；

P(object)——邊界框中是否存在檢測對象；

若邊界框中包含插頭種類，即存在檢測對象，則P(object)的值取1，那么置信度confidence 的值就等于；如果邊界框中沒有包含插頭，則P(object)的值為0，置信度也就為0。

因此，預測邊界框中某一類插頭的置信分數就可以由下面的公式表示

置信分數可以用來反映某個插頭種類包含在預測邊界框中的概率和邊界框坐標的準確性。以置信分數為依據，再使用非極大值抑制（NMS）進行篩選，就可以得到最終插頭的識別結果。

效果驗證

仿真實驗結果與分析

本文用于驗證深度學習插頭錯配識別系統的仿真實驗平臺為PC 端，PC 配置為Intel i7-12700， 顯卡為NVIDIA GeForce RTX 3090，24G 運行內存；集成開發環境為Pycharm，cuda版本為11.3，編程語言為Python3.7；標注的軟件采用的是labelme。

YOLOv5s 模型參數設置為：批處理大小（batch_size）為4，迭代次數（epochs）為200次，學習率（learning_rate）為0.0005。

首先將準備好的數據集放入YOLOv5網絡中進行訓練，經過訓練后網絡模型的好壞程度將直接決定插頭種類的識別效果。在訓練結束后，放入一張插頭圖片檢測訓練結果，得到識別結果如圖4 所示。

模型的訓練結果可以由平均精度均值（mAP）作為評價指標。每個檢測類別均有精確度—召回率（P-R）曲線，P-R 曲線與坐標軸圍成的面積為AP 值，將AP值再求平均即為mAP，mAP 的值在[0，1]之間，值越大表示模型精度越高。其中精確度Precision 和召回率Recall 分別為

其中 TP——模型為正樣本被檢測為正樣本的結果；

FP——模型為負樣本但是檢測為正樣本的結果；

FN——模型為正樣本但檢測為負樣本的結果。

在模型訓練完后獲得的插頭種類AP值見表1，可以看出每種插頭的AP 值均超過了95%，mAP 值達到97.6%，這表明使用YOLOv5 網絡對插頭種類進行識別有著很好的效果。

表1 插頭種類AP 值

實際應用

基于深度學習的洗衣機插頭錯配系統在生產流水線現場部署的主要硬件部分分為插頭圖像采集、洗衣機條形碼識別和三色燈報警三個部分，其實際場景圖如圖5 所示。流水線工作過程中，洗衣機箱體經過傳送帶傳送，經過掃碼槍時，掃碼槍上下掃動識別出箱體上的條形碼傳送至工控機，在下一個箱體到來前將此箱體上安裝的插頭放入插頭圖像采集部分，觸發按鍵拍照，傳送至工控機進行插頭種類識別，并在工控機上根據掃碼識別得到的S/N 碼判斷洗衣機上的插頭是否錯配，如果錯配，則在工控機顯示端顯示的同時三色燈報警。工控機上識別結果如圖6 所示。

圖5 洗衣機生產流水線實際場景圖

圖6 工控機端識別圖

結束語

本文根據洗衣機生產流水線中檢測插頭與洗衣機箱體是否錯配的需求，設計了一種基于深度學習的洗衣機插頭錯配識別系統。該系統通過結合讀取條形碼信息和檢測插頭種類判斷洗衣機插頭是否錯配，并能在檢測到錯配時進行三色燈報警。仿真和實際應用表明該系統識別準確率不小于95%，在洗衣機插頭錯配率不高的情況下能有效完成檢測任務，剔除裝配出錯的洗衣機，提高公司的信譽度，增強企業競爭力。目前該系統已經應用于國內某洗衣機生產流水線，具有較大的應用價值。