基于雙目視覺的待涂裝焊縫的識別

楊斌 李艷艷 李洪英

摘? 要：在工件涂裝的過程中會遇到焊縫差異不易區分和識別的問題，基于此問題文章提出一種基于LeNet-5的待涂裝焊縫識別系統。該系統先將數據增強后的圖像進行圖像去噪預處理，對LeNet-5卷積神經網絡進行模型訓練;然后將雙目系統實時拍攝的焊縫圖像運用訓練好的模型實現焊縫類型快速識別;最后根據得出的分類信息引導焊縫涂裝機器人進行精準的焊縫噴涂。實驗結果表明，該系統可以快速提取焊縫圖像更全面的特征，大大提高了焊縫識別準確率。

關鍵詞：焊縫識別;圖像去噪;深度學習;LeNet-5

中圖分類號：TP242? ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）17-0149-04

Abstract：In the process of the workpiece coating，the welding seam difference is difficult to be distinguished and identified. Based on this problem，this paper proposes a LeNet-5-based welding seam identification system to be coated. The system first carries out image denoising preprocessing after data enhancement，conducts model training for LeNet-5 convolutional neural network，and then applies the trained model to realize rapid recognition of weld types for weld images taken in real time by the binocular system. Finally，according to the obtained classification information，the welding seam coating robot is guided to carry out accurate welding seam spraying. The experimental results show that the system can quickly extract more comprehensive features of weld images and greatly improve the accuracy of weld recognition.

Keywords：welding seam identification;image denoising;deep learning;LeNet-5

0? 引? 言

我國是制造大國，在零器件加工和制造行業中焊縫涂裝是其零部件生產或者組裝過程中不可缺少的重要流程之一。近年來傳感技術和智能機器人技術快速發展，伴隨著制造業對涂裝效率和涂裝質量的要求提升以及對更舒適健康的工作環境的需要，工業機器人焊縫涂裝將慢慢取代人力手工涂裝，其中基于傳感器檢測的智能焊縫識別是焊縫涂裝領域的研究熱點[1]。本文主要針對中國石油集團海洋工程有限公司海上升壓站建造過程中（協鑫如東H13#海上風電項目、協鑫如東H15#海上風電項目）存在的鋼結構人工噴涂自動化程度低，油漆揮發的有機溶劑對于人身體健康損害較大，人工噴涂厚度控制難度大等問題進行研究，利用涂裝機器人有效避免這些問題。焊縫信息檢測在機器人焊縫噴涂過程中及其重要，現有的大部分自動焊縫噴涂主要通過超聲波傳感器獲取焊縫信息，然而超聲波傳感器容易受到焊縫表面粗糙以及結構的各向異性導致的超聲聲束的散射和超聲聲束的畸變影響[2]。本文運用的雙目視覺傳感器具有速度快、傳輸信息量大、精度高并且以非接觸形式實現等優勢，能較好地解決以上問題[3]?；陔p目視覺涂裝的主要原理：在自然光條件下，運用工業攝像機拍攝焊縫圖像，將該圖像傳輸到上位機進行圖像預處理和圖像識別后，獲得焊縫種類、位置等信息，然后利用該信息對涂裝機器人的噴槍運動正確引導[4]。由于工作地點不固定，可能會受到環境光照的影響，此時工業攝像機不能有效拍攝到工件焊縫信息，采用常規的焊縫圖像處理的方法[5]并不能準確識別焊縫。而深度學習[6]廣泛應用于人工智能的各個領域并且取得了一定成果，例如利用深度學習技術對人臉進行識別[7]，或者使用卷積神經網絡（CNN）對物品進行分類[8]。目前，在焊縫識別領域大多使用BP神經網絡，CNN尚未得到應用。本文提出了一種基于LeNet-5雙目視覺圖像分類的焊縫識別系統，首先將焊縫圖像預處理，然后利用CNN的強大優勢提高了焊縫識別的準確率。

1? 研究原理

1.1? 圖像去噪

在相機獲取、傳輸圖像信息的過程中，會存在外界光照、內部元件準確度等自身和外部的干擾，這些干擾都是圖像噪聲的來源，會對圖像質量造成一定的影響，圖像變模糊導致圖像特征變得相對難以提取，增加了對后續圖像識別的難度。為了抑制噪聲，改善圖像質量，便于后續識別操作，對圖像去噪預處理至關重要。加性噪聲和乘性噪聲是圖像噪聲最主要的類型，加性噪聲與圖像信號無關，是否有信號對噪聲沒有任何影響，然而乘性噪聲與信號兩者會共同出現[9]。對這些噪音的去除也可以分為兩類：一種為空間域的平滑，基于噪聲種類的不同，利用不同的平滑模板對噪聲源圖像進行卷積運算;另一種為頻率域的濾波，運用傅里葉變換將圖像從空間域變換到頻率域[10]。不同情況下會出現不同的噪聲，不能確定得出的哪種方法更優，要根據實際情況，可以將多種方法對比實驗，選擇表現更好的方法進行去噪處理。

1.2? 焊縫識別

在模式識別領域，首先提出的是人工神經網絡的概念，之后提出BP神經網絡算法[11]，由于該算法為早期算法，計算過程較為單一且效果在現在看來并不突出，該算法主要是通過對誤差的反饋修正、調整神經網絡中的參數，從而令下次誤差小于給定允許誤差，其結構如圖1所示，從結構上可以把層分為三類：輸入層、隱含層和輸出層。

雖然相比于之前提出的網絡，BP網絡有一定的改進效果，但是也存在不足之處。BP網絡是全連接的，一層提取特征的效果并不是很好，會使得權值數量急劇增加。想要訓練這么多的權值，樣本必須足夠，但是計算量也會隨之急劇增加，而且還有梯度消失的情況，因此需要改進連接的方式，正是因為結構性的硬性原因出現了卷積神經網絡的局部連接和權值共享。時間延遲網絡和LeNet-5是最早出現的卷積神經網絡[12]，本文采用的LeNet-5結構如圖2所示。

焊縫識別的LeNet-5框架描述為：

首先輸入預處理圖像是28×28大小的灰度焊縫圖像。

卷積層1（Conv1）：該層運用尺寸為5×5的卷積核，滑動步長為1，卷積核數目為20，經過該層后圖像尺寸變為24，輸出20層24×24的矩陣。

池化層1（Pool1）：該層卷積核的尺寸為2×2，步長2，池化操作后，圖像尺寸減半起到降維的作用，防止過擬合提高模型泛化能力，輸出20層12×12的矩陣。

卷積層2（Conv2）：該層的卷積核尺寸為5×5，步長1，卷積核數目為50，輸出50層8×8的矩陣。

池化層2（Pool2）：該層核尺寸為2×2，步長2，輸出50層4×4的矩陣。

全連接層（Fc1）：連接在pool2后，神經元數目為500，運用ReLU[13]激活函數。

全連接層（Fc2）：該層包括3個神經元，用于3種焊縫的分類訓練，然后送入softmax識別，最后將得到識別結果的概率輸出。三種焊縫類型如圖3所示。

2? 焊縫涂裝系統

在雙目視覺系統采集圖像后，相機采集的圖像經由USB在上位機上實時計算，將計算好的數據信息傳輸到控制柜，控制柜控制機械手的運動。流程圖如圖4所示，其中PC代表上位機，PLC是可編程邏輯控制器，用來驅動機械手。

2.1? 圖像預處理

通過實驗平臺可以獲取項目中出現的典型焊縫，分別用雙目視覺系統采集多張自然光下的焊縫圖片。為在不降低識別效果的前提下減少獲取圖片的工作量，本文對采集到的圖片進行數據增強處理，具體操作包括裁剪、旋轉、亮度調節、對比度增強等，這樣極大地增加了數據量，且為后續的模型訓練增加了魯棒性;并且，只需要對一個相機采集到的圖片進行處理即可。

在進行平滑處理之前，要先對圖像進行灰度轉換來滿足平滑處理條件，灰度轉換公式：

Gray=R×0.299+G×0.587+B×0.114

本文將中值濾波后和高斯濾波后的圖像進行對比，發現中值濾波后整體圖像亮度變大且焊縫線條處明暗對比減小，所以本文選用中值濾波對焊縫圖像進行預處理，處理結果如圖5所示。

2.2? 基于LeNet-5的焊縫識別

訓練一個較好的卷積神經網絡模型需要大量的數據。本文將采集的自然光下的圖片進行數據增強后灰度化，輸入網絡中的圖像為大小為28×28的灰度圖像，根據焊縫的不同形態將焊縫分為3種類型。首先對網絡中的參數進行初始化，LeNet-5卷積神經網絡的初始設置包括初始化卷積層網絡結構、輸出層數量、卷積核權重以及偏置等。卷積核權重和偏置運用的是隨機初始化的方法。實驗按照圖4流程圖所示流程構建系統，對3種類型的焊縫進行分類。將數據增強后的圖片隨機劃分為訓練集和測試集，訓練樣本和測試樣本數量分別為900張和100張。訓練一共迭代200次，學習率設為0.01，在迭代120次后，網絡模型已基本收斂，最后訓練集準確率可達到99.7%，測試集準確率為95.2%，完全滿足噴涂需要。此外為了突出LeNet-5網絡的明顯優勢，本文在相同的數據集、相同的設置下，在BP神經網絡上做了對比試驗，結果如表1所示。從表中可以看出LeNet-5網絡測試集準確率比BP神經網絡高6.3%且收斂更快，并且其快速性可以支持實時焊縫類型識別，不會影響涂裝進度。

3? 結? 論

本文針對工件涂裝過程中會遇到的焊縫較小、焊縫差異不易區分和識別等問題，提出了一種基于卷積神經網絡LeNet-5的待涂裝焊縫識別系統。該系統首先運用采集數據集經圖像增強后進行線下訓練，然后使用訓練好的模型識別攝像機采集到的焊縫圖像，實時判斷焊縫類型，及時引導機械臂做出合適的涂裝策略。實驗表明，該系統有效改進了現有焊縫識別易受干擾、準確率低等問題，有利于焊縫涂裝機器人更加準確高效地運作。

參考文獻：

[1] 鳳迎迎.基于雙目視覺的機器人焊縫軌跡檢測的研究 [D].杭州：浙江大學，2017.

[2] 薛擁軍，張禮典，賴德海.大厚度異種鋼奧氏體焊縫超聲波檢測 [J].無損檢測，2008（11）：816-819.

[3] 郭志鵬，于治水，張培磊，等.基于視覺傳感的焊縫跟蹤系統研究現狀 [J].輕工機械，2016，34（5）：95-100.

[4] 李慨，張庭.基于視覺傳感器的移動焊接機器人測控系統 [J].中南大學學報（自然科學版），2011，42（4）：1050-1055.

[5] 王灤平.圖像處理技術在機器人焊接中的應用 [J].電子科學技術，2016，3（5）：570-573.

[7] 萬士寧.基于卷積神經網絡的人臉識別研究與實現 [D].成都：電子科技大學，2016.

[8] 黃斌，盧金金，王建華，等.基于深度卷積神經網絡的物體識別算法 [J].計算機應用，2016，36（12）：3333-3340+3346.

[9] BUADES A，COLL B，MOREL J M. A Review of Image Denoising Algorithms，with a New One [J]. Multiscale Modeling & Simulation，2005，4（2）：490-530.

[10] ZHANG Y Q，LIU J Y，LI M D，et al. Joint image denoising using adaptive principal component analysis and self-similarity [J]. Information Sciences，2014，259：128-141.

[11] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning Internal Representations by Error Propagation [J]. Parallel Distributed Processing：Explorations in the Microstructure of Cognition：Foundations，1986：318-362.

[12] 趙志宏，楊紹普，馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究 [J].系統仿真學報，2010，22（3）：638-641.

作者簡介：楊斌（1985.09—），男，漢族，山東文登人，工程師，本科，研究方向：鋼結構防腐涂裝。