基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺定位策略

陳逢軍 呂繼陽 胡 天 梁小生

1.湖南大學(xué)機(jī)械與運(yùn)載工程學(xué)院，長沙，410082 2.湖南艾凱瑞斯智能科技有限公司，長沙，410205 3.湖南戴斯光電有限公司，長沙，410600

0 引言

柱面透鏡在光學(xué)儀器[1]、紅外成像、傳感器[2]、全息系統(tǒng)[3-4]等領(lǐng)域具有廣泛的應(yīng)用，基于其精密的光學(xué)性能，能實(shí)現(xiàn)對光線的聚焦、成像、傳輸?shù)饶芰Γ诒姸嘈袠I(yè)起著至關(guān)重要的作用。柱面透鏡多為光學(xué)玻璃材質(zhì)，生產(chǎn)過程復(fù)雜，需要擺盤、拋光[5]等多道工序才能制造出符合標(biāo)準(zhǔn)的成品，對其尺寸公差、厚度公差、面形、偏心差等要求較高，通過整套加工工藝生產(chǎn)得到的產(chǎn)品良率往往較低。在所有工藝中，擺盤工藝對產(chǎn)品良率結(jié)果的影響較大，人工擺盤方法定位難以獲得較好的成品良率且作業(yè)耗時(shí)較長，無法進(jìn)行批量化生產(chǎn)。

國內(nèi)外研究者圍繞工業(yè)場景的工件視覺應(yīng)用進(jìn)行了大量的研究，并且在各領(lǐng)域已取得較大的進(jìn)展和商業(yè)價(jià)值。工業(yè)場景中的缺陷檢測[6-7]、表面測量[8]、交通運(yùn)輸[9]、航空航天[10]、工業(yè)自動化[11]等方面均有相應(yīng)的學(xué)者針對特定對象做出了研究成果。CHEN等[12]通過建立圖像金字塔進(jìn)行分層搜索以提高圖像的搜索速度，利用霍夫變換進(jìn)行角度粗定位，利用相應(yīng)角度的模板圖像進(jìn)行精定位，對半導(dǎo)體工件進(jìn)行高精度定位以實(shí)現(xiàn)自動劃片。

在透明件領(lǐng)域，由于其特殊的光學(xué)特性往往難以獲得較為良好的視覺圖像，需要設(shè)計(jì)相應(yīng)的視覺系統(tǒng)以及合適的圖像處理方法來對其進(jìn)行定位及缺陷檢測。鄧捷等[13]提出一種基于灰度及幾何特征的微晶玻璃氣泡檢測算法，能夠有效地提取玻璃缺陷特征。ZHONG等[14]基于Blob分析方法對LED芯片進(jìn)行模板匹配定位，該算法對光照具有一定的魯棒性，對視野內(nèi)的LED芯片可以達(dá)到較高的識別精度和效率。柱面透鏡作為典型的透明件，其柱面定位安裝要求高，在人工擺盤過程中難以精準(zhǔn)進(jìn)行定位和擺放。

近年來計(jì)算機(jī)視覺算法的研究得到了較快的發(fā)展，越來越多的深度學(xué)習(xí)算法[15]被應(yīng)用于各類工業(yè)場景中[16-17]。深度學(xué)習(xí)算法具有優(yōu)異的實(shí)時(shí)性[18]、適應(yīng)性和高精度，在視覺定位和分類方面具有較大的優(yōu)勢，在圖像分割進(jìn)行工件定位方面也有著廣泛的應(yīng)用。U-Net[19]網(wǎng)絡(luò)作為卷積神經(jīng)網(wǎng)絡(luò)的一種高效分割目標(biāo)的網(wǎng)絡(luò)模型，其圖像分割能力強(qiáng)大而逐漸被應(yīng)用于各種場景。李瀟凡等[20]通過建立U-Net深度學(xué)習(xí)模型對大型浮藻類漂浮物數(shù)據(jù)進(jìn)行特征提取，實(shí)現(xiàn)了端對端、像素對像素的分割識別。李連偉等[21]利用被動毫米波成像與可見光成像的優(yōu)勢互補(bǔ)，通過建立U-Net分割網(wǎng)絡(luò)，提出了人體安檢隱匿違禁物的高性能實(shí)時(shí)檢測算法。鑒于U-Net網(wǎng)絡(luò)優(yōu)異的分割能力，可以對柱面透鏡成像進(jìn)行特征提取和融合以實(shí)現(xiàn)像素級精準(zhǔn)定位。

因此，為提高柱面透鏡擺盤工序的自動化程度，并實(shí)現(xiàn)對工件的識別與定位，進(jìn)而提高柱面透鏡的產(chǎn)品良率和批量化生產(chǎn)能力，本文設(shè)計(jì)了適用于柱面透鏡擺盤工序的視覺定位策略。首先，使用模板匹配和Blob分析兩種視覺算法作為前期定位方法采集多種產(chǎn)品型號的原圖，利用高精度模板匹配定位數(shù)據(jù)生成的分割圖像作為標(biāo)注，通過U-Net網(wǎng)絡(luò)對不同環(huán)境下的產(chǎn)品數(shù)據(jù)進(jìn)行訓(xùn)練，提取柱面透鏡的視覺定位圖像特征，對產(chǎn)品擺盤過程中不同型號的產(chǎn)品在各種環(huán)境下的位置信息進(jìn)行視覺定位。

1 視覺擺盤工藝分析

柱面透鏡的形狀如圖1a所示，其參數(shù)包括曲率R、高度H、母線長L、焦距F等，制造柱面透鏡的材料包括光學(xué)玻璃、熔石英等，柱面透鏡的實(shí)物如圖1b所示，圖中為光學(xué)玻璃材質(zhì)的平凸柱面透鏡。

柱面透鏡的擺盤工藝流程如圖1c所示，其工序可大致分為：噴漆、裝盒、吸料、視覺定位、放料等。具體工藝過程為：對前序工藝生產(chǎn)的毛料進(jìn)行柱面保護(hù)漆噴涂，將柱面覆蓋保護(hù)漆的工件裝進(jìn)型號匹配的納料盒中，Scara機(jī)器人對上料區(qū)納料盒中的工件進(jìn)行吸料操作后移至視覺單元進(jìn)行取像定位，經(jīng)過計(jì)算將工件移至工件型號對應(yīng)擺放花型的機(jī)器人坐標(biāo)點(diǎn)位，待到達(dá)指定點(diǎn)位后進(jìn)行放料操作，放料動作結(jié)束后圓盤表面的熔融態(tài)蠟層會對工件進(jìn)行固定，待所有工件放料結(jié)束后蠟層凝固并進(jìn)行后續(xù)工藝。其中，吸嘴通過真空氣流產(chǎn)生的負(fù)壓吸附于柱面透鏡平面?zhèn)?，視覺定位需對凸面?zhèn)冗M(jìn)行圖像獲取，最終將凸面?zhèn)确胖迷趫A盤的蠟層上。工藝過程中最為關(guān)鍵的步驟是視覺定位，如果無法獲取準(zhǔn)確的工件位置信息，在擺盤放料時(shí)會發(fā)生擺放位置錯(cuò)亂或重疊的現(xiàn)象，導(dǎo)致工件在圓盤上的位置不均勻、不對稱或出現(xiàn)工件損壞的情況發(fā)生，因此，擺盤過程中的視覺定位效果成為決定擺盤系統(tǒng)性能的關(guān)鍵影響因素，也是擺盤系統(tǒng)研究的重點(diǎn)所在。

2 基于U-Net的擺盤系統(tǒng)定位模型

2.1 數(shù)據(jù)描述

以某公司生產(chǎn)的多種型號柱面透鏡為研究對象，研究數(shù)據(jù)來源于柱面透鏡擺盤系統(tǒng)前期作業(yè)過程中保存的工件原圖和位置信息。對于不同型號的柱面透鏡，其曲率R、高度H、母線長L差異較大，工業(yè)相機(jī)成像效果不盡相同，如圖2所示。在取像較好的情況下，圖像主要由工件、吸嘴和其他干擾組成，工件邊緣清晰，與背景對比度較大。但由于工業(yè)場景復(fù)雜，經(jīng)常會有其他異常情況的存在，如邊界模糊、吸料失敗、異常光照、工件歪斜、內(nèi)部條紋、取像異常、窄邊工件等影響成像效果。對于成像效果較好的圖像應(yīng)以較為精準(zhǔn)的圖像處理算法對其進(jìn)行高精度定位以作為正樣本，對于成像效果較差但工件明顯的圖像應(yīng)采用LabelMe軟件標(biāo)注的方式進(jìn)行定位分割以提高數(shù)據(jù)集的魯棒性，對于取像異常或吸料失敗的圖像應(yīng)作為負(fù)樣本以應(yīng)對相應(yīng)的實(shí)際異常情況。

圖2 柱面透鏡圖像數(shù)據(jù)分析Fig.2 Cylindrical lens image data analysis

2.2 數(shù)據(jù)集生成

2.2.1構(gòu)建思路

根據(jù)現(xiàn)場工業(yè)相機(jī)拍攝所得圖片與傳統(tǒng)圖像處理方法進(jìn)行比較分析可知，采用Blob分析和模板匹配方法能夠較快完成算法的實(shí)現(xiàn)與部署。以上述兩種算法對不同型號和各種環(huán)境下的工件圖片進(jìn)行原圖保存操作，當(dāng)圖片數(shù)據(jù)量足以保證數(shù)據(jù)集訓(xùn)練和驗(yàn)證使用時(shí)，對Blob分析和模板匹配進(jìn)行比較選取了定位更為精準(zhǔn)的高精度模板匹配方法，獲得工件中心在圖像中的像素坐標(biāo)X、Y，并得出工件的旋轉(zhuǎn)角度θ，以及圖像中工件的高度H、母線長L，生成背景為黑色、工件為白色的二值化掩膜，從而制作出柱面透鏡數(shù)據(jù)集的原圖和標(biāo)注。之后進(jìn)行圖3所示的數(shù)據(jù)集清洗操作，對原圖和標(biāo)注進(jìn)行減法操作，由于正常標(biāo)注在“標(biāo)注-原圖”圖片集中表現(xiàn)為僅存在圖3b中所示的邊緣誤差，因此能夠容易找出圖3a中錯(cuò)誤分割的標(biāo)注，并在“原圖-標(biāo)注”對應(yīng)圖片進(jìn)行檢查，發(fā)現(xiàn)原圖和標(biāo)注中工件角度和位置差異較大，則在數(shù)據(jù)集中剔除后使用LabelMe軟件進(jìn)行標(biāo)注并替換。對7843張“標(biāo)注-原圖”圖片集進(jìn)行檢查發(fā)現(xiàn)，僅有7張為異常標(biāo)注，錯(cuò)誤率為0.08%，表明采用高精度模板匹配能夠?qū)崿F(xiàn)高精度、高魯棒性標(biāo)注，并且能夠顯著減小數(shù)據(jù)標(biāo)注的工作量。

(a)異常標(biāo)注

2.2.2Blob分析

Blob分析是對圖像中相同像素的連通域進(jìn)行劃分，每個(gè)連通域?yàn)橐粋€(gè)Blob，該算法能夠?qū)⒛繕?biāo)從背景中分離出來，還可以計(jì)算出Blob的數(shù)量，并根據(jù)各Blob的像素?cái)?shù)量計(jì)算出目標(biāo)的數(shù)量、位置、矩形度、圓形度、方向和大小。Blob分析的處理過程針對圖像整體進(jìn)行操作，與基于像素的算法相比處理速度顯著提高。

Blob分析視覺定位流程如圖4所示，首先對相機(jī)采集的原圖進(jìn)行亮度校正操作以區(qū)分工件與吸嘴等干擾信息，選擇合適的閾值對圖像進(jìn)行分割得到二值化圖像，采用面積篩選的方式去除所有其他非工件信息僅保留工件分割圖像，將分割好的工件Blob進(jìn)行坐標(biāo)、角度等信息的輸出保存。

圖4 Blob分析視覺定位流程Fig.4 Blob analytics visual positioning process

2.2.3模板匹配

模板匹配是視覺定位中一種常用的處理方法，其目的在于在原圖中尋找與模板圖最為相似的部分。模板匹配可以分為基于灰度值和基于形狀特征的模板匹配，其中基于灰度值的模板匹配無法對角度變化的工件進(jìn)行有效定位，所以本研究采用基于形狀特征的模板匹配方法，其流程如圖5a所示，首先對相機(jī)圖像進(jìn)行濾波處理以減少噪聲干擾，利用圖像銳化使工件與背景邊界分開，利用開操作形態(tài)學(xué)處理消除小物體，去除工件與吸嘴邊界處的雜物干擾，對工件邊緣進(jìn)行平滑且不改變其面積，對處理后的圖像進(jìn)行高精度特征匹配以獲取其坐標(biāo)、角度等數(shù)據(jù)，通過腳本編輯后以通信的方式發(fā)送數(shù)據(jù)。基于特征的高精度模板匹配定位方法如圖5b所示，首先在某一型號工件中成像效果較好的原圖上進(jìn)行模板的建立，由此獲得其邊界特征的模板數(shù)據(jù)，利用該模板數(shù)據(jù)對相同型號工件實(shí)際作業(yè)過程中的相機(jī)圖像進(jìn)行匹配定位，得到該工件的像素坐標(biāo)、角度等數(shù)據(jù)。

(a)定位流程

2.3 U-Net卷積神經(jīng)網(wǎng)絡(luò)

2.3.1特征提取

U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)如圖6所示，其結(jié)構(gòu)分為特征提取的下采樣過程和特征融合的上采樣過程，整體形狀為“U”形。

圖6 U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.6 U-Net network model structure

特征提取階段通過卷積核對輸入圖片的像素?cái)?shù)據(jù)進(jìn)行卷積操作，通過卷積層和最大池化層組合的方式實(shí)現(xiàn)特征提取，其中卷積過程如下：

(1)

U-Net卷積層的計(jì)算示意圖見圖7，卷積核與輸入矩陣中相同大小的區(qū)域進(jìn)行一對一相乘后求和得到輸出值，并以設(shè)定步長值進(jìn)行從左到右、從上到下的滑動直至完成整個(gè)輸入矩陣的卷積計(jì)算得到所有輸出值。在U-Net網(wǎng)絡(luò)中沒有對輸入張量進(jìn)行零填充，所以每進(jìn)行一次卷積操作，輸出矩陣的大小都會減少兩位。

圖7 U-Net卷積過程Fig.7 U-Net convolution process

U-Net網(wǎng)絡(luò)中每進(jìn)行一次卷積操作之后都會采用一個(gè)激活函數(shù)，如果不使用激活函數(shù)則神經(jīng)網(wǎng)絡(luò)的每層只做線性變換，多層疊加之后仍是線性變換，所以需要激活函數(shù)提高卷積操作之后模型對柱面透鏡特征的提取能力。常見的非線性激活函數(shù)有sigmoid函數(shù)、tanh函數(shù)、修正線性單元(rectified linear unit，ReLU)等。在U-Net網(wǎng)絡(luò)中則選用ReLU作為卷積層的激活函數(shù)，ReLU可以解決梯度消失的問題，并具有更快的收斂速度，計(jì)算速度更快，其表達(dá)式如下：

ReLU(x)=max(x,0)

(2)

最大池化層設(shè)置在每兩層卷積層后，其目的在于進(jìn)行下采樣操作，對數(shù)據(jù)進(jìn)行壓縮操作且不會破壞數(shù)據(jù)特征，并提取柱面透鏡的特征。U-Net的最大池化層的計(jì)算過程如圖8所示，最大池化層的卷積核尺寸為2×2，步長為2。

圖8 U-Net最大池化層Fig.8 U-Net maximum pooling layer

上述最大池化過程的表達(dá)式如下：

yij=max(xi,j,xi,j+1,xi+1,j,xi+1,j+1)

(3)

式中，y為輸出值；x為輸入值。

2.3.2特征融合

特征融合階段首先對下采樣結(jié)束后最底部張量進(jìn)行上采樣操作，U-Net上采樣過程如圖9所示，通過在輸入特征矩陣中完成最鄰近插值后進(jìn)行卷積，卷積后輸出的特征矩陣將變大，因此圖片尺寸將會變大。

圖9 U-Net上采樣層Fig.9 U-Net upsampling layer

上采樣過程進(jìn)行深層特征信息提取，在上采樣的過程中柱面透鏡的圖片通道數(shù)將會減半。上采樣操作結(jié)束后，需要進(jìn)行拼接操作，將左邊的淺層信息與右邊的深層特征進(jìn)行融合，但由于卷積層使得圖像大小發(fā)生變化，因此在進(jìn)行拼接操作之前需要對左邊的圖片進(jìn)行剪裁至右邊的大小后進(jìn)行拼接，隨后進(jìn)行兩次ReLU卷積操作。

2.3.3特征圖生成

在所有上采樣操作完成后會進(jìn)行一次卷積核大小為1×1的卷積操作，該操作的目的在于對原圖中的像素做分類操作，會得到最后的兩張分別代表二分類得分的權(quán)值圖，并以此作為Softmax函數(shù)的輸入，計(jì)算出概率較大的Softmax后計(jì)算損失值進(jìn)行反向傳播計(jì)算。Softmax函數(shù)的定義如下：

(4)

其中，zc為第c個(gè)節(jié)點(diǎn)的輸出值；C為輸出節(jié)點(diǎn)的個(gè)數(shù)(分類個(gè)數(shù))，在柱面透鏡U-Net網(wǎng)絡(luò)中輸出節(jié)點(diǎn)的分類個(gè)數(shù)為2。

2.4 網(wǎng)絡(luò)模型參數(shù)及結(jié)構(gòu)

前期工作采集的數(shù)據(jù)集如表1所示，由于六種型號的產(chǎn)品生產(chǎn)單量不同，故無法保證其數(shù)量完全一致，各產(chǎn)品圖像成像效果大致相同，將所有產(chǎn)品型號工件進(jìn)行混合后，將以總數(shù)量共7843組數(shù)據(jù)的80%為訓(xùn)練集、20%為測試集作為數(shù)據(jù)集分布進(jìn)行模型訓(xùn)練。

表1 數(shù)據(jù)集分布

本研究所使用的視覺定位模型基于Python語言實(shí)現(xiàn)，利用Pytorch深度學(xué)習(xí)框架搭建U-Net網(wǎng)絡(luò)模型。

特征提取階段將大小為1920×1200×1的輸入圖片調(diào)整至512×512×1，經(jīng)過兩次卷積核個(gè)數(shù)為64、大小為3×3、卷積步長為1×1、激活函數(shù)為ReLU的卷積層，接著經(jīng)過一次大小2×2、步長2×2的最大池化層，至此圖像大小相對最大池化層之前減半并作為下一次下采樣組合的輸入量；之后分別進(jìn)行卷積核個(gè)數(shù)為128、256、512的兩次卷積操作和池化操作得到底層特征。

特征融合階段將上述底層特征進(jìn)行兩次卷積核個(gè)數(shù)為1024的卷積操作，再進(jìn)行一次上采樣操作后圖片大小翻倍、通道減半，將深層信息與對應(yīng)的淺層信息進(jìn)行拼接后作為下一次上采樣組合的輸入量，之后分別進(jìn)行核個(gè)數(shù)為512、256、128的兩次卷積操作和上采樣操作。最后進(jìn)行兩次核個(gè)數(shù)為64的卷積操作，接著經(jīng)過一次1×1的卷積層將64通道的特征向量轉(zhuǎn)換為二分類結(jié)果，并進(jìn)行反向傳播和參數(shù)更新。

3 柱面透鏡視覺定位分析

3.1 U-Net網(wǎng)絡(luò)訓(xùn)練參數(shù)對比

由于網(wǎng)絡(luò)模型設(shè)計(jì)為二分類問題，對數(shù)據(jù)集從0開始訓(xùn)練效果會很差，特征提取效果不明顯，因此使用VGG網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)。訓(xùn)練的迭代次數(shù)共設(shè)置為100次，前50次進(jìn)行凍結(jié)訓(xùn)練，后50次進(jìn)行解凍訓(xùn)練。由于凍結(jié)階段模型調(diào)整的參數(shù)個(gè)數(shù)較少，故將學(xué)習(xí)率(learning rato, LR)設(shè)置得相對較大以跳出局部最優(yōu)解，解凍階段模型主干不再被凍結(jié)，調(diào)整的參數(shù)較多，將學(xué)習(xí)率設(shè)置為初始訓(xùn)練時(shí)的1/10，從而保證模型訓(xùn)練的穩(wěn)定性。

由于學(xué)習(xí)率會在較大程度上影響模型的精度和訓(xùn)練效率，因此在不同學(xué)習(xí)率下對模型進(jìn)行了訓(xùn)練比較，以優(yōu)化器Adam進(jìn)行模型訓(xùn)練。并使用真實(shí)值與預(yù)測值的DiceLoss損失函數(shù)對訓(xùn)練過程中的情況進(jìn)行評價(jià)，其表達(dá)式為

(5)

式中，X為輸出圖片像素預(yù)測值矩陣；Y為數(shù)據(jù)圖片像素實(shí)際值矩陣(由0或1表示)。

在訓(xùn)練的過程中，根據(jù)損失值隨著訓(xùn)練次數(shù)的變化情況判斷不同學(xué)習(xí)率下的訓(xùn)練效率和收斂性。各學(xué)習(xí)率在訓(xùn)練集和驗(yàn)證集上的損失變化如圖10所示，其中實(shí)線為實(shí)際變化曲線，虛線為對應(yīng)的平滑曲線，1～6表示學(xué)習(xí)率序號。由圖10a可以看出，當(dāng)學(xué)習(xí)率設(shè)置過小時(shí)，模型將陷入局部最優(yōu)解而達(dá)不到全局最優(yōu)，模型學(xué)習(xí)效果不夠?qū)е聼o法準(zhǔn)確預(yù)測新樣本而使損失值較大；當(dāng)學(xué)習(xí)率設(shè)置過大時(shí)會導(dǎo)致凍結(jié)階段權(quán)重更新較快，但在解凍階段會發(fā)生損失值突變，最終同樣導(dǎo)致較差的結(jié)果。當(dāng)學(xué)習(xí)率RL設(shè)置為0.0001時(shí)可以獲得最好的損失值變化曲線，凍結(jié)階段損失值下降最快，在第10次訓(xùn)練時(shí)曲線收斂并且在解凍階段沒有發(fā)生較大變化。由圖10b可知，學(xué)習(xí)率RL為0.0001時(shí)在驗(yàn)證集上損失值收斂所使用的訓(xùn)練次數(shù)最少，在第15次訓(xùn)練后曲線不再發(fā)生抖動的現(xiàn)象，而其他學(xué)習(xí)率下的驗(yàn)證集損失值曲線則抖動較為嚴(yán)重，直至第60次訓(xùn)練后才逐漸收斂。綜合分析可知，當(dāng)學(xué)習(xí)率RL設(shè)置為0.0001時(shí)模型收斂速度最快，曲線最穩(wěn)定且收斂值最小。

(a)訓(xùn)練集損失值對比

為進(jìn)一步驗(yàn)證最優(yōu)學(xué)習(xí)率下訓(xùn)練效果最好，對6組學(xué)習(xí)率經(jīng)過100次訓(xùn)練后的模型使用平均交并比(mean intersection over union，mIoU)和平均像素準(zhǔn)確度(mean pixel accuracy，mPA)評價(jià)指標(biāo)進(jìn)行對比分析，結(jié)果如圖11所示。其中，學(xué)習(xí)率序號與圖10中一致，可以發(fā)現(xiàn)當(dāng)學(xué)習(xí)率為0.0001時(shí)，mIoU和mPA均為最優(yōu)，因此最優(yōu)學(xué)習(xí)率得到了驗(yàn)證。

圖11 不同學(xué)習(xí)率的評價(jià)指標(biāo)對比Fig.11 Evaluation indicators of different learning rates

3.2 視覺定位精度對比分析

為驗(yàn)證模型訓(xùn)練結(jié)果的實(shí)際效果，選取了6種型號產(chǎn)品各50張與數(shù)據(jù)集不重復(fù)的新數(shù)據(jù)圖片作為視覺定位精度驗(yàn)證數(shù)據(jù)。

由于在數(shù)據(jù)清洗的過程中發(fā)現(xiàn)高精度模板匹配的定位結(jié)果的精度和穩(wěn)定性較好，因此將其作為實(shí)際值，而將U-Net網(wǎng)絡(luò)分割定位數(shù)據(jù)作為預(yù)測值，并為體現(xiàn)策略研究的必要性，將Blob分析定位數(shù)據(jù)作為對照組進(jìn)行坐標(biāo)X、Y的結(jié)果比較，其結(jié)果如圖12所示。由6種型號產(chǎn)品的實(shí)際對比可以看出，U-Net網(wǎng)絡(luò)定位坐標(biāo)值分布在模板匹配曲線上，Blob分析定位坐標(biāo)值較多點(diǎn)距離模板匹配曲線較遠(yuǎn)。U-Net網(wǎng)絡(luò)視覺定位結(jié)果與高精度模板匹配的X、Y坐標(biāo)定位誤差在1 pixel以內(nèi)，而Blob分析誤差變化較大，其最低誤差與U-Net網(wǎng)絡(luò)定位的最低誤差接近，最高誤差接近20 pixel，比較可知U-Net網(wǎng)絡(luò)的定位精度高于Blob分析的定位精度，對光照、產(chǎn)品型號等影響因素具有較強(qiáng)的魯棒性，模型的定位精度和魯棒性得到了驗(yàn)證。

(a)R3.15 (b)R5.94

由于在視覺定位過程中涉及工件主軸的角度定位，需要準(zhǔn)確評價(jià)模型的角度定位性能，故引入均方根誤差(root mean square error，RMSE)作為角度定位的評價(jià)指標(biāo)，RMSE值VRMSE越小定位精度越高，其表達(dá)式如下：

(6)

式中，yk為第k張圖片中工件的實(shí)際主軸角度值；f(xk)為第k張圖片中工件的定位主軸角度值；n為圖片的數(shù)量。

對6組型號圖片進(jìn)行測試，對比Blob分析、U-Net網(wǎng)絡(luò)與高精度模板匹配的角度定位數(shù)據(jù)獲得的RMSE值,如表2所示，可以看出，與Blob分析相比，U-Net網(wǎng)絡(luò)模型的RMSE值整體較小，處于0.02～0.05范圍內(nèi)，而Blob分析的RMSE值最小約為0.07，最大約為0.84，變化范圍較大，定位精度及穩(wěn)定性較差，Blob分析的RMSE值為U-Net網(wǎng)絡(luò)RMSE值的3倍以上。由于在擺盤過程中視覺定位的結(jié)果最終轉(zhuǎn)換為機(jī)器人末端的坐標(biāo)點(diǎn)，RMSE值較小則表明角度定位精度較高，在實(shí)際擺盤下料動作中不會出現(xiàn)因工件重疊等而導(dǎo)致?lián)p壞或產(chǎn)品不良率較大的情況，因此U-Net模型的角度定位性能更好。

表2 不同型號產(chǎn)品角度RMSE對比

4 柱面透鏡擺盤定位系統(tǒng)性能分析

利用視覺定位策略結(jié)合柱面透鏡擺盤工藝及特點(diǎn)，開發(fā)了柱面透鏡視覺擺盤系統(tǒng)，實(shí)現(xiàn)了柱面透鏡的自動化擺盤作業(yè)，柱面透鏡擺盤系統(tǒng)的硬件組成如圖13所示。工控機(jī)作為主要協(xié)同單元和人機(jī)交互單元，連接和控制其他硬件的工作。上位相機(jī)和下位相機(jī)通過TCP/IP通信與工控機(jī)進(jìn)行數(shù)據(jù)交互，機(jī)器人控制器通過modbusTCP協(xié)議與上位機(jī)通信。

圖13 柱面透鏡擺盤系統(tǒng)硬件組成Fig.13 Cylindrical lens plating systemhardware composition

上位視覺單元的組成為：上位相機(jī)、鏡頭、環(huán)形光源，用于對上料區(qū)納料盒中的工件進(jìn)行粗定位，保證機(jī)器人末端能夠移至需要吸料的工件點(diǎn)位處，但在吸取的過程中由于末端吸嘴工具在吸取的過程中會發(fā)生工件偏移而導(dǎo)致工件中心與吸嘴中心難以重合，所以需要下位視覺單元對工件進(jìn)行精定位。下位視覺單元的組成為：下位相機(jī)、鏡頭、條形光、同軸光，由于柱面透鏡自身的特性，僅使用同軸光無法保證所有情況下的工件完全顯示為亮白色，會有工件部分區(qū)域難以區(qū)分的情況，而采取條形光與同軸光結(jié)合的方式能夠?qū)⒐ぜ^好地與背景區(qū)分。

圖14 柱面透鏡偏心合格率Fig.14 Cylindrical lens eccentric pass rate

為驗(yàn)證柱面透鏡視覺定位擺盤系統(tǒng)在實(shí)際工廠環(huán)境下的性能，對人工擺盤和系統(tǒng)擺盤進(jìn)行了相關(guān)數(shù)據(jù)的采集。柱面透鏡生產(chǎn)過程中對產(chǎn)品良率結(jié)果影響最為重要的是偏心合格率，產(chǎn)品偏心過大會導(dǎo)致對光線的折射發(fā)生偏移，進(jìn)而導(dǎo)致未來使用柱面透鏡的產(chǎn)品性能不達(dá)標(biāo)。對系統(tǒng)使用前后的24個(gè)月份進(jìn)行偏心合格率的數(shù)據(jù)對比，其結(jié)果如圖14所示，其中1～10月為人工擺盤方式，各型號產(chǎn)品月平均生產(chǎn)量為4000顆左右，11～12月為系統(tǒng)開發(fā)前期，各型號產(chǎn)品月平均生產(chǎn)量為15 000顆左右，13～24月為系統(tǒng)穩(wěn)定期，各型號產(chǎn)品月平均生產(chǎn)量為30 000顆左右。可以看出，柱面透鏡視覺定位擺盤系統(tǒng)相對于人工擺盤來說偏心合格率由原有的50%～80%區(qū)間(不可控狀態(tài))穩(wěn)定提高至95%以上，效果較為顯著。

擺盤工藝對柱面透鏡整體制造工藝有較為重要的影響，為探究視覺定位擺盤系統(tǒng)對柱面透鏡生產(chǎn)的合格率提升效果，對擺盤工藝后的半成品合格率和整體工藝之后的成品合格率進(jìn)行生產(chǎn)品質(zhì)總結(jié)分析，其結(jié)果如圖15所示。在人工擺盤時(shí)期，半成品合格率處于70%左右，成品合格率處于50%～60%區(qū)間，將近一半的產(chǎn)品為不良品，導(dǎo)致生產(chǎn)成本的增加；使用擺盤系統(tǒng)代替人工方式后，半成品合格率將近100%，成品合格率最高能夠達(dá)到90%，表明擺盤工藝對柱面透鏡的產(chǎn)品合格率影響較大，系統(tǒng)的性能得到驗(yàn)證。

圖15 柱面透鏡生產(chǎn)合格率Fig.15 Cylindrical lens production pass rate

圖16 柱面透鏡擺盤工藝耗時(shí)對比Fig.16 Cylindrical lens plating process time-consuming comparison

為進(jìn)一步驗(yàn)證系統(tǒng)的批量生產(chǎn)能力，將系統(tǒng)耗時(shí)與人工耗時(shí)進(jìn)行對比以驗(yàn)證系統(tǒng)的生產(chǎn)效率。如圖16所示，對五種擺盤花型數(shù)量的單盤作業(yè)耗時(shí)進(jìn)行了統(tǒng)計(jì)分析，從圖中可以看出，系統(tǒng)耗時(shí)隨著花型數(shù)量的增加呈現(xiàn)線性增長趨勢，而人工作業(yè)耗時(shí)隨著花型數(shù)量的增加呈現(xiàn)非線性增加，其原因在于人工方式對花型數(shù)量越多的擺盤需要進(jìn)行更多次調(diào)整才能使柱面透鏡處于較為理想的狀態(tài)，而系統(tǒng)擺盤則能夠在單次放料動作后達(dá)到理想狀態(tài)。系統(tǒng)耗時(shí)相較于人工耗時(shí)顯著縮短，僅僅為人工耗時(shí)的1/5左右，批量化生產(chǎn)能力得到驗(yàn)證。

5 結(jié)論

(1)基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺定位策略，利用定位精度較高的數(shù)據(jù)信息建立數(shù)據(jù)集，利用VGG作為主干網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，能夠簡化系統(tǒng)視覺定位操作，適應(yīng)不同環(huán)境下的多型號柱面透鏡產(chǎn)品。

(2)U-Net網(wǎng)絡(luò)模型的參數(shù)對其精度和穩(wěn)定性影響較大，采用合適的學(xué)習(xí)率等參數(shù)能夠使定位精度和穩(wěn)定性提高，文中通過對不同學(xué)習(xí)率的損失值進(jìn)行對比選取了最優(yōu)參數(shù)。

(3)基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺擺盤系統(tǒng)相較于人工方式，在偏心良率、合格率、耗時(shí)等方面均有較大程度的提高，證明了系統(tǒng)的性能和生產(chǎn)效率。