基于視覺引導(dǎo)的采樣系統(tǒng)設(shè)計

楊忠炯，鄒紹昕，周立強

（1.中南大學(xué) 機電工程學(xué)院，長沙 410083；2.中南大學(xué) 高性能復(fù)雜制造國家重點實驗室，長沙 410083）

0 引言

國內(nèi)金屬行業(yè)的質(zhì)檢部門需對供應(yīng)商車輛運輸?shù)牡V粉進行采樣，通常是在礦粉堆的不同位置進行人工采樣作為該批次的樣本，樣本化驗結(jié)果作為該批次礦粉的定價依據(jù)。現(xiàn)有的采樣方式很大程度上還依賴于人工，國內(nèi)對于采樣系統(tǒng)的研究發(fā)展落后于歐美等發(fā)達國家[1]。實現(xiàn)采樣自動化要解決的技術(shù)問題是準(zhǔn)確檢測出采樣區(qū)域，并在采樣機器人基礎(chǔ)坐標(biāo)系得到采樣點坐標(biāo)。通過視覺引導(dǎo)的方式，協(xié)助機器人到目標(biāo)點進行工作，這種方法可以有效地提高生產(chǎn)線的工作效率和自動化水平[2-5]，特別是對于一些人工操作危險復(fù)雜的工作，具有非常重要的意義。

文中依據(jù)實際項目提出了一種基于SSD的采樣區(qū)域檢測算法，并基于激光定位燈實現(xiàn)圖像坐標(biāo)系到機器人基礎(chǔ)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換，并通過現(xiàn)場實驗對采樣系統(tǒng)的精度和可靠性進行了驗證。

1 系統(tǒng)硬件組成

1）相機采用hikvision的MV-CA032-10GC型號的工業(yè)相機，靶面積為1/1.8英寸，使用千兆網(wǎng)線與上位機通訊，相機安裝在采樣現(xiàn)場的正上方。

2）鏡頭采用mindvision的MV-LD-4-4M-G型號的定焦鏡頭，焦距為4mm，鏡頭畸變率小于0.5%，靶面積為1/1.8英寸。

3）激光定位燈為工業(yè)用激光燈，型號為G0028，輸出功率為400mw，波長為532nm，投射綠色光斑。

4）工控機采用Lenovo的工控機，負責(zé)從CMOS相機采集的圖像中識別采樣區(qū)域、生成隨機采樣點、進行圖像坐標(biāo)系到實際坐標(biāo)系的轉(zhuǎn)換、TCP通訊以及PLC控制等。

5）采樣機器人為三自由度導(dǎo)軌式機器人，電機采用siemens的SIMOTICS S-1FK7緊湊型的永磁同步電機，并通過PLC控制電機以及液壓系統(tǒng)控制采樣機器人進行采樣。

采樣系統(tǒng)整體如圖1所示，工業(yè)相機和激光定位燈固定在頂部，且激光定位燈垂直向下投射綠色光斑，激光定位燈所在位置為采樣機器人原點，采樣機器人可沿著導(dǎo)軌在xw、yw方向運動，當(dāng)車輛停靠時，采樣機器人可沿zw方向進行采樣工作，zw方向采樣深度根據(jù)電機轉(zhuǎn)矩傳感器進行控制。

圖1 采樣系統(tǒng)組成

2 基于SSD的采樣區(qū)域檢測

2.1 SSD算法的核心思想

SSD[6]網(wǎng)絡(luò)是目標(biāo)檢測中常用的one-stage類算法，能夠在保證檢測精度的同時，大大提升檢測速度，且SSD網(wǎng)絡(luò)內(nèi)置有數(shù)據(jù)增強的方法，如剪裁、放大、縮小等，SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)

其主要思路是使用VGG16作為基礎(chǔ)網(wǎng)絡(luò)，在此基礎(chǔ)上使用卷積層、池化層等結(jié)構(gòu)，得到多尺度預(yù)測特征圖，在圖像的預(yù)測特征圖中進行多次采樣，并在6個預(yù)測特征圖層根據(jù)不同尺寸和長寬比生成共8732個默認框(defalut box)，大尺度的預(yù)測特征圖用于檢測小目標(biāo)物，小尺度的預(yù)測特征圖用于檢測大目標(biāo)物，可覆蓋所有待檢測目標(biāo)，對默認框內(nèi)的目標(biāo)類別進行預(yù)測，并對默認框的邊界進行回歸，再使用非極大值抑制[7]，得到最后的檢測結(jié)果。

2.2 訓(xùn)練結(jié)果

通過相機采集5127張現(xiàn)場圖片，數(shù)據(jù)集中包括不同光線強度、不同時間段的情況下所有運輸車輛的俯視拍攝圖，并通過數(shù)據(jù)擴增的方式對每張圖片進行亮度調(diào)整、對比度調(diào)整、添加噪聲、圖像翻轉(zhuǎn)、圖像模糊的操作，每張圖片可額外擴充5張圖片，得到共30762張訓(xùn)練樣本，對采樣區(qū)域數(shù)據(jù)集進行標(biāo)注后進行訓(xùn)練，訓(xùn)練后的模型對現(xiàn)場的運輸車輛進行采樣區(qū)域檢測，結(jié)果如下圖所示。

圖3 SSD模型的檢測結(jié)果圖

SSD的檢測結(jié)果將用于引導(dǎo)采樣機器人進行采樣，因此對預(yù)測框的精度要求高，預(yù)測框若超出實際采樣范圍，會造成安全問題。將IoUG定義為預(yù)測框與真實框交集的面積除以真實框面積所得到的比值，若預(yù)測框超出采樣范圍、未檢測出采樣范圍或IoUG＜0.8，則認為檢測失敗；若0.8≤IoUG≤1且未超出采樣范圍，則認為檢測成功，則對1000張測試集圖片進行檢測，結(jié)果如表1所示。

表1 SSD模型對于采樣范圍的檢測情況

使用數(shù)據(jù)擴增之前，由于運輸車輛出現(xiàn)的時間段限制，同一車輛在不同光線強度以及對比度的數(shù)據(jù)集較少，導(dǎo)致52張測試集圖像都無法在圖像中檢測中采樣范圍，并且42張測試集圖像的預(yù)測框超出采樣范圍，61張測試集圖像的預(yù)測框IoUG＜0.8，使用數(shù)據(jù)擴增后，成功率從84.5%提高到97.6%，表明使用數(shù)據(jù)擴增能有效提高檢測成功率，由于待檢測目標(biāo)為大目標(biāo)且場景穩(wěn)定，使用數(shù)據(jù)擴增后的SSD模型可用于采樣范圍的檢測，對于檢測失敗的情況，人工可在控制界面對預(yù)測框進行修正，確保采樣機器人在采樣范圍內(nèi)工作。

3 隨機采樣點的產(chǎn)生規(guī)則

由于現(xiàn)場采樣要求采樣點為16個，且滿足均勻隨機分布，按圖4(a)的規(guī)則產(chǎn)生采樣點。

圖4 隨機采樣點的生成

將SSD模型檢測出的采樣區(qū)域按4×6方式劃分為24個候選區(qū)域，通過隨機函數(shù)在24個候選區(qū)域中選取16個待采樣區(qū)域，再將每個待采樣區(qū)域按3×3方式劃分為9個子區(qū)域，通過隨機函數(shù)在9個子區(qū)域的選取一個子區(qū)域的中心點作為隨機采樣點。現(xiàn)場隨機采樣點的產(chǎn)生結(jié)果如圖4(b)所示，每次生成的16個采樣點都滿足隨機均勻分布的要求，可避免出現(xiàn)在礦粉內(nèi)摻假的現(xiàn)象。

4 視覺定位模型

機械人視覺定位方法通常是將棋盤靶標(biāo)固定于機器人法蘭末端,使得棋盤靶標(biāo)隨機器人運動而運動，相機拍攝處于不同位姿下的棋盤靶標(biāo),從而標(biāo)定相機與機器人之間的位姿關(guān)系[8]，采樣機器人為導(dǎo)軌式且相機安裝在頂部，無法通過手眼標(biāo)定的方式來進行坐標(biāo)轉(zhuǎn)換。文中提出一種易部署且滿足采樣精度要求的視覺定位模型，用于引導(dǎo)采樣機器人移動到隨機生成的采樣點位置進行采樣。

4.1 綠色激光點的識別

綠色激光定位燈投射在采樣平面后，在圖像中找到綠色激光點在圖像中的位置，圖像處理過程如圖5所示。

圖5 圖像處理流程圖

4.1.1 顏色特征篩選

在OpenCV中將原圖從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，根據(jù)綠色在HSV顏色空間中的范圍，從原圖中提取出綠色像素點，并進行灰度化、二值化、形態(tài)學(xué)膨脹等操作，得到二值化圖像，不同光線強度下綠色激光點的識別結(jié)果如圖6(a)所示。

圖6 顏色特征篩選后的圖像

顏色特征篩選后，得到的二值化圖像中仍存在其他連通體區(qū)域，如圖6(c)所示，僅通過顏色特征無法直接從圖像中得到綠色激光點的位置，還需根據(jù)二值化圖像中的連通體特征進一步篩選。

4.1.2 連通體特征篩選

需根據(jù)激光點連通體特征[9]，從二值化圖像中唯一確定綠色激光點的質(zhì)心位置坐標(biāo)，并將綠色激光點的質(zhì)心作為圖像坐標(biāo)系原點，選取以下3個連通體特征進行篩選：

1）連通體質(zhì)心位置：(xM,yM)指二值化圖像中單個連通域質(zhì)心坐標(biāo)在圖像中的坐標(biāo)，OpenCV坐標(biāo)系是以左上角為原點，橫向為x，縱向為y。

2）連通體面積特征S：指二值化圖像中單個連通域的像素個數(shù)。

3）連通體圓形度特征θ：指二值化圖像中單個連通域的面積與最小外接圓面積之比。

式中，L為連通體長軸，i為二值化圖像中連通體序號，n為二值化圖像中連通體總數(shù)；xmin、xmax為綠色激光點質(zhì)心坐標(biāo)x方向的極限位置，ymin、ymax為綠色激光點質(zhì)心坐標(biāo)x方向的極限位置，xmin、xmax、ymin、ymax可在最低采樣平面以及最高采樣平面情況下測得；Smin、Smax為綠色激光點連通體的極限面積，θmin代表綠色激光點連通體圓形度的最小值，Smin、Smax、θmin可根據(jù)現(xiàn)場環(huán)境設(shè)定；Pi為所有連通體的圓形度特征和面積特征進行加權(quán)后計算得到的最大值，α為連通體圓形度權(quán)重系數(shù)，β為連通體面積權(quán)重系數(shù)。

二值化圖像中的連通體需滿足式(2)的條件，對于所有滿足式(2)的連通體，通過式(3)得到目標(biāo)連通體Pi，Pi對應(yīng)的第i個連通體為綠色激光點對應(yīng)的連通體，該連通體的質(zhì)心坐標(biāo)為綠色激光點的中心坐標(biāo)，并將綠色激光點的質(zhì)心作為圖像坐標(biāo)系原點，對綠色激光點的識別結(jié)果如圖7所示，對于照射在采樣平面的綠色激光點，通過都能在圖像中都找到其位置，為后續(xù)的坐標(biāo)轉(zhuǎn)換提供可靠信息。

圖7 現(xiàn)場圖片中綠色激光點的識別結(jié)果

4.2 坐標(biāo)轉(zhuǎn)換

在采樣機器人基礎(chǔ)坐標(biāo)系中，采樣機器人的運動原點為激光定位燈所在位置，由于采樣機器人z方向采樣深度根據(jù)電機轉(zhuǎn)矩傳感器進行控制，且綠色激光點垂直投射在采樣平面，可將三維的采樣機器人基礎(chǔ)坐標(biāo)系簡化為二維的采樣平面坐標(biāo)系，采樣平面坐標(biāo)系的原點為激光定位燈在采樣平面投影點的質(zhì)心位置，因此可通過采樣平面坐標(biāo)系的坐標(biāo)點(x,y)控制采樣機器人到對應(yīng)位置采樣。

圖8 坐標(biāo)轉(zhuǎn)換示意圖

因相機中心與激光定位燈中心的橫向距離Δx可通過測量得到，且圖像坐標(biāo)系中，圖片中心點與綠色激光點質(zhì)心的橫向像素距離Δu也可通過計算得到，16個采樣點的計算如下：

式中，Kt為圖像坐標(biāo)系到采樣平面標(biāo)系的轉(zhuǎn)換系數(shù)，Δx為采樣平面坐標(biāo)系中的常量，Δu隨采樣平面高度變化，采樣平面越高Δu越大，i為采樣點序號，(xi,yi)T為采樣平面坐標(biāo)系中的采樣點，(ui,vi)T為圖像坐標(biāo)系中按規(guī)則隨機生成的點。

圖像坐標(biāo)系中16個隨機采樣點換算到采樣平面坐標(biāo)系后，通過TCP通訊的方式從工控機傳輸?shù)絇LC，進而引導(dǎo)采樣機器人到對應(yīng)位置進行采樣。

5 實驗結(jié)果

采用人工方式在圖像中生成采樣點，對視覺定位的精度進行多次實驗，每次實驗選定10個采樣點進行視覺定位誤差實驗，進行三次實驗，共測試30個采樣點，且30個采樣點均勻分布在整個采樣平面，計算x、y方向的最大誤差以及平均誤差，第一次的實驗結(jié)果如表2所示，視覺引導(dǎo)采樣實驗如圖9所示。

表2 視覺定位結(jié)果與采樣頭實際位置（mm）

圖9 視覺引導(dǎo)采樣實驗

實驗的定位誤差結(jié)果如圖10所示，30個采樣點在x方向的最大絕對誤差為9mm，y方向的最大絕對誤差為7mm，誤差產(chǎn)生原因是由于綠色激光點質(zhì)心的識別精度、機器人運動誤差等因素造成，采樣過程是在采樣區(qū)域隨機生成取樣點進行采樣，采樣點不能超出采樣區(qū)域，根據(jù)采樣點的產(chǎn)生規(guī)則，在極限情況下，隨機生成的邊緣點距離采樣區(qū)域邊界在x方向有167mm裕量，y方向上有87mm裕量，因此不會出現(xiàn)采樣點超出采樣范圍的情況，該采樣精度可滿足現(xiàn)場采樣要求。

6 結(jié)語

針對半封閉式空間的采樣環(huán)境，文中提出一種視覺引導(dǎo)的采樣系統(tǒng)用于三自由度導(dǎo)軌式采樣機器人，主要的研究成果如下：

1）基于SSD目標(biāo)檢測算法實現(xiàn)采樣區(qū)域檢測，可從采集的圖像中自動識別出采樣區(qū)域。

2）根據(jù)采樣要求，提出一種隨機采樣點的產(chǎn)生規(guī)則，并且生成的采樣點滿足隨機均勻分布。

3）基于激光定位燈提出一種視覺定位模型，實現(xiàn)從圖像坐標(biāo)系到采樣機器人基礎(chǔ)坐標(biāo)系的轉(zhuǎn)換，進而引導(dǎo)采樣機器人到對應(yīng)隨機點進行采樣。

通過現(xiàn)場實驗驗證了采樣系統(tǒng)的可行性，采樣點的分布以及定位精度均滿足現(xiàn)場采樣要求，對提高采樣自動化具有重要意義。