產(chǎn)線零件特征圖形識(shí)別的技術(shù)研究

蘇州工業(yè)職業(yè)技術(shù)學(xué)院機(jī)電工程系 王趙雨 徐 黎 仝 奧 劉 晨 周家豪 鹿 霖

使用OpenCV開源視覺庫(kù)，通過色域轉(zhuǎn)化、輪廓提取、角點(diǎn)識(shí)別等功能實(shí)現(xiàn)對(duì)指定產(chǎn)品零件的特征圖形識(shí)別。使用開源控制器樹莓派及其搭載的Pi Camera攝像頭獲取機(jī)器人攜行工件的原始圖像，并對(duì)圖像進(jìn)行濾波，灰度轉(zhuǎn)化等處理，再對(duì)其輪廓進(jìn)行提取、擬合等操作，最終獲得指定幾何形狀的識(shí)別結(jié)果并進(jìn)行標(biāo)定。結(jié)果表明，作為一項(xiàng)基于開源軟硬件的解決方案，可實(shí)現(xiàn)對(duì)指定零件上的三角形，圓形，正方形，矩形輪廓進(jìn)行識(shí)別判斷，并可作為產(chǎn)線的一部分，與機(jī)器人進(jìn)行聯(lián)動(dòng)。

隨著中國(guó)制造向中國(guó)”智”造轉(zhuǎn)型升級(jí)，對(duì)生產(chǎn)效率的要求也日益提高，借助傳統(tǒng)的“打光透亮”和“大小格柵”方法對(duì)流水線上零件進(jìn)行物理檢測(cè)質(zhì)檢和分類的工作變得越來越困難，對(duì)于借助機(jī)器視覺進(jìn)行進(jìn)一步精細(xì)核驗(yàn)的需求越來越迫切。目前市場(chǎng)成熟的視覺軟件和成品智能相機(jī)源碼多為國(guó)外企業(yè)保密資料，國(guó)內(nèi)相關(guān)信息又過于零散，且成熟代碼多為基于商業(yè)軟件MATLAB、Halcon編寫。

本文主要研究了使用開源硬件樹莓派作為控制器，通過開源視覺庫(kù)OpenCV對(duì)某產(chǎn)線零件上典型特征圖形進(jìn)行識(shí)別的方法，同時(shí)加入了機(jī)器人與樹莓派的數(shù)據(jù)通信作為流程控制與結(jié)果獲取。此類方法可以應(yīng)用于工業(yè)生產(chǎn)中對(duì)于零件輪廓的分類和零件加工是否到位進(jìn)行檢測(cè)，具有簡(jiǎn)便可靠等特點(diǎn)，易于在生產(chǎn)中應(yīng)用。本案例所使用的檢測(cè)對(duì)象即為某型號(hào)輪轂零件。

1 系統(tǒng)硬件方案設(shè)計(jì)

系統(tǒng)硬件框圖如圖1所示，使用IRB120機(jī)器人作為上位機(jī)使用socket指令與樹莓派進(jìn)行TCP通信，用于下達(dá)拍攝指令及接收?qǐng)D像識(shí)別結(jié)果；使用樹莓派自帶的CSI接口的Pi Camera攝像頭進(jìn)行圖像拍攝，獲取目標(biāo)的圖像數(shù)據(jù)；樹莓派4B作為控制器，對(duì)采集到的圖像數(shù)據(jù)進(jìn)行處理分析；HDMI顯示屏用于實(shí)時(shí)顯示結(jié)果。實(shí)際使用時(shí)，無(wú)屏幕顯示亦可。

圖1 系統(tǒng)硬件框圖

2 系統(tǒng)及軟件準(zhǔn)備

由于樹莓派搭載的操作系統(tǒng)為Raspberry Pi OS，屬于Linux系統(tǒng)，所以在軟件安裝上與常用的Windows系統(tǒng)略有不同。其所有操作均通過終端（terminal）命令行執(zhí)行，下載OpenCV源碼需借助“wget-o”指令從目標(biāo)網(wǎng)站（官方提供的是github鏈接）下載zip格式壓縮包。然后再使用“unzip“指令進(jìn)行解壓。解壓后的庫(kù)文件經(jīng)“CMake”編譯后即可正常使用。如果不能正常編譯安裝，應(yīng)首先考慮使用“sudo apt-get update&&upgrade”更新系統(tǒng)。此外如果希望程序能夠穩(wěn)定運(yùn)行還需通過“sudo apt-get install”指令安裝必要的配套庫(kù)如OpenCV數(shù)值優(yōu)化庫(kù)“l(fā)ibatlas-base-dev gfortran”等。

3 圖形識(shí)別過程

圖2所示為該產(chǎn)線零件輪廓識(shí)別過程流程圖，IRB120機(jī)器人作為上位機(jī)下達(dá)指令，相機(jī)進(jìn)行拍照，樹莓派對(duì)相機(jī)采集的圖像數(shù)據(jù)進(jìn)行處理，包括圖像預(yù)處理，輪廓擬合與提取，角點(diǎn)檢測(cè)、形狀判斷，面積篩選，最終將識(shí)別結(jié)果反饋給IRB120機(jī)器人。整個(gè)過程可循環(huán)進(jìn)行。

圖2 輪廓識(shí)別流程圖

3.1 圖像預(yù)處理

通過攝像頭拍照獲取的原始圖像如圖3所示。主要識(shí)別中心位置的方形、三角形、長(zhǎng)方形和圓形圖案。由于主要是對(duì)圖像做圖形識(shí)別，而讀入的初始圖像信息包含的無(wú)用信息和干擾項(xiàng)過多，如大量不可視的噪點(diǎn)以及做形狀識(shí)別所不需要的色彩信息，所以首先對(duì)圖像進(jìn)行高斯模糊GaussianBlur()使某些不明顯的噪聲輪廓被率先濾除，然后再進(jìn)行色域轉(zhuǎn)化，把原BGR圖成GRAY格式（如圖4所示）。

圖3 原始圖像

圖4 預(yù)處理后的圖像

3.2 邊緣粗提取

圖像輪廓特指目標(biāo)圖像中灰度值突變的區(qū)域邊界，目前業(yè)界多用Canny算子進(jìn)行輪廓提取。經(jīng)過多次嘗試，測(cè)試設(shè)定閾值為25，75，使用默認(rèn)內(nèi)核，內(nèi)核為3，使用Canny算子提取后輪廓如圖5所示。可見目標(biāo)圖案輪廓，但仍有很多其他邊緣輪廓，如輪轂、背景干擾線等。

圖5 Canny算子處理后的粗輪廓圖

3.3 對(duì)粗提取出的輪廓通過部分圖形操作減少雜波

在獲得的粗輪廓圖基礎(chǔ)上，再使用膨脹dilation和侵蝕erosion的圖形學(xué)運(yùn)算可以進(jìn)一步削減Canny算子提取出的干擾輪廓，以避免對(duì)后續(xù)識(shí)別產(chǎn)生影響。此處使用了10X10的矩形內(nèi)核，矩形內(nèi)核由getStructingElement中的參數(shù)MORPH_RECT確定，其他的還有十字形，橢圓形，分別適合不同場(chǎng)合。具體對(duì)照如圖6，A為處理前，B為處理后。

圖6 侵蝕膨脹處理對(duì)照?qǐng)D

3.4 對(duì)處理過的輪廓進(jìn)行識(shí)別和標(biāo)定

使用Canny生成的輪廓圖后，借助FindCounter函數(shù)對(duì)其進(jìn)行輪廓檢測(cè)。FindCounter函數(shù)可將較為抽象的輪廓轉(zhuǎn)化為易于處理的點(diǎn)集。其參數(shù)首先為輸入圖像，其次是接收輪廓的容器此處使用vector二重容器。再次為輪廓層級(jí)。接著是一些如閾值等可選參數(shù)。為了實(shí)現(xiàn)圖形判斷，引入conPoly函數(shù)篩選出輪廓點(diǎn)集中含拐點(diǎn)的特殊點(diǎn)，其中填入counter.size（）。接著使用approPolyDP對(duì)獲取的點(diǎn)集進(jìn)行多邊形擬合，最后再通過drawContours函數(shù)將獲得的輪廓進(jìn)行標(biāo)定，效果如圖7所示。可見，除了將檢測(cè)的輪轂中心圖案標(biāo)定出來之外，仍舊還有很多干擾輪廓。

圖7 輪廓標(biāo)定

故在通過FindCounter獲取點(diǎn)集之后，調(diào)用counterArea函數(shù)計(jì)算輪廓面積。將計(jì)算得到的輪廓面積，篩除其中小與1000的部分后再進(jìn)行后續(xù)操作。最終獲得如圖8所示效果。至此，成功識(shí)別目標(biāo)形狀，并分別予以標(biāo)定。

圖8 篩選

FindCounter函數(shù)識(shí)別輪廓對(duì)于照明條件有較高的要求，如果照明條件不夠理想則會(huì)出現(xiàn)難以準(zhǔn)確檢測(cè)的問題。目前已知的，也是最簡(jiǎn)便的方法為在相機(jī)周圍加裝燈帶，可顯著提高準(zhǔn)確率。另外在在不變修改照明條件的情況下，可以考慮將相機(jī)設(shè)置為鎖幀，亦可削弱一定的影響。

4 IRB120與樹莓派的TCP通信

整個(gè)零件特征圖形識(shí)別流程由IRB120機(jī)器人進(jìn)行控制，所以在設(shè)計(jì)中，通過在樹莓派上建立TCP服務(wù)器，而IRB120作為TCP客戶端對(duì)樹莓派做動(dòng)作請(qǐng)求。在樹莓派上通過軟件編程實(shí)現(xiàn)，并通過關(guān)鍵詞觸發(fā)，實(shí)現(xiàn)對(duì)圖形識(shí)別流程的控制。機(jī)器人端則使用指定的socket指令實(shí)現(xiàn)，且需開啟616-1 PC-interface選項(xiàng)支持。

本文使用樹莓派4B和隨機(jī)搭載的Pi Camera攝像頭搭建了簡(jiǎn)易可靠的視覺檢測(cè)系統(tǒng)，運(yùn)用OpenCV對(duì)產(chǎn)線零件特征圖形進(jìn)行識(shí)別檢測(cè)，結(jié)果顯示該系統(tǒng)可以輕松準(zhǔn)確地檢測(cè)出正方形，圓形，三角形，矩形，且整個(gè)流程可由上位機(jī)IRB120機(jī)器人實(shí)現(xiàn)控制。相機(jī)端軟件依靠C++語(yǔ)言的固有特性，運(yùn)行高效且對(duì)CPU處理能力要求不高，有利于多平臺(tái)移植，使用通用TCP/IP套接字通信，更便于接入工業(yè)網(wǎng)絡(luò)。同時(shí)完全未涉及付費(fèi)或保密內(nèi)容，有利于進(jìn)一步降低生產(chǎn)成本及推廣使用。