基于機(jī)器視覺的十軸協(xié)作教學(xué)貼標(biāo)機(jī)研究與設(shè)計(jì)*

魏鴻磊，劉乘昊，王 晶，楊祎寧，馬曉光，趙建幫

（1.大連工業(yè)大學(xué)機(jī)械工程與自動化學(xué)院，遼寧大連 116034；2.大連船舶重工集團(tuán)有限公司，遼寧大連 116021）

0 引言

隨著全球科技創(chuàng)新持續(xù)發(fā)展，智能社會正在向我們走來，世界大國把制造業(yè)作為促進(jìn)經(jīng)濟(jì)發(fā)展的戰(zhàn)略選擇，各大國家提出不同的有關(guān)制造業(yè)的計(jì)劃，中國提出了《中國制造2025》[1]計(jì)劃，致力于實(shí)現(xiàn)從工業(yè)大國向工業(yè)強(qiáng)國轉(zhuǎn)變，針對人才缺乏問題，2017年教育部批準(zhǔn)成立“智能制造工程”專業(yè)[2]，2018年蘇州大學(xué)開設(shè)了智能制造新工科專業(yè)，新專業(yè)涉及新技術(shù)，實(shí)踐性強(qiáng)，為緊跟國家發(fā)展，提供專業(yè)建設(shè)要求，提升學(xué)生創(chuàng)新實(shí)踐能力，亟需教學(xué)平臺供學(xué)生學(xué)習(xí)[3-4]。

光、機(jī)、電一體化技術(shù)已成為當(dāng)前社會發(fā)展大勢所趨，提高工業(yè)上工作效率，在智能制造中有絕對的優(yōu)勢[5-7]，本文提出集光機(jī)電于一體的貼標(biāo)機(jī)控制系統(tǒng)，涉及知識廣、內(nèi)容豐富、實(shí)踐性強(qiáng)，易于激發(fā)學(xué)生的學(xué)習(xí)興趣，培養(yǎng)學(xué)生拓展能力、提升創(chuàng)新能力。但在目前國內(nèi)貼標(biāo)機(jī)產(chǎn)業(yè)中大部分用途為工業(yè)生產(chǎn)。馬博文等[8]提出一種基于CarSim、Isight及MATLAB仿真平臺的前懸架K&C特性參數(shù)的優(yōu)化方法；Márcio Mendona[9]基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相機(jī)標(biāo)定，提出了一種神經(jīng)校準(zhǔn)方法；于凱旋等[10]運(yùn)用系統(tǒng)圖像處理算法提高芯片檢測效率；李瑞丹等[11]提出了一種工業(yè)化的緊湊型桌面貼片機(jī)。

為緊跟智能制造發(fā)展，抓住社會發(fā)展趨勢，解決光機(jī)電一體化設(shè)備教學(xué)應(yīng)用設(shè)備較少的問題，本文提出一種基于機(jī)器視覺的十軸協(xié)作貼標(biāo)機(jī)控制系統(tǒng)，使學(xué)生充分了解智能制造的優(yōu)勢，培養(yǎng)學(xué)生興趣、實(shí)踐能力和創(chuàng)新能力。

1 硬件設(shè)計(jì)

1.1 機(jī)械結(jié)構(gòu)設(shè)計(jì)

本研究貼標(biāo)機(jī)組成如圖1所示，由視覺系統(tǒng)、上位機(jī)、控制系統(tǒng)、執(zhí)行系統(tǒng)組成。其中視覺系統(tǒng)包括工業(yè)相機(jī)、鏡頭、光源，控制系統(tǒng)包括運(yùn)動控制卡、接線盒、傳感器、氣動裝置，執(zhí)行系統(tǒng)由伺服/步進(jìn)電機(jī)、末端執(zhí)行器等組成。

圖1 貼標(biāo)機(jī)系統(tǒng)組成

本設(shè)計(jì)優(yōu)勢在于增加了視覺系統(tǒng)，為保證圖像捕捉的精準(zhǔn)度，除了機(jī)臺底盤要求極其穩(wěn)定以外，還需要相機(jī)抓取圖像快速、穩(wěn)定、清晰。工業(yè)相機(jī)采用海康威視工業(yè)相機(jī)系列產(chǎn)品，海康在2016 Vision China中展現(xiàn)出其面陣、線陣相機(jī)強(qiáng)大的缺陷檢測、定位引導(dǎo)等功能[12]，大大提升了圖像處理的效率，使運(yùn)行程序更加穩(wěn)定，并且可以讓學(xué)生學(xué)習(xí)到豐富的視覺內(nèi)容，培養(yǎng)學(xué)生在視覺領(lǐng)域的興趣。

1.2 平臺組成

貼標(biāo)機(jī)實(shí)訓(xùn)平臺實(shí)物如圖2所示，本實(shí)驗(yàn)平臺需滿足結(jié)構(gòu)緊湊，設(shè)計(jì)簡單，響應(yīng)靈敏等設(shè)計(jì)特點(diǎn)，所以選擇步進(jìn)電機(jī)作為驅(qū)動電機(jī)。該平臺包括兩套伺服電機(jī)、八套步進(jìn)電機(jī)；一套雷賽DMC3C00控制卡和ACC-XC00驅(qū)動器；一套氣動末端執(zhí)行器；一臺上位機(jī)，一臺HIKROBOT-CE系列相機(jī)等。上位機(jī)提供人機(jī)交互接口，控制貼標(biāo)機(jī)自動運(yùn)行完成自動貼標(biāo)作業(yè)，并對機(jī)臺實(shí)時(shí)運(yùn)動狀態(tài)進(jìn)行監(jiān)控。

圖2 貼標(biāo)機(jī)原型系統(tǒng)

2 軟件設(shè)計(jì)

貼標(biāo)機(jī)軟件系統(tǒng)主要為上位機(jī)程序編寫，上位機(jī)主要實(shí)現(xiàn)貼標(biāo)機(jī)的自動運(yùn)行、點(diǎn)位示教、相機(jī)引導(dǎo)、IO控制、協(xié)作抓取5大實(shí)驗(yàn)功能，由C#語言編寫，主要由主控制界面、系統(tǒng)設(shè)置界面、產(chǎn)品設(shè)置界面以及接口程序組成。在點(diǎn)位示教實(shí)驗(yàn)塊中，操作人員可以在操作界面上通過修改點(diǎn)位參數(shù)、輸出脈沖從而控制軸運(yùn)動的機(jī)械坐標(biāo)以及運(yùn)動速度，在示教結(jié)束后按下主界面上的“復(fù)位”按鈕，電機(jī)驅(qū)動軸回到預(yù)設(shè)初始值，實(shí)現(xiàn)貼標(biāo)機(jī)整體復(fù)位。在相機(jī)引導(dǎo)模塊中，操作人員通過抓取圖片，框處ROI區(qū)域，獲取圖像模板，通過圖像處理算法提取圖像特征，來匹配后續(xù)圖片。為培養(yǎng)學(xué)生靈活思維能力、創(chuàng)新創(chuàng)造能力，IO控制、協(xié)作抓取、自動運(yùn)行模塊設(shè)計(jì)成半開放性實(shí)驗(yàn)，由操作人員操作IO口的輸入、輸出從而控制吸盤完成抓取實(shí)驗(yàn)，可自主設(shè)置點(diǎn)位、IO開閉來控制多個(gè)軸在不同位置抓取的多樣性。C#編寫時(shí)設(shè)置多個(gè)接口，學(xué)生可自主在接口下編寫代碼，開發(fā)思維，豐富貼標(biāo)機(jī)系統(tǒng)。操作人員自主設(shè)計(jì)好點(diǎn)位并保存到工程文件下，即可實(shí)現(xiàn)自動運(yùn)行，并在協(xié)作抓取界面直觀地監(jiān)視抓取匹配的成功率。

3 算法設(shè)計(jì)

3.1 視覺示教控制變量算法

本設(shè)計(jì)由上位機(jī)控制相機(jī)抓取圖像，進(jìn)行圖像處理提取特征值并匹配目標(biāo)物料的操作。由上位機(jī)初始化系統(tǒng)數(shù)據(jù)，每個(gè)物料的特征是不同的，但機(jī)臺坐標(biāo)和相機(jī)坐標(biāo)之間的轉(zhuǎn)換關(guān)系是相同的，提取新物料特征之前要先確認(rèn)系統(tǒng)設(shè)置是否已經(jīng)載入。不同環(huán)境中光線變量難以控制，通過控制預(yù)處理中圖像對比度以及曝光時(shí)間，使得最終處理圖像的清晰度處在模板算子閾值內(nèi)，從而得到穩(wěn)定的模板特征值，完成示教。視覺示教控制變量流程如圖3所示。

圖3 視覺示教程序流程

3.2 工件特征模板生產(chǎn)及定位

不同的工件都有其獨(dú)特的特征，特征提取生成模塊用于匹配不同工件文件，創(chuàng)建一個(gè)特征模板ID。程序運(yùn)行時(shí)對采集到的工件進(jìn)行圖像特征提取，與模板ID匹配，根據(jù)匹配結(jié)果確定是否為需要進(jìn)行操作的工件及工件種類。

特征提取和模板匹配是機(jī)器視覺系統(tǒng)中極為重要的一環(huán)。Halcon提供的模板匹配方式主要非為兩種：基于灰度值匹配和基于形狀匹配。形狀匹配可以做到即便是在惡劣的環(huán)境、混亂或非線性的光線、部分遮擋的情況下也能有極高的辨識度；灰度值匹配則是匹配在整個(gè)ROI區(qū)域內(nèi)的所有特征，即便光線發(fā)生線性變化也能進(jìn)行識別，但匹配的分值相對較低[13]。由于系統(tǒng)需要穩(wěn)定性較高的工作環(huán)境，故采用基于行形狀的模板匹配方法。提取工件特征模板及定位流程分為以下3步：（1）圖像預(yù)處理。工業(yè)相機(jī)采集到的圖像具有一定噪聲，故需要對其進(jìn)行降噪處理。使用scale_image和emphasize算子調(diào)整圖像對比度并進(jìn)行增強(qiáng)；調(diào)用gauss_image對圖像進(jìn)行高斯平滑處理，對鄰域內(nèi)像素進(jìn)行平均，給予不用位置像素不同值，消除高斯噪聲。（2）生成特征模板。調(diào)用Halcon的create_shape_model算子輸入金字塔層數(shù)、允許旋轉(zhuǎn)角度等參數(shù)，生成一個(gè)特征ID。（3）視覺定位工件坐標(biāo)信息是整個(gè)貼標(biāo)機(jī)系統(tǒng)的核心，獲取圖像平面坐標(biāo)轉(zhuǎn)化為機(jī)械坐標(biāo)信息，從而控制精準(zhǔn)抓取工件。調(diào)用Halcon的find_shape_model算子配合特征模板ID生成Score，通過Score與預(yù)設(shè)分?jǐn)?shù)判斷是否存在與模板相似的工件。得到工件坐標(biāo)信息通過視覺比例尺轉(zhuǎn)換成機(jī)械坐標(biāo)，最后發(fā)送給控制卡進(jìn)行貼標(biāo)校準(zhǔn)運(yùn)動。

3.3 二維仿射變換求轉(zhuǎn)角算法

在基于機(jī)器視覺的十軸協(xié)作貼標(biāo)機(jī)系統(tǒng)中，比較目標(biāo)物料相對模板物料轉(zhuǎn)角是不可或缺的一步，傳統(tǒng)的提取物料最大外接矩形，并根據(jù)矩形邊角四點(diǎn)求出中心點(diǎn)坐標(biāo)，對比求出轉(zhuǎn)角的方法需要圖像有良好的清晰度，由于算法本身缺陷，迭代出最終結(jié)果飄忽不定，導(dǎo)致匹配失敗，往往達(dá)不到想要的效果[14]。

本設(shè)計(jì)采用二維放射變換的方法，能夠在一定程度上減小圖像清晰度帶來的影響，可以更準(zhǔn)確地得到物料相對偏移角度。創(chuàng)建初始目標(biāo)函數(shù)為：

定義一個(gè)二維坐標(biāo)：

轉(zhuǎn)換其次變換矩陣：

為了能實(shí)現(xiàn)旋轉(zhuǎn)我們規(guī)定在二維坐標(biāo)基礎(chǔ)上補(bǔ)充一個(gè)1，即：

式（3）中x、y、1分別代表的二維坐標(biāo)的x坐標(biāo)，y坐標(biāo)以及規(guī)定的其次變換矩陣。

經(jīng)過極坐標(biāo)轉(zhuǎn)換得：

逆時(shí)針旋轉(zhuǎn)α后帶入（3）得最終旋轉(zhuǎn)公式

式中：α為旋轉(zhuǎn)角度。

旋轉(zhuǎn)角度識別與定位具體步驟如下：

（1）從視覺攝像頭獲取圖像模板數(shù)據(jù)，提取其中圖像中心橫縱坐標(biāo)x、y，作為輸入數(shù)據(jù)；

（2）將待測物料移動到視覺捕捉范圍內(nèi)，獲取圖像數(shù)據(jù)、提取待測物料中心橫縱坐標(biāo)x0、y0，作為輸入數(shù)據(jù)；

（3）將（1）與（2）中的輸入數(shù)據(jù)代入公式，通過計(jì)算機(jī)計(jì)算得旋轉(zhuǎn)角度。

4 實(shí)驗(yàn)功能測試

4.1 視覺引導(dǎo)測試實(shí)驗(yàn)

視覺引導(dǎo)測試實(shí)驗(yàn)數(shù)據(jù)如圖4所示，學(xué)生可通過更換不同焦距攝像頭抓拍不同距離圖像，來進(jìn)行標(biāo)定與圖像處理。還可選擇Canny、SGBM以及SSD等算法來識別目標(biāo)物料中心點(diǎn)坐標(biāo)，反饋給控制卡，來引導(dǎo)貼標(biāo)機(jī)精準(zhǔn)抓取目標(biāo)物料。

圖4 視覺引導(dǎo)實(shí)驗(yàn)

4.2 點(diǎn)位測試實(shí)驗(yàn)

點(diǎn)位測試實(shí)驗(yàn)如圖5所示，通過點(diǎn)擊不同方向軸位按鈕，控制貼標(biāo)機(jī)驅(qū)動到想要到達(dá)的點(diǎn)位。本系統(tǒng)速度示教設(shè)置分為快速移動與慢速移動。快速移動：軸以較高的速度移動；慢速移動：軸以較低速度移動。本系統(tǒng)移動示教設(shè)置分為點(diǎn)動與定長。點(diǎn)動：點(diǎn)擊軸位方向按鈕，得到脈沖驅(qū)動軸運(yùn)動，反之則停止運(yùn)動；定長：可給軸位移動設(shè)置指定距離，從而使軸運(yùn)動到指定位置。也可通過點(diǎn)擊“復(fù)位”按鈕讓貼標(biāo)機(jī)還原動作程序，回復(fù)初始點(diǎn)位。

圖5 點(diǎn)位測試實(shí)驗(yàn)

5 結(jié)束語

為解決光機(jī)電智能制造、機(jī)器視覺等新專業(yè)實(shí)驗(yàn)裝置短缺、學(xué)生自主創(chuàng)新實(shí)踐能力亟待提升等問題，本文完成了基于機(jī)器視覺的十軸協(xié)作教學(xué)貼標(biāo)機(jī)機(jī)械結(jié)構(gòu)設(shè)計(jì)、硬件設(shè)計(jì)、上位機(jī)軟件開發(fā)。為提高視覺采集精度，提出了控制變量法提高圖像清晰度、二維仿射變換算法使目標(biāo)物旋轉(zhuǎn)角度的計(jì)算更加準(zhǔn)確。基于機(jī)器視覺的貼標(biāo)機(jī)控制平臺貼近工程實(shí)際，學(xué)生既可以自己動手設(shè)計(jì)、無限想象、學(xué)習(xí)編程，同時(shí)也是一個(gè)了解多門理論知識、淺學(xué)工業(yè)流程的一個(gè)平臺。由于在貼標(biāo)機(jī)設(shè)計(jì)過程中，學(xué)生參與了整個(gè)任務(wù)的實(shí)施過程，動手操作，互相協(xié)作，認(rèn)真學(xué)習(xí)，擴(kuò)展思維，因此對整個(gè)過程產(chǎn)生了極大的興趣，取得了不錯(cuò)的成績。非常適合在新專業(yè)自主創(chuàng)新實(shí)踐教學(xué)中推廣應(yīng)用。