機(jī)器視覺(jué)在工業(yè)生產(chǎn)線上的應(yīng)用實(shí)現(xiàn)*

劉振宇，李中生，2，，馮柏潤(rùn)，郭名坤，趙 雪

（1.沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng)110870；2.新松機(jī)器人自動(dòng)化股份有限公司，遼寧 沈陽(yáng)110168；3.空軍駐沈陽(yáng)地區(qū)軍事代表室，遼寧 沈陽(yáng)110016；4.沈陽(yáng)防銹包裝材料有限責(zé)任公司，遼寧 沈陽(yáng)110084）

機(jī)器視覺(jué)系統(tǒng)是指通過(guò)視覺(jué)圖像獲取裝置獲取被測(cè)目標(biāo)的圖像信號(hào)，經(jīng)過(guò)專(zhuān)用的圖像處理軟件系統(tǒng)，根據(jù)圖像像素的顏色、亮度等信息，進(jìn)行目標(biāo)特征的檢測(cè)提取、分析判別，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。機(jī)器視覺(jué)向批量生產(chǎn)線、大型機(jī)械制造業(yè)、精密裝配行業(yè)等各個(gè)應(yīng)用領(lǐng)域的滲透，帶來(lái)了對(duì)機(jī)器視覺(jué)需求的提升，也決定了機(jī)器視覺(jué)將由過(guò)去單純的數(shù)據(jù)采集、傳遞、判斷動(dòng)作，逐漸朝著開(kāi)放性的方向發(fā)展。這一趨勢(shì)也預(yù)示著機(jī)器視覺(jué)與人工智能技術(shù)、機(jī)器人技術(shù)、自動(dòng)化技術(shù)、智能控制技術(shù)等的進(jìn)一步相結(jié)合，促進(jìn)工業(yè)生產(chǎn)過(guò)程智能化、自動(dòng)化、機(jī)器人化是時(shí)代發(fā)展的必然趨勢(shì)[1]。

制造業(yè)是機(jī)械產(chǎn)品的重要工業(yè)部門(mén)，是衡量一個(gè)國(guó)家工業(yè)化程度的重要標(biāo)志。隨著科學(xué)技術(shù)的發(fā)展以及生產(chǎn)自動(dòng)化程度的逐步提高，從機(jī)械設(shè)備加工的焊縫跟蹤、精密裝配作業(yè)、食品和醫(yī)藥灌裝等大型生產(chǎn)線、高樓大廈窗戶的自動(dòng)擦洗、惡劣環(huán)境下的清洗工作，再到國(guó)防武器裝備制造等，采用傳統(tǒng)技術(shù)方法的生產(chǎn)過(guò)程已無(wú)法滿足人們對(duì)生產(chǎn)效率、產(chǎn)品質(zhì)量等越來(lái)越高的要求[2]。針對(duì)當(dāng)前生產(chǎn)過(guò)程中零件尺寸跨度大、裝配效率低、檢測(cè)一致性差、自動(dòng)化和智能化程度低的狀況，將機(jī)器視覺(jué)引入到工業(yè)生產(chǎn)過(guò)程中來(lái)，即機(jī)器在無(wú)人干預(yù)的條件下，通過(guò)分析采集的圖像數(shù)據(jù)，對(duì)零部件進(jìn)行識(shí)別、定位，從而實(shí)現(xiàn)對(duì)零件的抓取、檢測(cè)、裝配等作業(yè)過(guò)程是大勢(shì)所趨。參考文獻(xiàn)[3]中提到在對(duì)印制電路板（PCB）上焊點(diǎn)實(shí)時(shí)檢查中，首先是對(duì)獲得的圖像進(jìn)行預(yù)處理以減少圖像的噪聲，然后根據(jù)上焊點(diǎn)典型的幾何特征進(jìn)行分類(lèi)，從而判斷焊點(diǎn)的質(zhì)量是否合格。2002年，LAHAJNAR F[4]利用機(jī)器視覺(jué)系統(tǒng)檢測(cè)電路板。該系統(tǒng)應(yīng)用兩個(gè)長(zhǎng)焦相機(jī)，并采用亞邊緣檢測(cè)技術(shù)和對(duì)系統(tǒng)進(jìn)行半自動(dòng)校準(zhǔn)，精確測(cè)量出電路板的幾個(gè)尺寸參數(shù)，且機(jī)器視覺(jué)系統(tǒng)能夠很好地跟蹤電路板的生產(chǎn)過(guò)程，檢測(cè)每一個(gè)電路板，并分揀出次品。2006年，合肥工業(yè)大學(xué)針對(duì)球柵陣列BGA（Ball Grid Array）封裝形式的半導(dǎo)體芯片進(jìn)行了BGA全自動(dòng)植球機(jī)視覺(jué)檢測(cè)和自動(dòng)對(duì)準(zhǔn)控制技術(shù)的研究，從而利用機(jī)器視覺(jué)技術(shù)解決了BGA植球機(jī)存在的無(wú)法精確定位和準(zhǔn)確檢測(cè)兩大突出難題[5]。

在日本、歐美等一些發(fā)達(dá)國(guó)家和地區(qū)，機(jī)器視覺(jué)在機(jī)械、食品、醫(yī)藥等生產(chǎn)領(lǐng)域的應(yīng)用已經(jīng)相當(dāng)普及，但國(guó)內(nèi)視覺(jué)技術(shù)在實(shí)際的生產(chǎn)線應(yīng)用較少，在技術(shù)水平上也與國(guó)外存在較大的差距。根據(jù)目前我國(guó)的市場(chǎng)需求狀況和相關(guān)技術(shù)研究，將機(jī)器視覺(jué)與工業(yè)生產(chǎn)的有機(jī)結(jié)合有著十分重要的意義。本文搭建硬件系統(tǒng)平臺(tái)，成功地將機(jī)器視覺(jué)引入到工業(yè)生產(chǎn)線上，實(shí)驗(yàn)結(jié)果表明，機(jī)械手對(duì)工件的抓取成功率達(dá)到了100%，為我國(guó)實(shí)現(xiàn)工業(yè)生產(chǎn)智能化積累了經(jīng)驗(yàn)。

1 總體結(jié)構(gòu)

本實(shí)驗(yàn)為了滿足自動(dòng)化生產(chǎn)的需要，將機(jī)器視覺(jué)與工業(yè)生產(chǎn)結(jié)合起來(lái)，設(shè)計(jì)并搭建了圖1所示的基于單目視覺(jué)的工業(yè)機(jī)器人視覺(jué)抓取系統(tǒng)實(shí)驗(yàn)平臺(tái)。該實(shí)驗(yàn)平臺(tái)主要組成部分包括：新松6軸SRH6工業(yè)機(jī)器人，機(jī)器人參數(shù)如表1所示；DALAS公司生產(chǎn)的GM1400千兆以太網(wǎng)工業(yè)相機(jī)，具體參數(shù)如表2所示；工件放置臺(tái)、控制機(jī)、Vmax=1 m/s的皮帶傳送帶、攝像機(jī)支架和光源等硬件。

圖1 基于機(jī)器視覺(jué)的工業(yè)機(jī)器人抓取系統(tǒng)實(shí)驗(yàn)平臺(tái)

表1 SRH6工業(yè)機(jī)器人相關(guān)參數(shù)

表2 GM1400千兆以太網(wǎng)工業(yè)相機(jī)參數(shù)值

本實(shí)驗(yàn)系統(tǒng)基本流程如圖2所示。首先對(duì)生產(chǎn)線上的工件建立特征庫(kù)，然后由工業(yè)相機(jī)對(duì)進(jìn)入工作區(qū)的工件進(jìn)行圖像采集，軟件對(duì)采集到的數(shù)字圖像進(jìn)行處理分析，匹配成功后對(duì)其識(shí)別定位，再利用坐標(biāo)變換得到工件的空間位置，最后由機(jī)械人控制機(jī)械手來(lái)完成工件的抓取并將其放置到放置臺(tái)上。

圖2 實(shí)驗(yàn)原理流程圖

2 模式識(shí)別

2.1 攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定是視覺(jué)系統(tǒng)開(kāi)發(fā)的關(guān)鍵步驟，它的基本任務(wù)之一就是通過(guò)對(duì)從攝像機(jī)采集到的圖像進(jìn)行處理，以獲得三維空間中物體的幾何信息，并由此重建和識(shí)別物體[6]，是機(jī)器視覺(jué)在工業(yè)生產(chǎn)線上得以應(yīng)用的一個(gè)必要前提。攝像機(jī)標(biāo)定目的在于建立圖像像素坐標(biāo)與空間位置之間的相互關(guān)系。針孔模型是攝像機(jī)模型中最簡(jiǎn)單的模型，本系統(tǒng)以小孔成像為標(biāo)定算法模型，采用了張正友標(biāo)定法。只需要拍攝2張相片，并根據(jù)圖像點(diǎn)之間對(duì)應(yīng)關(guān)系即可標(biāo)定出攝像機(jī)內(nèi)參數(shù)與外參數(shù)[7]。

為提高標(biāo)定的精度，本實(shí)驗(yàn)采集了7幅1280×960的高質(zhì)量圖像，并開(kāi)發(fā)了圖3所示的攝像機(jī)標(biāo)定界面，標(biāo)定結(jié)果為：攝像機(jī)參數(shù)fx=2 241.151 0，fy=2 213.049 5，u0=681.865 39，v0=478.601 21；攝像機(jī)畸變參數(shù)k1=0.053 131，k2=0.944 376，p1=0.001 223，p2=0.001 319。

圖3 攝像機(jī)標(biāo)定實(shí)驗(yàn)結(jié)果

2.2 圖像處理

2.2.1 相機(jī)光源

相機(jī)光源在機(jī)器視覺(jué)系統(tǒng)中起著重要的作用。好的光源可以增加其零件的對(duì)比度，增加其期望的目標(biāo)視域，模糊其不期望的目標(biāo)視域。理想的光源也可以減輕其后續(xù)實(shí)驗(yàn)處理壓力，否則會(huì)給實(shí)驗(yàn)結(jié)果造成誤解，帶來(lái)不必要的麻煩。如相機(jī)的花點(diǎn)和過(guò)度曝光會(huì)隱藏許多重要信息；陰影會(huì)引起邊緣的誤檢；信噪比的降低以及不均勻的照明會(huì)增加圖像處理的閾值選擇的困難。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，本實(shí)驗(yàn)選用了能夠獲取工件的特征信息較大的前置恒光源，放置在待測(cè)物前方的光源，這種光源方式稱(chēng)為“前光式照明”，如圖4所示。

圖4 前光式照明光源

2.2.2 高斯濾波

鏡頭模糊、光照條件、空氣雜物的干擾使拍攝的圖像難免存在噪聲影響，從而使圖像出現(xiàn)模糊不清或者雜質(zhì)現(xiàn)象，因而進(jìn)行圖像濾波處理是必須進(jìn)行的步驟。目前使用較為廣泛的濾波方式主要有均值濾波、中值濾波以及高斯濾波。經(jīng)過(guò)試驗(yàn)對(duì)比，本實(shí)驗(yàn)選擇高斯濾波。

高斯濾波器是一種線性平滑濾波器，是根據(jù)高斯函數(shù)的形狀來(lái)決定所選擇的權(quán)值的大小。高斯分布參數(shù)的坐標(biāo)決定了高斯濾波器的寬度。為了求取二維高斯函數(shù)的權(quán)值，其二維高斯函數(shù)首先進(jìn)行離散化處理，高斯函數(shù)的最佳逼近由二項(xiàng)式展開(kāi)系數(shù)決定，展開(kāi)式可由楊輝三角形法來(lái)確定，其模板的取值如式（1）所示。

其中，σ決定了高斯濾波模板的寬度，σ越大，其作用域越寬，即利用這一模板的窗口越大。

2.2.3 特征匹配

特征匹配即從已建立的模型特征數(shù)據(jù)庫(kù)中查找出與目標(biāo)相匹配的數(shù)據(jù)模型的過(guò)程。應(yīng)用比較廣泛的主要有灰度直方圖匹配和輪廓匹配。

（1）灰度直方圖匹配

灰度直方圖是灰度級(jí)的函數(shù)，它表示圖像中具有每種灰度級(jí)的像素的個(gè)數(shù)，反映圖像中每種灰度出現(xiàn)的頻率。如圖5所示，灰度直方圖的橫坐標(biāo)是灰度級(jí)，縱坐標(biāo)是該灰度級(jí)出現(xiàn)的頻率，是圖像最基本的統(tǒng)計(jì)特征。

圖5 工件及其直方圖

（2）輪廓匹配

數(shù)字圖像的最基本特征就是物體圖像的邊緣輪廓。在一幅數(shù)字圖像中，圖像的邊緣有如下3個(gè)方面主要特點(diǎn)：①圖像邊緣部分的像素灰度值呈不連續(xù)性變化；②圖像邊緣兩側(cè)具有不同的紋理特征；③圖像邊緣處的像素灰度值具有明顯的方向性特征。輪廓匹配正是基于圖像中工件的邊緣特征來(lái)識(shí)別圖像。與直方圖匹配的實(shí)驗(yàn)對(duì)比，輪廓匹配能夠在極大程度上減少數(shù)據(jù)計(jì)算量的基礎(chǔ)上保留數(shù)字圖像最重要的結(jié)構(gòu)屬性，同時(shí)剔除不相關(guān)的次要信息。本實(shí)驗(yàn)對(duì)工件識(shí)別的輪廓特征如圖6所示。

圖6 工件及其邊緣輪廓

2.3 目標(biāo)定位

工件得到識(shí)別之后進(jìn)行抓取，為了能夠讓吸盤(pán)機(jī)械手精準(zhǔn)地抓取工件，需要對(duì)其進(jìn)行定位，即確定工件的幾何中心。求取工件的質(zhì)心過(guò)程如下：

首先用矩陣描述區(qū)域的形狀特征，對(duì)于大小為M×N的數(shù)字圖像f（i，j），其（p+q）階矩定義為：

其中，f（i，j）相當(dāng)于一個(gè)像素的質(zhì)量；Mpq為不同p、q值下圖像的矩。然后用中心矩求取質(zhì)心，零階矩M00是區(qū)域密度的總和：

一階矩M10為圖像對(duì)j軸的慣性矩；M01為圖像對(duì)i軸的慣性矩：

然后用一階矩M10和M01分別除以零階矩M00，得到的就是物體的質(zhì)心坐標(biāo)：

在生產(chǎn)線上任意取一組（5個(gè)）模板進(jìn)行測(cè)量，由式（5）計(jì)算得出，該組工件的質(zhì)心坐標(biāo)即旋轉(zhuǎn)角度如表3所示。

表3 傳送帶工件中心坐標(biāo)及姿態(tài)

3 工件抓取

本實(shí)驗(yàn)采用新松公司SRH6機(jī)器人工業(yè)機(jī)器人操作吸盤(pán)機(jī)械手進(jìn)行抓取動(dòng)作。拍攝運(yùn)動(dòng)物體時(shí)，拍攝目標(biāo)與攝像系統(tǒng)之間存在相對(duì)運(yùn)動(dòng)，極易形成拖影。對(duì)于尺寸測(cè)量的項(xiàng)目，拖影對(duì)測(cè)量精度會(huì)有嚴(yán)重影響，在這種情況下，就會(huì)要求拖影長(zhǎng)度盡可能短，本實(shí)驗(yàn)要求拖影不超過(guò)1/3像素。在硬件固定的情況下，直接影響拖影長(zhǎng)度的參數(shù)是物體的運(yùn)動(dòng)速度和曝光時(shí)間。一般情況下滿足以下條件即可保證測(cè)量精度：物體運(yùn)動(dòng)速度Vp×曝光時(shí)間Ts＜允許最長(zhǎng)拖影s單位系統(tǒng)精度。

根據(jù)選取的相機(jī)，曝光時(shí)間為22μs～1 000 ms，確定的測(cè)量精度為0.937 5 mm/像素，可以得到物體的運(yùn)動(dòng)速度Vp，即傳送帶Vmax為42.613 m/s。結(jié)合實(shí)際情況，設(shè)定傳送帶速度為0.3 m/s。

根據(jù)工件的質(zhì)心坐標(biāo)，機(jī)器人控制吸盤(pán)機(jī)械手能夠準(zhǔn)確地在傳送帶上抓取物體，實(shí)驗(yàn)驗(yàn)證，抓取率為100%。實(shí)驗(yàn)效果如圖7所示。

本文利用工業(yè)相機(jī)對(duì)工件進(jìn)行圖像采集，然后對(duì)圖像進(jìn)行分析處理，識(shí)別出工件位置，從而引導(dǎo)機(jī)器人對(duì)工件進(jìn)行抓取，實(shí)驗(yàn)驗(yàn)證抓取效果精確有效。將機(jī)器視覺(jué)成功應(yīng)用到工業(yè)生產(chǎn)線上，從而驗(yàn)證了算法的有效性和正確性，為后續(xù)的機(jī)器人碼垛打下了基礎(chǔ)，為工業(yè)生產(chǎn)線的分揀積累了經(jīng)驗(yàn)和數(shù)據(jù)，為實(shí)現(xiàn)工業(yè)生產(chǎn)自動(dòng)化、智能化提出了解決方案，有良好的應(yīng)用前景。

圖7 實(shí)驗(yàn)效果

[1]RAO A R.Future directions in industrial machine vision：a case study of semiconductor manufacturing applications[J].Image and Vision Computing，1996（14）：3-19.

[2]ALDRICH C，MARAIS C，SHEAN B J，et al.Online monitoring and control of froth flotation systems with machine vision：a review[J].International Journal of Mineral Processing，2010，96（1-4）：1-13.

[3]KIM T H，CHO T H，MOON Y S，et al.Visual inspection system for the classification of solder joints.Pattern Recognition，1999，（32）：565-575.

[4]LAHAJNARF，BERNARD R，PERNUS F，et al.Machine vision system for inspecting electric plates[J].Computers in Industry，2002，47（1）：113-122.

[5]郭建強(qiáng).BGA全自動(dòng)植球機(jī)視覺(jué)檢測(cè)和自動(dòng)對(duì)準(zhǔn) 控制技術(shù)研究[D].合肥：合肥工業(yè)大學(xué)，2006.

[6]陳天飛，馬孜，李鵬，等.一種基于非量測(cè)畸變校正的攝像機(jī)標(biāo)定方法[J].控制與決策，2012，27（2）：243-251.

[7]HEMAYED E A.survey of camera self-calibration[J].Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance，2003.