基于最小外接矩形和Hough變換的定位算法*

黃 超，茅 健，徐 斌，周玉鳳

(上海工程技術大學機械與汽車工程學院 ，上海 201620)

0 引言

隨著“中國制造2025”的提出，智能制造逐漸成為制造技術發展的核心方向[1]。裝配機器人是柔性自動化生產系統中的核心環節，新一代表面貼裝生產線逐漸應用搭載了視覺系統的裝配機器人完成工件抓取和裝配任務。工件傳輸過程中易發生位置偏移，機器人若無法及時更新工件位置信息，執行預定動作將會造成任務失敗。研究高效精確的工件識別與定位算法，一直受到國內外學者的廣泛關注。

目前，將圖像處理[2]、機器視覺[3]、深度學習[4]等方法應用到機器人工件識別與定位的案例有很多。李致金等[5]采用主軸法對工件輪廓快速識別，該方法計算工件旋轉角度時需經過復雜的求解中心距和歸一化過程，耗時較長。李培豐等[6]基于分水嶺算法計算工件位置，再利用Harris角點檢測法計算工件旋轉角度，此方法中分水嶺需人工標注，Harris法篩選角點也存在漏點和誤判的問題。武洪恩等[7]采用八鄰域跟蹤算法提取工件輪廓，使用Hu矩識別工件，再利用遞進Hough變換法定位工件。寸毛毛等[8]利用改進后的Hu矩擬合工件外輪廓矩形實現定位，該方法通過去掉不變矩的比例因子、增加離心率特征改進Hu矩，增強了輪廓識別能力。盧軍等[9]基于九點標定法對機器人進行標定，然后采用加權最小二乘法擬合工件亞像素邊緣，再根據二維測量法定位工件，此方法魯棒性強、提取工件邊緣的精度高。張展等[10]采用最小外接矩形法分割出工件區域，再利用RBF核支持向量機訓練識別工件，該方法首先增強圖像前景與背景的對比度，再分割出目標，分割準確度高。

本文針對表面貼裝自動生產線中工件定位與偏移量計算問題，提出了一種基于最小外接矩形和Hough變換的工件定位算法，采用格雷厄姆法和凸殼邊界旋轉法求解目標最小外接矩形，結合圖像矩定位工件，然后通過Hough變換法計算工件旋轉角度，降低了計算量，提高了定位精度。

1 工作原理與算法流程

機器人視覺裝配系統如圖1所示，由機器人控制系統、視覺系統兩部分組成。機器人末端掛載視覺相機用于采集圖像，工控計算機負責機器人運動控制和圖像處理。機器人需執行的任務：抓取右側PCB工件裝配于左側載具中，然后將其整體投入產線中。

圖1 機器人視覺裝配系統

工件傳輸過程中發生位置偏移如圖2所示，PCB工件和載具均發生了位置偏移和角度偏轉，機器人若無法及時校正位置矢量，執行任務將會失敗。要實現機器人對工件位置矢量的自動校正，需解決3個問題：①定位工件，計算中心像素坐標(u,v)；②計算工件旋轉角度θ和偏移量Δθ；③計算工件像素偏移量Δu、Δv，并轉換成機器人末端坐標系下的偏移量Δx、Δy。

圖2 工件位姿偏移圖像

算法流程如圖3所示，機器人在抓取目標前，首先通過視覺系統采集工件圖像，對圖像進行預處理：包含灰度化、閾值分割使前景和背景分離，中值濾波去除圖像中零散像素點，Canny算子提取目標物邊緣，膨脹處理增強目標物特征信息等一系列操作。再利用本文算法計算出工件中心像素坐標和旋轉角度，通過對比標定工件得到新工件的偏移量Δu、Δυ、Δθ，再將Δu、Δυ、轉換成Δx、Δy，最后將Δx、Δy、Δθ發送給機器人控制器，機器人就能對工件位置進行自動校正，以適應環境變化。

圖3 算法流程圖

2 工件定位算法

2.1 視覺系統標定

如圖4所示，{O0X0Y0Z0}為機器人基坐標系、{OeXeYeZe}為末端執行器坐標系、{OcXcYcZc}為視覺相機坐標系、{OgXgYgZg}為工件圖像坐標系，如式(1)需要求解工件像素坐標(u,v)映射到{OeXeYeZe}坐標(Xe,Ye,Ze)的變換矩陣T。

圖4 坐標系

圖5 針孔成像模型

(1)

已知：像素坐標(u,v)與圖像坐標(x,y)的變換式、圖像坐標(x,y)與相機坐標(Xc,Yc,Zc)的變換式、相機坐標 (Xc,Yc,Zc)與末端執行器坐標(Xe,Ye,Ze)的變換式[11]：

(2)

可推導出像素坐標(u,v)與末端執行器坐標(Xe,Ye,Ze)的映射表達式如下：

(3)

從而得到變換矩陣T：

(4)

其中，fx、fy、u0、v0是相機的內參數，R(3×3的正交矩陣)、I(平移矩陣)是相機的外參數。這些相機的內外參數，可通過采集不同方向的黑白棋盤格圖像進行標定求解。

2.2 圖像預處理

在工件圖像采集過程中，由于現場環境、光照強度、相機抖動等因素都會影響圖像質量，為了減少圖像中干擾信息，增強目標特征信息，需對原圖像進行預處理，處理流程如圖6所示。

圖6 圖像預處理

(1)灰度化，彩色圖像增加了圖像處理時間[12]，而灰度圖像與彩色圖像具有同等特征描述，灰度化效果如圖7所示。

(a) 彩色圖 (b) 灰度圖

(2)閾值分割，由于工件為綠色，標識物為黑色，運輸機滾筒為白灰金屬色，為了避免背景對工件特征識別的影響，需對背景區域與目標區域進行分割。設閾值為T，采用閾值化取反[13]如式(5)進行分割。分割后圖像如圖8a所示，背景滾筒已被大部分過濾掉，只剩下少許邊界線。

(5)

式中,f(x,y)為圖像的灰度值，B(x,y)為分割后圖像的像素值。

(a) 未濾波 (b) 濾波后

(3)中值濾波[14]，為了進一步祛除圖像中滾筒邊界線等噪聲，采用中值濾波方法，效果如圖8b所示，背景中滾筒邊界線被視為噪聲祛除了。

(4)Canny[15]邊緣檢測，提取出圖8b中的清晰邊緣線，如圖9a所示，目標物邊界線間斷不連續且特征不明顯。

(a) Canny邊緣圖像 (b) 膨脹后的邊緣圖像

(5)膨脹處理，增強目標邊界線特征，對圖像進行膨脹處理，則可得到清晰的輪廓邊界線，效果如圖9b所示。

2.3 基于最小外接矩形的定位原理

2.3.1 圖像矩

(6)

2.3.2 最小外接矩形求解原理

首先利用格雷厄姆算法求解目標圖像的凸殼點集：

(1)如圖10a先找到點集中縱坐標最小的點P0，與其它點分別連接得到線段集Lp，計算Lp中各線段長度和與X軸正向夾角，按夾角和線段長度由小到大對點編號(P1,P2,…Pn)；

(2)判斷除Pi,Pi+1點之外的所有點是否分布于線段PiPi+1(i=0,1,…,n-1)的同一側，若滿足則繼續選取下一條線段進行判斷，若不滿足則拋棄當前線段的末端點Pi+1，將后面的點Pi+j(j=2,3,…,n)作為新的末端點，連接線段PiPi+j再進行判斷直到滿足為止。依此規律可得到最終的凸殼邊界和頂點集W={P0,P1,P3,P6,P8,P9}如圖10a所示。

(a) 平面點集 (b) 邊界旋轉

再通過邊界旋轉確定最小外接矩形：

(1)如圖10b根據W點集分別找到X軸和Y軸方向上坐標最大最小點，則可得到初始最小外接矩形Rect0，記錄Rect0的面積和四頂點位置。

(7)

特別地，當目標外輪廓為矩形時，那么所有凸殼邊界旋轉后的外接矩形都是相同的，因此計算過程可簡化為：得到凸殼邊界頂點集W后，找到X軸和Y軸方向上坐標最大最小點，初始最小外接矩形Rect0即為最終所求。

2.3.3 篩選目標

利用凸殼邊界旋轉法檢測得到所有輪廓的外接矩形見圖11a，由于圖像預處理后圖9b中仍然殘留少許無效特征，且工件表面也存在工藝槽等輪廓，導致圖11a中出現許多矩形，因此還需篩選出工件和標識物的輪廓外接矩形。

本文引入2個篩選變量：

②外接矩形的面積area。經多次調參實驗，發現當ratio>0.9且area>100時，可篩選出目標的輪廓外接矩形如圖11b所示。提取到目標外接矩形后，利用式(6)中的重心公式可計算出外接矩形區域的中心坐標。

(a) 所有輪廓的外接矩陣 (b) 目標輪廓的外接矩陣

2.4 基于Hough變換的旋轉角度計算

雖然利用式(6)(主軸法)也可計算出目標的旋轉角度，但求解中心距μpq、歸一化、再求解主軸方向角θ的計算過程比較復雜且運算量大，可能無法滿足機器人作業的實時性要求。因此本文提出基于Hough[16]變換的方法計算旋轉角度，具體步驟如下：

(1)首先通過Hough變換，檢測出工件圖像中所有直線如圖12a所示，構成集合LN={L1,L2,L3,…,Ln}。

圖12 Hough法求旋轉角度

圖13 邊界直線

(8)

(9)

(10)

(5)校驗旋轉角度，將圖像按θ的逆方向旋轉圖像如圖12d所示，檢驗圖像中邊界直線Ll,Lr與X是否垂直，來判斷旋轉角度的準確性。

2.5 工件偏移量的計算

(1)首先計算標定工件的像素坐標：標識物中心像素坐標為(u1,v1)，標定工件中心像素坐標為(u2,v2)，則標定工件在{OgXgYgZg}下的坐標為(u2-u1,v2-v1)，標定工件的旋轉角度為θ1；

(3)最后計算偏移量，式(11)可計算出像素偏移量Δu、Δv以及旋轉角度偏移量Δθ，式(1)的等價公式(12)可將Δu、Δv轉換為坐標系{OeXeYeZe}下的偏移量Δx、Δy，Δθ無需轉換。

(11)

(12)

3 實驗驗證與結果分析

3.1 仿真實驗

將工件隨機擺放于運輸機任意位置，利用本文算法計算工件中心坐標和旋轉角度，通過式(11)、式(12)計算偏移量Δx、Δy、Δθ。利用SolidWorks中卷尺工具實際測量偏移量Δx*、Δy*、Δθ*，此外，為了評估Hough法和主軸法求解旋轉角度的性能差異，利用主軸法計算偏移量Δθ′，作為對比，共進行了50次仿真實驗，部分結果如圖14所示。

圖14 部分仿真實驗

(1)評估計算誤差

用式(13)計算偏移量的誤差δx、δy、δθ、δθ′，得到δx與δy的曲線如圖15a所示，δθ與δθ′的曲線如圖15b所示。由圖15a可知δx、δy的波動范圍為[-0.5,+0.5]，由圖15b可知δθ的波動范圍為[-0.2°,+0.2°]，δθ′的波動范圍為[-0.5°,+0.5°]，均能滿足系統定位精度要求(位置誤差≤1 mm ，角度誤差≤1°)，并且使用Hough法求解旋轉角度的誤差小于主軸法。

(a) δx與δy

(b) Hough法δθ與主軸法δθ′圖15 誤差曲線

(13)

(2)評估算法時間性能

分別使用Hough法和主軸法計算旋轉角度，統計50次實驗的運行時間，由圖16可知，Hough法的平均求解時間約為1 140.44 ms,主軸法的平均求解時間約為1 751.44 ms,Hough法的平均求解時間約為主軸法平均求解時間的65%，提高了計算效率。

圖16 時間性能

3.2 真機實驗

將本文算法應用到達明機器人視覺裝配系統，測試自動校正效果。如圖17所示。抓取工件PCB、裝配到載具、投入產線。現場測試結果表明，搭載有視覺系統的機器人能很好的適應工件位姿偏移、工件尺寸規格不同、載具位姿偏移等各種工況，抓取和裝配成功率高，證明了本算法的有效性。

圖17 真機實驗

4 結論

(1)針對表面貼裝自動生產線中矩形工件的定位與偏移量校正問題，本文提出了一種基于最小外接矩形和Hough變換的定位算法，該算法適用于不同尺寸的矩形工件。

(2)仿真實驗結果表明，本文算法的位置誤差和角度誤差均能滿足定位精度要求，且證明了Hough法比主軸法計算精度高且計算時間縮短了約35%。實際生產結果表明，移植了本文算法的視覺機器人能更精確地完成工件抓取和裝配任務，證明了算法的實用性。