機械手視覺系統(tǒng)的非均勻標定法研究

田浩辰，張銀龍，趙海文，劉玉鑫，劉 聰

（河北工業(yè)大學　機械工程學院，天津 300130）

?

機械手視覺系統(tǒng)的非均勻標定法研究

田浩辰，張銀龍，趙海文，劉玉鑫，劉 聰

（河北工業(yè)大學機械工程學院，天津 300130）

摘 要：針對惡劣工況下機械手視覺識別能力差的現(xiàn)狀，以履帶輪自動回火上下料生產(chǎn)線為例，提出了一種局部線性化的像機標定算法，對探頭的工作原理進行分析，采用基于粗定位和精確定位兩步走的算法，實現(xiàn)了對工件圖像坐標下圓心位置的提取，將整個控制系統(tǒng)的算法以方框圖的形式給出，完成了控制系統(tǒng)軟件設(shè)計，為視覺定位系統(tǒng)提供新的思路。

關(guān)鍵詞：智能化生產(chǎn)線；視覺系統(tǒng)；標定；機械手

0　引言

組成現(xiàn)代工程機械的很多必須零件，在加工之前必須經(jīng)過淬火和回火處理。為了減少淬火和回火的準備時間，提高整個熱處理加工過程的效率，同時保障在此惡劣工作環(huán)境中工人的人身安全，提高生產(chǎn)安全系數(shù)，很多企業(yè)都希望引進自動化設(shè)備。在自動化生產(chǎn)線中，對于物料的運輸，工件的搬運，零件的裝配，車體的焊接，機械手都得到了廣泛的應用。為了增強機械手的靈活性和通用性，各類傳感器被應用到機械手。其中將視覺傳感器應用到機械手之中，能夠輔助機械手獲取大量的數(shù)據(jù)信息，方便對各種形狀、規(guī)格的工件進行識別與定位，提高物料運輸效率。

雖然視覺傳感器應用比較廣泛，但其仍然存在很多問題，尤其在復雜環(huán)境下，如何提高視覺系統(tǒng)的魯棒性顯得十分重要。本文以履帶輪自動回火上下料生產(chǎn)線中的機械手為例，提出了一種利用基于“智能視覺+手爪末端探頭”的機器人視覺標定方法，不需要標定板等工具，直接借助工件完成對視覺系統(tǒng)的標定，隨著工件搬運數(shù)量的增多，標定的精度越來越高，具有反饋位置信息的手爪探頭使用，克服了以往標定板標定過程不適于工業(yè)現(xiàn)場的特點，以及自標定方法魯棒性差的特點，保證了在視覺精度不變的條件下，整個系統(tǒng)定位精度的提高。

1　像機線性成像模型及其存在的畸變誤差

像機線性模型即小孔成像模型，引起視覺系統(tǒng)圖像畸變的因素可分為透視誤差和鏡頭畸變誤差。

為了減少誤差，通常的做法是選擇或制作事先確定好尺寸的標定板，包括圓點校正標定板、棋盤格校正標定板等。然而像機的畸變量在像平面上并非均勻的，隨著偏離軸線的位置的增大而增大，而標定板標定的方式對于整個視野中的點的精度是相同的，這就將導致標定完的效果為：離光軸比較近的區(qū)域標定精度高，離光軸比較遠的區(qū)域標定精度低。由此，我們需要尋求一種精度更高的標定方法。

2　局部線性化的標定方法

根據(jù)履帶輪自動上下料生產(chǎn)線視覺定位系統(tǒng)的特點我們發(fā)現(xiàn)，不檢測圖像的深度信息，只獲取二維平面的數(shù)據(jù)信息并建立起二維工件平面與二維圖像平面的映射關(guān)系，可以簡化標定工作。首先在線性模型下建立映射關(guān)系，如圖1所示。

圖1　成像模型

在不考慮深度信息的條件下，根據(jù)圖1所示的線性模型，可得到簡化的空間任意點p在世界坐標系下的齊次坐標pw（xwywzw1）T和像素坐標系下的齊次坐標PP（uν 1）T之間的關(guān)系，待測平面上各點的坐標可以與圖像平面上相應點的坐標用線性組合的形式表示為：

其中，wi為世界坐標系下，待測平面上的特征點，其齊次坐標為（xwiywi1）T；pi為圖像坐標系下，圖像平面上對應的特征點，其齊次坐標為（uivi1）T；M是在wi和pi之間建立的回歸參數(shù)型矩陣，階數(shù)為3×3。

為了確定M矩陣中的參數(shù)，需要至少確定待測平面上個點的世界坐標值與其對應的像素坐標值，再利用最小二乘法便可求出矩陣M。

W是已知標定點在世界坐標下的坐標組成矩陣，若標定點個數(shù)為n，則矩陣W為3×n階；P是已知標定點在圖像坐標下的坐標組成矩陣，若標定點個數(shù)為n，則矩陣P為3×n階。

該方法同樣是建立在線性成像模型的基礎(chǔ)上的，由于像機自身存在各種畸變，因此用該模型去測量也必定會存在誤差。

對于履帶輪自動上下料生產(chǎn)線系統(tǒng)，由于工件筐的限制，工件的圓心將會分布在整個世界坐標系中幾個相對有限的小區(qū)域內(nèi)，相應的圖像坐標點也將分布在圖像坐標的幾個有限的小區(qū)域內(nèi)，如圖2所示。本視覺標定系統(tǒng)中，更關(guān)心的是各個圓心坐標所在的鄰域內(nèi)的標定精度，而領(lǐng)域以外的其他區(qū)域的視覺定位精度對整個視覺系統(tǒng)的精度影響不大。根據(jù)工件分布特點，本文采用不均勻分配的特征點對視覺系統(tǒng)進行標定，工件出現(xiàn)概率大的區(qū)域標定點密度高，工件出現(xiàn)概率小的區(qū)域標定點密度低。

圖2　工件圓心坐標分布

圖中各個工件的圓心坐標在世界坐標系下組成的矩陣為：

其中wi，j=（xwi，j， ywi，j，0）T為各個履帶輪的圓心在世界坐標系下的坐標值。對應的各個圓心坐標在圖像坐標系下的坐標值組成的矩陣為：

其中pi，j=（uwi，j，vwi，j）T為各個履帶輪的圓心在圖像坐標系下的坐標值。

首先確定工件圓心所在的鄰域，其次選取與待測點相鄰的四個點組成一個插值單元，用最小二乘法便可求出回歸矩陣M，在根據(jù)圖像成像簡化模型便可求出該點在世界坐標下的坐標值。采用局部線性插值時，四個插值點所覆蓋的面積越小，標定的結(jié)果越精確。

在工業(yè)現(xiàn)場，首先通過機械手各個坐標軸上的磁柵尺和末端手爪探頭傳感器獲取工件在機械手坐標系即世界坐標系下的坐標值，再由智能視覺系統(tǒng)通過圖像處理獲取工件在圖像坐標系下的圓心坐標值，利用這些可靠的數(shù)據(jù)點分別建立矩陣W和矩陣P。待由機械手末端的探頭檢測標定精度，若該測量點精度足夠，則該點的世界坐標和圖像坐標將會被作為有效數(shù)據(jù)插入到圓心的世界坐標矩陣和圖像坐標矩陣中，實現(xiàn)視覺系統(tǒng)的動態(tài)標定。

由于工業(yè)現(xiàn)場工件搬運的過程，就是數(shù)據(jù)收集的過程，在完成工件的搬運過程中就完成了數(shù)據(jù)庫系統(tǒng)的建立，而不必費為了建立數(shù)據(jù)庫而費時費力的收集數(shù)據(jù)。最后達到的效果就是機械手越用越好用，定位精度越來越高，工件的抓取越來越準。

3　工件世界坐標提取

在履帶輪自動上下料生產(chǎn)線中，機械手手爪末端與工件的相對位置關(guān)系劃分為5個區(qū)域，當機械手的視覺定位精度不夠高時，很容易導致機械手末端探頭位于圖3的b區(qū)域內(nèi)。現(xiàn)在對機械手處于b區(qū)域時的狀態(tài)加以分析。先設(shè)定機械手Z軸從零點到到工件上表面的距離為Z0，探頭錐面的高度為L0，錐頂角為φ0，錐頂?shù)叫D(zhuǎn)軸心的距離為L1，如圖4所示。

圖3　工件區(qū)域劃分圖

圖4　探頭與工件的位置關(guān)系

設(shè)機械手下降距離為Z時，探頭的錐面與工件的內(nèi)圓剛好接觸，設(shè)此時探頭接觸點所在的截圓半徑為R0，根據(jù)機械手定位精度的不同，截圓半徑R0的值也不相同，如圖5所示。R0是下降距離Z的函數(shù)，其關(guān)系可表示為：

圖5　定位誤差與探頭截圓半徑關(guān)系

已知履帶輪的軸孔的直徑為F，設(shè)定此時機械手末端探頭的坐標為（X1，Y1，Z1），則機械手末端手爪的位置與待抓取工件的圓心位置的距離差Δr可以表示為：

由式（4）可以確定機械手末端手爪位于以工件端面圓心為圓心，半徑為Δr的圓周上，若要確定手爪末端探頭具體與工件的那個點接觸，還需要一個角度坐標信息θ，如圖6所示。

圖6　探頭與工件的角度關(guān)系

現(xiàn)在使機械手在與工件剛發(fā)生接觸后，沿Z軸方向繼續(xù)向下移動δz，此時探頭繞支撐點發(fā)生轉(zhuǎn)動，設(shè)此時與Z軸的夾角為α，如圖4所示。由探頭的機械結(jié)構(gòu)可知，按照元件的運動方式分解，探頭與Z軸的夾角α可以分解為為繞x軸和y軸兩個轉(zhuǎn)動，轉(zhuǎn)角分別為β和γ，而x軸和y軸的轉(zhuǎn)動反應為探頭x、y方向兩路霍爾元件檢測的電壓值變化。探頭末端p所能到達的空間點在xy平面上的投影點組成的集合定義為U，如圖7所示。探頭轉(zhuǎn)動角度大小與輸出電壓值的對應關(guān)系如圖8所示。在探頭沿Z方向發(fā)生δz大小的位移時，探頭末端有點p運動到p'，因此可確定此時探頭與X軸正方向的夾角θ：

其中，p'x為發(fā)生δz位移后在x軸查測出的電壓值，px為發(fā)生δz位移前即探頭與工件相切時在x軸查測出的電壓值；p'y為發(fā)生δz位移后在y軸查測出的電壓值，py為發(fā)生δz位移前即探頭與工件相切時在y軸查測出的電壓值。

圖7　探頭的有效檢測區(qū)間

圖8　探頭轉(zhuǎn)角與輸出電壓關(guān)系

由式（3）、式（4）、式（5）便可以確定機械手在抓取工件時的實際位移與工件圓心的位置關(guān)系。當機械手抓取工件時手爪定位在工件的b區(qū)域內(nèi)時，可根據(jù)探頭反饋信息計算出當前位置誤差，并轉(zhuǎn)化為機械手X軸和Y軸的位移量，將數(shù)據(jù)轉(zhuǎn)換后傳送給機械手的伺服電機，自動控制機械手完成誤差的校正。其中：

4　工件圖像坐標提取

本文中機械手上下料過程中用到的視覺系統(tǒng)，主要完成對工件筐內(nèi)工件的位置和形狀信息進行獲取，因為工件為圓柱形，因此不涉及方向信息，只需進行位置定位。為了獲取工件的位置信息，視覺系統(tǒng)主要完成圖像采集、圖像處理、目標識別和目標定位。

圖像采集的過程利用CCD圖像傳感器把光信號轉(zhuǎn)化成電荷信號，再經(jīng)過采樣放大以及模數(shù)轉(zhuǎn)換，最終將光學影像轉(zhuǎn)化為數(shù)字信號。

針對本機械手系統(tǒng)工作環(huán)境特點，圖像識別選擇基于特征匹配的方法進行工件識別，匹配方式為邊緣抽取。對圖像進行邊緣抽取時，使用相同的邊緣閾值和不同的像素范圍。

因為履帶輪是規(guī)則的圓柱體，所以可以直接利用工件的圖像是圓這一形狀特征提取中心點，同時選擇計算量較小定位精度較高的根據(jù)最小二乘來擬合曲線的方法獲取圓心坐標。

對工件的定位分為兩個步驟：

第一步是粗定位，通過EC圓搜索，搜索到工件在圖像中的大概位置。對工件的匹配效果如圖9所示。

圖9　工件特征提取效果圖

第二步是精確定位，在第一部定位到圓的粗略位置后，以該位置為中心重新確定掃描區(qū)域，在該區(qū)域內(nèi)通過最小二乘擬合進行精確定位。

最小二乘擬合即在取定函數(shù)類Φ中，對給定的數(shù)據(jù)點｛（xi，yi）（i =0，1，??，n）｝求取函數(shù)使誤差的平方和最小，可表示為：

采用基于圓形的最小二乘擬合法，根據(jù)最小二乘原理選取圓的方程進行圓的輪廓擬合。圓的方程為：

則誤差的平方和δ2可表示為：

其中U為邊界點的集合，（xi，yi）為圖像邊界點坐標，（a，b）為以圖像左上角為原點計算出來的圓心坐標，r為圓的半徑。再根據(jù)像機的標定就能獲取圓心在世界坐標上的位置信息。

具體的圓心精確定位方法如下：

1）以粗定位中為檢測中心，定義掃描區(qū)域，并設(shè)定掃面帶的寬度，設(shè)定邊緣檢測方向，和檢測點數(shù)以及起始檢測角度，本文中選擇在圓周上均勻分布的n各點，如圖10所示。

2）在邊緣的檢測帶內(nèi)以濃度差寬度的相對位置進行測量，確定先前選定的n個點的像素坐標值，如圖11所示。

3）根據(jù)計算出來的n個點的坐標值采用最小二乘法進行近似圓擬合，計算圓的半徑和圓心，如圖12所示。

4）由于一盤工件中共含有9個工件，再進行圓的精確匹配時測量區(qū)域固定，所以采用坐標變化對圖像進行平移，測量其他位置工件的圓心坐標，如圖13所示。

圖10　區(qū)域設(shè)定

圖11　檢測點坐標計算

圖12　圓擬合

圖13　多點測量

對于工件筐邊緣位置的確定，本文采用基于直線擬合的最小二乘法，根據(jù)最小二乘原理選取直線方程進行工件筐邊緣直線擬合。直線方程為：

其中E為工件筐邊緣上的點的集合，（xi，yi）為工件筐邊界點坐標，（k，b）為以圖像左上角為原點計算出來的直線方程待定系數(shù)。檢測效果如圖14所示。

圖14　工件筐邊緣提取

5　基于單目視覺定位控制流程

通過前述過程，我們完成了一套完整的單目視覺系統(tǒng)定位的控制研究，具體流程設(shè)計如圖15所示。

機械手上下料系統(tǒng)以機械手零點為原點，以X、Y、Z三個運動軸正方向為坐標軸方向，并以各軸上的磁柵尺為標尺，建立現(xiàn)實世界的空間坐標系。視覺系統(tǒng)的建立，首先通過手動操作，控制機械手末端探頭檢測工件筐位置信息，其次通過智能像機獲取工件筐的圖像位置和姿態(tài)信息，通過智能匹配算法，建立起工件筐的圖像數(shù)據(jù)與現(xiàn)實世界坐標的對應關(guān)系；手動控制機械手到上料位，抓取定位完成的履帶輪，記錄下此時機械手在上料位的坐標信息，并搬運到工件筐內(nèi)，待放料完成，記錄下此時機械手在放料位的坐標信息，重復上述過程，直到工件筐內(nèi)有9個履帶輪，即完成一筐工件的上料，此時通過智能視覺傳感器進行圖像采集，獲取9個履帶輪的圓心坐標，通過智能匹配算法，建立起履帶輪的圖像數(shù)據(jù)與現(xiàn)實世界坐標的對應關(guān)系，經(jīng)過長期示教，建立起圖像坐標與世界坐標之間對應關(guān)系的數(shù)據(jù)庫。運動控制系統(tǒng)的建立，根據(jù)視覺系統(tǒng)獲取的工件位置信息，經(jīng)過與已有數(shù)據(jù)庫系統(tǒng)查詢，計算出工件的實際位置，實時的將參數(shù)傳遞給機械手人的控制系統(tǒng)，通過控制伺服電機控制機械手完成對履帶輪的抓取，并根據(jù)末端探頭的狀態(tài)調(diào)整或反饋抓取效果，待完成一個工件的抓取后將可靠的數(shù)據(jù)存入數(shù)據(jù)庫中，擴充和優(yōu)化已有數(shù)據(jù)，上下料過程如圖16所示。

本系統(tǒng)已在實驗室和生產(chǎn)線上進行的實地應用測試，不僅對工件定位準確，而且運行效率高，是一套可行性很強的視覺標定系統(tǒng)。

圖15　控制系統(tǒng)流程

6　結(jié)論

本文主要完成了上下料機械手控制系統(tǒng)的關(guān)鍵技術(shù)研究。首先，提出了一種局部線性化的像機標定算法，采用上料過程進行標定點提取，適合工業(yè)現(xiàn)場快速標定的要求，通過標定建立起圖像坐標和世界坐標之間的對應關(guān)系，并且標定點個數(shù)隨著機械手的使用不斷的增加；其次對探頭的工作原理進行分析，建立了探頭提取工件在世界坐標下圓心位置的算法；之后采用基于粗定位和精確定位兩步走的算法，基于最小二乘的擬合算法，實現(xiàn)了對工件圖像坐標下圓心位置的提取；最后將整個控制系統(tǒng)的算法以方框圖的形式給出，完成了控制系統(tǒng)軟件設(shè)計，不僅為系統(tǒng)的投用打好了理論基礎(chǔ)，也為除履帶輪以外的其他生產(chǎn)線的視覺標定系統(tǒng)改進提供了思路。

圖16　上下料循環(huán)過程示意圖

參考文獻：

［1］ 郭洪紅.工業(yè)機器人技術(shù)［M］.西安：西安電子科技大學出版社2006，3.

［2］ Hirai， K， M. Hirose， Y. Haikawa， and T. Takenaka， 1998，The development of honda humanoid robot［A］.IEEE Int.Conf. Robotics and Automation［C］.1321-1326.

［3］ 陳祥勇.基于OpenGL的工業(yè)機器人操作可視化研究［D］.南京航空航天大學，2008.

［4］ 張建中，何永義，李軍.機器人裝配視覺定位應用研究［J］.機電工程，2011，08：934-937.

［5］ 席斌，王振，雷錢鋒.機器人視覺工業(yè)檢測系統(tǒng)的應用與發(fā)展［J］.控制工程，2006，5（13）：220-222.

［6］ Copot C， Lazar C， Burlacu A. Predictive control of nonlinear visual servoing systems using image moments［J］.IET Control The ory&Application，2012，6（10）：1486-1496.

［7］ 呂曉明.基于DSP的視覺傳感器的關(guān)鍵技術(shù)研究［D］.天津大學，2007.

Non-uniform calibration method research of loading manipulator system based on vision positioning

TIAN Hao-chen， ZHANG Yin-long， ZHAO Hai-wen， LIU Yu-xin， LIU Cong

中圖分類號：TP241.2

文獻標識碼：A

文章編號：1009-0134（2016）05-0041-06

收稿日期：2015-12-16

作者簡介：田浩辰（1988 -），男，碩士研究生，研究方向為自動化生產(chǎn)線。