基于機器視覺的機械手裝配系統設計

，

(華南理工大學 機械與汽車工程學院，廣州 510641)

0 引言

裝配是產品生產的后置工序，在整個制造業的過程中有著十分重要的地位。傳統的工業裝配主要由人工手動操作，工作效率低下，精度偏低。機械制造生產的自動化是制造業長期發展的目標之一，通過自動化的生產不僅能大大地提高生產效率，降低勞動強度，還能提高產品的質量，進而增強產品在市場中的競爭力[1]。一般傳統的自動化裝配生產線上，裝配機器人的動作都是預先嚴格設定好的，只能做一些固定的動作，這些機器人都是通過各種傳感器來進行控制運動，所以被稱為敏感控制機器人[2]。在機器人進行裝配操作的時候，要求零件和料板等都必須按照設定的位置和特定的方向進行放置，這就對配套的夾具和固定機構的性能要求極高，同時傳輸帶也必須經過特殊的設計。但是，在實際的生產過程中，由于多方面的原因，零件的位置沒有被嚴格固定，導致裝配機器人裝配出現錯誤。因此，自動化裝配對機器人或者說機械手的能夠根據工件的位置，動態的調整位姿的能力提出了更高的要求。

人類主要通過各類感覺器官感知外部世界，而人類從外界獲得信息的80% 來自于視覺。視覺信息傳入大腦后，由大腦根據已有的知識進行信息處理工作，進一步進行判斷和識別[3]。機器視覺主要研究用計算機來模擬人的視覺功能從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制[4]。機器視覺系統主要應用于工業探測這樣不適合人工作業或者人工視覺無法達到要求的場合；以及自動生產流水線這樣大批量工業生產過程，能大幅提高生產的質量和效率[5]。在國內，機器視覺領域屬于新興行業，其技術推廣和運用還有很大的發展余地[6]。各行業中的應用有極大的上升空間。目前隨著我國配套基礎建設的完善，技術、資金的積累，各行各業對采用圖像和機器視覺技術的工業自動化、 智能化需求開始廣泛出現，國內有關大專院校、研究所和企業近兩年在圖像和機器視覺技術領域進行了積極思索和大膽的嘗試，逐步開始了許多領域的應用，在自動化裝配領域，機器視覺技術也提供了一種可行的思路[7]。

1 系統的組成及其工作原理

一個典型的工業機器視覺應用系統包括光源、光學系統、圖像捕捉系統、圖像數字化模塊、數字圖像處理模塊、智能判斷決策模塊和機械控制執行模塊[8]。光源的作用主要是獲得對比度鮮明的圖像，圖像的質量好壞主要看圖像的邊緣是否銳利，具體來說是看：感興趣的部分和其他部分的灰度值差異是否大、不感興趣部分是否得到消隱、信噪比是否高以及材質或照射角度對成像的影響是否少。光學系統和圖像捕捉系統兩者是緊密連接在一起的，主要包括工業相機及其鏡頭，主要作用就是將圖像信息捕捉，傳送給工控機進行后續處理，也是一個極其重要的環節，相機和鏡頭的選取需要根據實際的工作環境進行。數字圖像處理模塊是核心環節，其作用就是通過圖像處理技術，提取所需的圖像信息，然后通過智能決策模塊，下發指令給機械控制執行模塊，控制相關機器的動作。將機器視覺技術應用于工業制造領域，大幅提高了產品的質量和可靠性，保證了生產的速度[9]。

本系統主要由工控機、照明系統、圖像采集系統和機械運動系統等部分組成。照明系統主要由光源和光源控制器組成。圖像采集系統主要由12 mm的變焦光學鏡頭，面陣相機組成。機械運動系統主要由運動控制卡、工作臺、底座、伺服運動系統組成。其中運動控制卡選用的是東莞市升力智能有限公司的IPMC8812運動控制卡，工業相機采用了浙江大華有限公司的A5201MG50型號工業相機，鏡頭采用的是12 mm鏡頭。系統結構框架如圖1所示。

圖1 系統框架圖

首先，需要對相機進行標定，這是視覺定位的必經過程，其中相機坐標系是聯系圖像坐標系和世界坐標系的紐帶。通過相機的標定建立了成像模型，確定了相機的位置及其屬性的參數，從而確定了圖像點與其對應的空間點之間的位置關系。相機標定以后，工業相機通過圖像采集系統獲得料盤的圖片信息，將信息傳送給工控機的圖像處理程序，經過預處理、二值化，特征提取等圖像處理步驟后，確定4個MARK點的位置信息，包括坐標以及角度，最后通過運動控制系統下發指令控制機械手抓取對應料盤移動到相應位置，旋轉相應角度實現準確的定位裝配。

2 系統的關鍵性過程及算法

2.1 相機的標定及其位置的坐標變換

2.1.1 坐標系的定義

三維物體空間物體成像時，一般用到4個坐標系統：世界坐標系、相機坐標系、成像平面坐標系以及像素坐標系[10]。世界坐標系OwXwYwZw，也稱為現實世界坐標系，它是一種客觀世界的絕對坐標系；相機坐標系OcXcYcZc，以相機為中心制定的三維直角坐標系，原點是在相機的光心,其ZC軸與光軸重合，XCYC軸位于焦平面上；成像坐標系oixy，是定義在相機成像平面上的，以物理單位表示的二維坐標系，原點在相機光軸與成像平面的焦點，x軸和y軸與相機坐標系的Xc軸和Yc一致；像素坐標系ofXfYf，是計算機里面的數字圖像所采用的坐標系，原點是在數字圖像的左上角，Xf軸向右，Yf軸向下，分別表示像素在圖像數組中的列和行[11]。

2.1.2 坐標系間的變換

世界坐標系到相機坐標系:

(1)

其中:XC表示在相機坐標系的坐標，XW表示在世界坐標系的坐標，R是旋轉矩陣，T是平移向量。

相機坐標系到圖像坐標系:

(2)

其中:f表示相機焦平面到成像平面間的距離即焦距，(Xi,Yi)表示在圖像坐標系下的坐標。

圖像坐標系到像素坐標系:

因為圖像點上的像素坐標(Xf,Yf)表示的是像素點在數字圖像數組里面的行數和列數，并不是用實際的物理單位在圖像中將像素點表示出來，所以，建立一個像素物理坐標系ofxy,用物理單位mm來表示，同時建立oiuv圖像像素坐標系，具體的對應關系如圖2所示，其中，(u,v)是成像點在像素坐標系下的坐標；(u0,v0)是相機就點在像素坐標系下的坐標。

圖2 圖像物理與像素坐標系關系圖

針對CCD相機，兩個坐標系之間的對應關系取決于像素的尺寸、形狀和CCD在相機中的位置，兩者之間的關系可表示為：

(3)

其中:Sx、Sy表示圖像平面單位距離上的像素個數，單位是pixel·mm-1,而且：

(4)

dx、dy表示像素點在像素坐標系中x軸和y軸方向的物理尺寸，(Cx,Cy)是光心的像素坐標。

物體空間坐標系到圖像像素坐標系：

經過以上3個步驟，然后對(1)和(2)做等價變換，可以得到：

(5)

(6)

聯立上面各式，可不難推導出物體的空間坐標P(Xw,Yw,Zw)和計算機圖像像素的二維坐標Pf(Xf,Yf)之間的變換關系：

(7)

其中:M1由fu和fv決定，參數fu和fv、Cx和Cy只與相機的內部結構有關，是相機的內部參數；M2只與相機相對于世界坐標系的具體方位有關，是相機的外部參數，參數X為空間坐標點在世界坐標系下的坐標。

2.1.3 相機的標定

由于鏡頭存在畸變，工業相機在實際的應用中需要進行標定。相機的標定，就是確定空間位置與圖像上像素的映射關系，求取相機內部參數和未知參數的過程。具體的標定方法，主要有：傳統標定方法、基于主動視覺的標定方法以及自標定方法。傳統的標定方法需要使用特殊制作的標定物，簡便靈活；基于主動視覺的標定方法，無需標定物，但過分依賴設備、系統成本高，對控制場合有較高的要求；自標定方法，不需要知道圖像點的三維坐標，僅通過不同角度拍攝場景中的圖像對應點的關系來進行標定，適用于復雜的應用場景。

綜合考慮，本系統采用傳統標定方法中的Tsai兩步法。兩步法基本步驟：第一步，解線性方程，得到部分外部參數的精確解；第二步，將其與外部參數與畸變修正參數相結合進行迭代求解得到所有參數結果。實驗得到的相機標定參數如下：

所用相機內參數：單個像元的寬的大小為:

SX=3.011 1 μm，單個像元的高Sy=3 μm，焦距f=9.099 34 mm，徑向畸變量級Ka=-0.000 68，中心點x坐標Cx=968.035 pixel，中心點y坐標Cy=597.867 pixel。

相機的外參數：旋轉矩陣R=R(α,β,γ)，其中α=6.26047 rad，β=6.2578957 rad，γ=4.7256536 rad。平移向量T=(Tx,Ty,Tz)，其中TX=-56.134 mm，TY=11.159 mm，Tz=402.044 mm。

2.2 料盤的圖像處理及其方位確定

經過圖像采集系統采集過來的料盤圖像，需經過一系列的圖像處理，最終確定其像素坐標，進而確定其實際空間坐標。

第一步：預處理

圖像處理的第一步，一般都是預處理。預處理的主要目的是清除圖像上的無用信息，恢復對自己有用的信息，增強信息的可檢測性，以及最大限度地簡化數據，從而有利于后續圖像處理的進行[12]。

減輕或消除噪聲的影響是其重要的一環。對噪聲的處理，一般的方法有均值濾波、中值濾波以及在頻率域上的頻率濾波。均值濾波，主要的作用是使待處理像素點的值，等于其一定大小鄰域內全體像素的平均值，起平滑的作用；中值濾波，是用結構元素模板里面的像素中值作為結果值，對于椒鹽噪聲的處理有著顯著的效果；頻率濾波中的低通濾波也能夠平滑圖像，去除噪聲，運用高通濾波器衰減或抑制低頻分量，能夠銳化圖像。

就本系統而言，采用均值濾波就能起到較好的預處理效果。

第二步：圖像分割

圖像分割是指根據灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區域，使得這些特征在同一區域內，表現出一致性或相似性，而在不同區域間表現出明顯的不同。閾值法是一種傳統的圖像分割方法，因其實現簡單、計算量小、性能較穩定而成為圖像分割中最基本和應用最廣泛的分割技術。圖像閾值化分割，它特別適用于目標和背景占據不同灰度級范圍的圖像。其基本原理是：通過設定不同的特征閾值，把圖像像素點分成若干類．常用的特征包括：直接來自原始圖像的灰度或彩色特征。主要方法包括全局閾值分割和局部閾值分割。全局閾值分割，針對的是全局的區域，對于一些有陰影，或者亮度不均勻等特征的圖像，往往分割效果不理想，所以此時采用局部閾值分割，即對不同的局部區域采用不同的閾值進行分割，抗噪聲強，效果較好。所以，綜合考慮，本系統采用自適應的局部閾值分割。

第三步：邊緣擬合及特征提取

由于CCD相機的畸變等因素的影響，料盤圖像中的4個Mark點一般是類橢圓形。對閾值后的區域進行形態學處理，然后提取邊緣，精度并不能滿足要求。因此，為了提高識別的精度，需要對亞像素輪廓進行橢圓擬合。一般的方法有最小二乘法以及加權的最小二乘法[13]。最小二乘法是在隨機誤差服從正態分布的前提下，由最大似然法推出的一種最優估計技術[14]。基本原理是，通過使邊緣的離散點與擬合后橢圓之間的幾何距離最小，兩者之間的距離平方和最小，然后通過極值原理求得擬合橢圓中的各個參數的值。其中，橢圓的隱式方程可由如下公式表示：

F(a,x)=ax=Ax2+Bxy+Cy2+Dx+Ey+F=0

(8)

其中:x=[x2xyy2xy1]T，a=[ABCDEF]

如果離散點比較多，對于較遠的離散點的權值和較近離散點的權值選擇成一樣的話，就會求得和理想橢圓偏差較大的橢圓參數，顯然是不可取的。加權的最小二乘法，是指采用多次迭代的方法來進行擬合。首先，第一次選擇1作為權重進行擬合，計算各個邊緣點到橢圓的距離di，然后通過選擇的權重函數W(di)，將這些權重用于后續的迭代。選用的Turkey權重函數W(di)：

(9)

其中:τ是消波因數，用它來定義各個邊緣點的權重。帶權重的橢圓擬合算法處理過程如圖3所示。

圖3 帶權重擬合算法流程圖

特征提取后的處理圖像如圖4所示。

圖4 提取特征后的圖像

從圖可以看出，4個類橢圓Mark點已被提取出來，從左至右，從上至下，將其分別編號為：1、2、3、4。行列及面積特征信息如表1所示。

表1 MARK點相關特征信息表

3 實驗結果分析

為了得到本檢測系統的重復精度，對MARK點標定之后，人為改變初始機械手的位置15次，再運行程序，檢查是否能完成裝配的同時，記錄此時的機械手所持物料的位置與實際位置坐標，結果如表2所示。

表中實驗次數為0所對應的放料定位坐標為實際的放料坐標，實驗次數從1到15，分別記錄下實際的坐標值以及位置是否匹配的數據信息。由表可知，15次試驗位置基本達到匹配要求，所以本系統能夠完成自動裝配任務；同時，通過圖中X、Y放料定位實際坐標一列記錄的數據，可以求得系統的X坐標重復性誤差=標準差/平均值=0.148/167.513=0.088%，Y坐標的重復性誤差=標準差/平均值=1.904/156.772=1.21%，滿足實際生產需求。

圖5 實驗平臺結果圖

4 結論

針對工業上機械手自動化抓取裝配的需求，提出一種基于機器視覺的定位抓取系統。此系統首先通過工業相機對料盤的圖像進行采集，然后經過一系列的圖像處理，對MARK點的位置進行定位識別，工控機下發指令控制機械手進行自動的裝配。通過在實驗平臺進行實驗驗證，此系統再實現自動化裝配的要求的同時，檢測精度較高，重復性誤差較小，滿足工業上的生產需求。