基于機器視覺的高精度螺孔定位方法研究

郭 靜，羅 華，張棟棟

（航天科技集團九院第16研究所機器人事業部，西安710100）

基于機器視覺的高精度螺孔定位方法研究

郭 靜，羅 華，張棟棟

（航天科技集團九院第16研究所機器人事業部，西安710100）

針對手工安裝工件、勞動強度大以及效率低等問題，提出了一種基于機器視覺的螺孔定位檢測方法。利用CCD攝像機實時采集局部待定位物圖像，并對圖像進行處理，提取螺孔坐標，然后通過物理坐標關系得到拍攝范圍外的螺孔的坐標，最后經過eye-hand手眼標定轉換到機器人坐標系下的坐標。該方法解決了受外界條件限制，對目標測量的過程不能一步完成的問題，實現了較大物件的自動、快速、準確定位功能。

機器視覺；螺孔；定位；高精度

0　引言

在現代工業中，自動化裝配系統能夠部分取代人工技能和判斷力進行反復的裝配操作，提高生產效率。目前國際和國內已經開展了相關的研究和應用試驗，將機器視覺系統引入到自動化裝配過程中，利用機器視覺代替人眼完成測試和判斷，大大提高了生產線的自動化和智能化程度?；跈C器視覺的裝配系統以其柔性化裝配系統，在提高裝配精度、保證產品質量的穩定性以及提高生產率等方面顯示出了極大的優越性。

一般情況下，待定位物的目標特征可以完全進入攝像機視野當中，測量和定位過程相對較為容易，然而，對于尺寸跨度較大的物體或受相機架設高度和視野范圍的限制，對目標測量的過程不能一步完成。如何實現工件大范圍自動測量和精密裝配，解決高精度、高分辨率、快速定位的矛盾是自動裝配系統研制需要解決的問題。

本文根據裝配線的需求，研制了一種基于機器視覺的定位方法，通過對工件螺孔的高精度檢測，完成了螺孔的快速準確定位檢測的算法研究，以及 “由點到面”的孔位計算方法，實現了較大物件的自動測量和精密裝配，產品的一致性和裝配作業效率得到提高，同時為工件的自動化裝配提供了可靠方法。

1　視覺定位工作原理

通過機器視覺對工件螺孔位置進行自動檢測，主要分為圖像采集、圖像處理和系統標定三部分，如圖1所示。圖像采集模塊負責獲取圖像，并通過合理的光源布置，使目標區域具有良好的對比度，并將采集到的圖像存儲于工控機（IPC）內存中。圖像處理模塊負責對采集的圖像進行處理，提取螺孔輪廓的幾何特征擬合后定位螺孔的中心點坐標，該坐標是相對于相機的圖像坐標系而言，單位為Pixel，機器人不能直接使用。系統標定完成三個功能:1）確定相機的分辨率，即一個像素代表的實際物理距離；2）由相機拍攝的兩個螺孔坐標推算其余所有孔位；3）確定相機圖像坐標系和機器人坐標系之間的關系，經過手眼標定將螺孔在圖像坐標系下的坐標轉換為機器人坐標系下的坐標。

圖 1 機器視覺定位流程Fig.1 Flowchart of machine vision positioning

2　圖像處理算法

在采集到的螺孔圖像中快速準確地檢測出螺孔的中心位置，機器人才能準確調整位置進行快速定位，一次性地完成打螺絲過程。因此，對螺孔圖像的快速、準確定位在機器視覺自動裝配中有著重要的意義。圖像處理的主要任務是準確、快速地檢測物件中所有螺孔的中心點坐標。但是受物件尺寸和攝像機視野的限制，對所有螺孔的定位不能通過拍攝到的圖像一步檢測完成。為了克服此困難，提出了由點到面的定位方法，首先通過拍攝其中兩個螺絲孔位，然后根據其余孔位與拍攝到的螺絲孔位的物理坐標關系，計算出物件所有孔位的坐標。同時在相機分辨率一定的情況下，縮小拍攝范圍也提高了定位精度。圖2所示為攝像機所能拍到的兩個螺孔圖像。

圖2　CCD攝像機拍攝的螺孔圖像Fig.2 The screw image by CCD camera

由于螺孔近似為圓形，而傳統的圓檢測方法是Hough變換法。Hough變換法具有較強的抗噪聲、抗形狀不連續等優點。但它的計算量和所需的存儲量與參數個數成指數關系，難以進行實時處理，在裝配線上無法滿足在線檢測的要求。鑒于Hough算法的不足，目前還有學者基于Hough提出了很多圓定位檢測方法，但都存在一定的缺陷，無法應用到高精度自動裝配過程中。為此，本文提出了一種適合自動裝配的螺孔定位方法，提高了系統的柔性和精度。算法流程如圖3所示。

首先對采集的圖像進行預處理，對圖像中的信息有選擇地加強和抑制，以改善圖像的視覺效果，將圖像轉換為更適合于機器處理的形式，便于數據抽取或是識別，圖4為對采集的螺孔圖像在感興趣區域內預處理后的結果。然后對圖像進行閾值分割，獲得反應圖像整體和局部特征的二值化圖像，這既有利于提高目標輪廓的對比度，又便于圖像的簡化處理，減少數據量、提高處理速度，分割結果如圖5所示。根據特征提取螺孔邊緣，如圖6所示。圖7為提取到螺孔細節放大圖，可以明顯看出提取到的螺孔包含了一些冗余信息，精度較差。

圖3　圖像處理算法流程Fig.3 Flowchart of image processing algorithm

圖4　預處理結果Fig.4 The result of pretreatment

圖5　螺孔圖像分割圖Fig.5 The segment result of screw image

圖6　檢測結果Fig.6 The detection result

圖7　螺孔邊緣細節放大圖Fig.7 The edges of screw

為了提高檢測精度，對提取的螺孔輪廓經過亞像素處理后得到的螺孔細節放大圖如圖8所示，最后經過擬合獲得螺孔的中心坐標，細節放大圖如圖9所示。

圖8　經亞像素處理后螺孔邊緣放大圖Fig.8 The screw image after sub pixel image processing

圖9　螺孔檢測結果Fig.9 The test results of screw

3　攝像機標定

3.1攝像機CCD成像模型

如圖10所示，在圖像上定義直角坐標系uoov，像素坐標（u，v）代表該像素在圖像中的行數和列數建立一個以物理單位（如mm）表示的圖像坐標系xOy，將原點O定義在攝像機光軸與圖像平面的交點，一般位于圖像中心處x軸和y軸分別與u軸和v軸平行，若O在uoov坐標系中的坐標為（uo，vo），每個像素在x軸和y軸方向的物理尺寸為dx和dy，則圖像中任意像素在2個坐標系下的坐標有如下關系:

用齊次矩陣可將式（1）表示為:

圖10　攝像機坐標系與圖像坐標系Fig.10 Camera coordinate system and image coordinate system

以攝像機為中心制定的坐標系XcYcZc如圖10所示，一般小孔攝像機模型的聚焦中心為原點oc，Xc軸Yc軸分別與圖像的X軸和Y軸平行，Zc軸為攝像機的光軸，與圖像平面垂直。

根據針孔成像模型，采用2個焦距（fx，fy）來表示空間中的一點經攝像機成像后在圖像平面坐標X、Y方向上的比例縮放系數。如圖11所示，變換公式為:

圖11　圖像坐標系Fig.11 Image coordinate system

用齊次坐標可表示為:

由式（3）和式（4）可得:

3.2攝像機CCD標定

如圖12所示，建立圖像坐標系的方法為:1）微調工件位置，使B1、B2連線與圖像坐標系的Y軸平行；2）將標定板貼到工件表面，并微調標定板使其水平方向與圖像坐標系的X軸平行，垂直方向與圖像坐標系的Y軸平行，并將O點（xpO，ypO）設定為攝像機坐標系的原點。同時還可以根據標定板刻度與圖像像素之間的關系求得每個像素的實際物理尺寸kx、ky（物理距離/像素距離），根據攝像機成像原理，B1點在攝像機坐標系下的坐標為:

由于攝像機CCD只能拍攝到物件的兩個孔位，其余孔位的坐標通過孔位間的物理坐標關系求得。也就是其余任意一孔位C與該螺孔的相對位置（dx，dy），以及與B1、B2點連線夾角θ求得任意點在圖像物理坐標下的坐標，如圖13所示。任意孔位相對于孔位B1的物理坐標如下:

用齊次坐標表示為:

圖12　待定位物件圖像和標定板Fig.12 Image to be positioned and the calibration board

圖13　其余螺孔與參照螺孔關系圖Fig.13 The relationship between other screws and compared one

4　手眼標定

手眼標定是指求取攝像機坐標系與機器人坐標系之間的矩陣變換關系。手眼標定一般有2種形式:Eye-in-Hand系統（攝像機直接安裝在機械手上，隨機器人一起運動）；另一種為 Eye-to-Hand系統（攝像機固定安裝，位置不隨機器人運動而改變），由于裝配系統結構的特殊性，裝配機器人一般采用攝像機固定安裝手眼系統，對于固定安裝手眼系統的標定，兩坐標系之間的齊次坐標變換關系可寫為:

手眼標定過程為:首先操作機器人移動得到機器人坐標系下視覺標定板原點O的機器人坐標得到機器人坐標系的原點在攝像機坐標系下的坐標。

操作機器人移動得到視覺標定板A、B、C點坐標，計算OA和BC兩條直線在機器人坐標系下與y軸的偏轉角，OB和AC兩條直線在機器人坐標系下與x軸的偏轉角，這四個角度值基本一樣，為減小誤差，求得四個角的平均值為θrv，坐標系關系如圖14所示。

圖14　視覺坐標系與機器人坐標系關系圖Fig.14 The relationship of angle between machine vision coordinate system and robot coordinate system

經過推算得到視覺坐標系到機器人坐標系的轉換公式如下:

用齊次坐標表示為:

其中，xv、yv為螺孔在攝像機坐標系下的坐標。

5　實驗結果

5.1螺孔檢測

通過重復拍攝10組圖像提取出各個螺孔的中心坐標，如表1所示。First_hole表示第一個螺孔的中心點像素坐標，Second_hole表示第二個螺孔的中心點像素坐標。通過重復定位精度實驗，提取的中心點坐標最大相差0.13個像素。

表1　中心點坐標值Table 1 The value of enter point

5.2標定結果

標定過程在自行開發的程序控制下進行，攝像機標定結果如下:

其中，kx=0.782，ky=0.787，攝像機坐標系的原點坐標為（438.664，869.288）。

手眼標定得到機器人坐標系與攝像機坐標系的位置和姿態關系為:

為了驗證標定結果的有效性和精度，分別比較了通過本文闡述的定位方法提取的6個不同位置的孔位坐標與實際的坐標，如表2所示，發現圖像提取點與實際數據之間的位置偏差不超過0.01mm，具有較好的定位精度。

表2　實驗結果比較Table 2 Experimental result

6　結論

研究了一套基于機器視覺的定位方法，通過對采集到的局部工件圖像進行圖像處理提取螺孔中心坐標，并通過手眼標定轉換為機器人坐標系下的坐標，解決了較大工件的定位不能一步完成的問題，實現了自動裝配生產線上工件的自動檢測和高精度定位，提高了裝配線的自動化和智能化程度。

［1］ Boissenin M，Wedekind J，Selvan A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25（7）：1107-1116.

［2］ Schottler K，Raatz A，Hessellbach J.Precision assembly of active Microsystems with a size-adapted assembly system［C］.Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008：199-206.

［3］ 徐征，王曉東，程新宇，等.基于機器視覺的微裝配控制策略及軟件架構［J］.光學精密工程，2009，17（4）：819-824. XU Zheng，WANGXiao-dong，CHENGXin-yu，et al.Microassemblycontrolstrategyandsoftware architecture based on machine vision［J］.Optics and Precision Engineering，2009，17（4）：819-824.

［4］ 胡小平，左富勇，謝珂.微裝配機器人手眼標定方法研究［J］.儀器儀表學報，2012，33（7）：1521-1526. HU Xiao-ping，ZUO Fu-yong，XIE Ke.Microassembly robot hand eye calibration method research［J］.Chinese JournalofScientificInstrument， 2012， 33（7）：1521-1526.

［5］ Han Jian-hai，Zhao Shu-shang，Sun Wei.Research on subpixel detecting on-line system based on machine vision for inner diameter of bearings［C］.Proceedings of the 2007 IEEEInternationalConferenceonRoboticsand Biomimetics，2007.

［6］ 王曉東，宋洪俠，劉超.基于機器視覺的微小零件測量與裝配控制［J］.哈爾濱工程大學學報，2011，32（9）：1117-1120. WANG Xiao-dong，SONG Hong-xia，LIU Chao.Measurement and assembly control of micro parts based on machine vision ［J］.Journal of Harbin Engineering University，2011，32（9）：1117-1120.

［7］ 宿靖波.機器視覺在機器零部件裝配自動定位中的應用［J］.機床與液壓，2013（24）：82-86. SU Jing-bo.Application of machine vision in automatic positioning of machine parts and components［J］.Machine Tool&Hydraulics，2013（24）：82-86.

［8］ YANG Dong-tao，GONG Chang-lai.Dimensional inspection for part using image processing techniques［J］.Coal Mine Machinery，2012，33（5）：141-143.

Research on a High Precision Screw Positioning Detection Method Based on Machine Vision

GUO Jing，LUO Hua，ZHANG Dong-dong
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

For manual installation artifacts，labor-intensive and low efficiency，the paper proposes a kind of screw position detection method based on machine vision.First，use CCD camera in real time to image artifacts acquisition，and deal with the image，extracts the coordinates of screw holes.Then determine all of the rest of the screw hold coordinates by physical coordinate relationship.Finally，through the eye-hand calibration switch to the coordinates of the robot coordinate system.This method realizes the work automatically，quickly and accurately locate detection.

machine vision；screw holes；position；high precision

TN1

A

1674-5558（2016）05-01144

10.3969/j.issn.1674-5558.2016.03.020

2015-06-16

郭靜，女，碩士，控制理論與控制工程專業，助理工程師，研究方向為機器視覺。