基于機器視覺的微小型零件測量與裝配控制

王曉東，宋洪俠，劉超，羅怡

(1.大連理工大學微納米技術及系統遼寧省重點實驗室，遼寧 大連116024;2.大連理工大學 機械工程學院，遼寧 大連116024)

由精密微小型驅動元件、傳感元件等組成的器件或產品，以其體積小、性能可靠等特點，近年來在工業、軍事、生物領域得到廣泛應用，該類產品往往不能一次加工完成，一般由微小型零件組裝而成.微小型零件采用不同材料、不同加工工藝制造，需要與之相適應的測量和裝配技術.

結合機器視覺、力反饋控制等技術，國內外自20世紀90年代初開始研究和開發適用于微小型零件裝配的通用控制方法和技術.基于機器視覺的裝配系統以其柔性化裝配的特點在提高裝配精度、保證產品質量穩定性以及提高生產率等方面，都顯示出極大的優越性.德國布倫瑞克技術大學機床與加工技術研究所針對微小型零件精密裝配技術的研究［1］，已開發出用于微裝配的并聯機器人、各種微型手爪、柔性關節以及其他微裝配技術等.國內哈爾濱工業大學、北京航空航天大學、華中科技大學、南開大學、北京理工大學等也積極開展這方面研究，建立了任務序列分解和規劃、立體顯微視覺微定位及動態觀測等頗具特色的微裝配與微操作相關技術［2-6］.一般情況下，零件的目標特征可以完全進入攝像機視野當中，測量和定位過程相對較為容易，然而，對于尺寸跨度較大的微小型零件，由于攝像機視野的限制，測量范圍相對較小，對目標特征的測量過程不能一次完成，需分步進行.如何實現該零件大范圍、多參數的自動測量和精密裝配，解決高精度、高分辨率測量視場狹小和裝配作業空間較大的矛盾是微小型零件自動裝配系統研制需要解決的問題.

本文根據微小型零件的裝配要求，研制了裝配系統，基于機器視覺，采用相關控制策略，實現了該零件的自動測量和精密裝配，滿足了裝配的位置和形位等方面精度的要求，產品的一致性和裝配作業效率得到提高.

1 系統組成及功能模塊

按照功能的不同，微小型零件裝配系統一般由視覺測量模塊、裝配作業模塊及上料工作臺模塊組成.視覺測量模塊主要由三維精密運動平臺、工業CCD相機、遠心光學鏡頭、照明光源等構成，完成圖像采集、目標零件的識別，實現零件位置和姿態的精密測量;裝配作業模塊由夾鉗、傳感器等構成，實現零件夾取、釋放，監測裝配信息，完成裝配過程;上料工作臺模塊由運動平臺、夾具、零件鎖緊機構等組成，作為上料和裝配的平臺.結合如圖1所示的待組裝零件，所研制裝配系統的組成結構，如圖2所示，系統設計的實體圖如圖3.

圖1 待裝配的零件和裝配后的組件Fig.1 Parts to be assembled and the finished assembly

圖2 微小型零件裝配系統組成框圖Fig.2 Schematic diagram of assembly system for miniature parts

圖3 微小型零件裝配系統設計實體圖Fig.3 The designed schematic drawing of assembly system for miniature parts

微小型零件測量裝配可分為零件上料、零件特征識別和定位、裝配作業等過程.安裝在三維精密運動平臺上的CCD相機采集目標零件不同位置的原始圖像，對圖像進行包括圖像拼接等處理，完成目標零件的識別和定位，獲取尺寸跨度較大零件的坐標位置和姿態偏差，并據此驅動機械手進行零件的夾持裝配作業.

2 自動測量與裝配控制策略

系統采用運動測量機構和基于“任務消息”的控制策略.零件尺寸跨度較大，攝像機視野較小，不能夠完全容納目標特征圖像，故采用精密運動平臺和攝像機構成的測量系統來進行測量任務，對于一個目標特征，視覺機器人可以在不同位置采集圖像，擴展了測量范圍.

按照測量對象的不同，對任務進行分類，將整個過程分解成若干任務模塊，每個模塊又分為若干環節，系統對每個環節都分配一個唯一的“消息”與之對應.對于每個環節，將試驗好的各位移平臺位置、光照類型及強度、攝像機曝光時間、目標輪廓提取閾值等信息分別寫入ini文件，組成系統總的配置文件.用戶在人機交互界面上選擇不同按鈕，向系統發送消息，系統根據不同的消息類型來確定對象與環節，程序相應地讀取配置文件，系統發送硬件控制命令，硬件響應，進行環境配置，完成測量或者裝配任務，整個過程如圖4所示.

圖4 系統執行任務流程Fig.4 Flow chart of task execution for the system

2.1 零件自動測量

零件自動測量即零件的識別定位過程，就是圖像處理—圖像分析—圖像理解的過程.通過濾波、銳化、數學形態變換、二值化、邊緣提取、輪廓提取等圖像處理分析方法，從采集到的灰度圖像中獲得目標零件的特征信息［7］.

受零件尺寸和攝像機視野的限制，對零件的測量過程不能一次完成，須分步進行，不能做到零件圖像的實時測量與定位［8］.視覺機器人在不同位置采集零件原始圖像，程序對原始圖像進行濾波、Canny邊緣檢測等處理，提取出邊緣輪廓點，完成零件識別.

提取出的邊緣輪廓點為圖像坐標，經過坐標轉換，轉換世界坐標點，對轉換過的坐標點進行擬合運算，由于測量過程中邊緣存在少量干擾，因此在進行擬合運算時需要進行迭代處理，實現零件定位，如圖5所示.零件1上圓孔的測量，采集4幅圖像，經處理獲得邊界后，經擬合獲得圓心坐標和圓孔直徑，圖6～8為采集的4幅圖像中的2幅在處理之前和之后的圖像;零件1上刻線測量的原始圖像及處理后提取邊線的圖像如圖9和圖10所示.

圖5 零件識別定位流程Fig.5 Flow chart of location for parts

圖6 零件1圓孔局部輪廓原始圖像Fig.6 Original image of contours of target part

圖7 零件1局部輪廓Canny算子邊緣提取圖像Fig.7 Image of edge extraction using Canny operator

圖8 零件1局部輪廓點提取圖像Fig.8 Image of edge points extraction of contour

圖9 零件1刻線原始圖像Fig.9 Original image of line

圖10 零件1刻線識別效果Fig.10 Effect drawing of part recognition

2.2 零件精密裝配

微小型零件的裝配大體可分為調整對準和裝配作業2個過程.

調整對準過程中，經自動測量后，待裝配的組件已實現定位，系統根據組件定位的差值，控制位移平臺或夾鉗運動，使組件裝配特征重合，如孔軸裝配時，要保證孔軸圓心重合.

裝配作業過程中，夾鉗是影響裝配質量的重要因素.常用的夾鉗有吸附式夾鉗和機械式夾鉗.對于質量小、易損壞的組件多采用吸附式夾鉗.對于質量大的零件多采用機械式夾鉗.常用視覺監控和力監控2種方式對裝配過程進行監測［9］，便于系統做出相應調整.

本系統中采用壓緊力來監控孔軸裝配過程.機械式夾鉗采用分層設計，層與層有彈簧片相連，具有一定的柔順功能，同時夾鉗兩臂集成力傳感器，實時監測裝配過程中夾鉗垂直方向上的壓緊力.在一定范圍內，系統根據壓緊力的變化可以對裝配過程做出適當調整，整個過程如圖11所示.

圖11 零件裝配流程Fig.11 Flow chart of parts assembly

3 系統控制軟件架構

Xinhan Huang等人提出了面向微裝配機器人的TSB分級智能控制結構［10］，徐征等研究了裝配控制和軟件架構等微裝配的重要環節，分析了微裝配的具體需求、工作流程和人機交互，提出先看后動的微裝配控制模式和分層控制架構，建立了基于顯微機器視覺的微裝配平臺［11］，本文根據上述研究思路，并結合具體的裝配任務進行了適當修改，建立微裝配控制分層架構，如圖12所示.

圖12 微裝配控制系統分層架構Fig.12 Layered architecture of assembly system for miniature parts

圖12中，該結構自上而下由3個控制層組成:任務層(task layer)、策略層(strategy layer)和行為層(behavior layer).任務層接收和解析操作者下達的指令，以裝配工藝過程為依據進行任務分解，綜合策略層反饋的當前裝配狀態和裝配參數庫，構造策略層能理解的動作序列，發送給策略層.策略層接受任務層發來的動作序列，將每個動作分解為多個部件的行為發送給行為層，策略層只與封裝后的行為接口有關系，并不涉及到任何行為層的硬件信息.行為層根據策略層發來的命令，控制位移平臺運動、繼電器開關、力測量等部件行為.

根據以上的分析，采用統一建模語言設計了程序組成類，描述了系統中較重要的類組成及其相互關系，為提高軟件的復用性，主要采用聚集、繼承和依賴關系來構造類，類組成結構和其之間相互關系如圖13所示.

圖13 控制程序類結構關系示意圖Fig.13 Schematic diagram of structural relationship among the classes control program

該軟件還為用戶留有處理疏漏和異常情況的接口，對裝配過程中某些重要的環節，都設有可重復操作.當圖像識別錯誤時，用戶只要按下鍵盤的“Esc”鍵，程序會自動退出;當裝配過程中位移平臺的走位出現異常時，用戶按下面板上的急停按鈕，所有位移平臺停止運動，避免了平臺之間的碰撞，有效保護了系統硬件.

具體編程采用C++語言，圖像處理涉及大量數據動態讀取和寫入，內存不足等原因會引起裝配失敗，采用了C++的STL中vector等標準數據類型作為承載圖像數據和中間處理結果數據的容器，避免了復雜的內存管理問題，提高了系統魯棒性.

4 用于微小型孔軸零件的裝配系統

在以上分析的基礎上，完成了系統硬件和軟件的設計，所研制的精密裝配系統的硬件部分采用模塊化設計，機械部分主要由視覺測量機器人、旋轉工作臺機器人、夾持作業機器人組成.視覺測量機器人由兩自由度精密運動平臺、CCD數字攝像機、工業鏡頭、數字可控光源等組成，完成圖像采集、目標零件的識別與定位;旋轉工作臺由三自由度精密運動平臺、夾具、鎖緊機構等組成，作為上料和裝配平臺，完成零件的傳輸和裝配過程方位角的定位，提供測量基準;夾持作業機器人由兩自由度精密運動平臺、具有一定柔順功能的機械式夾鉗、力傳感器等組成，實現零件夾取、釋放，完成裝配過程.系統實物組成如圖14所示，控制軟件界面如圖15所示.

圖14 微小型零件裝配系統實物照片Fig.14 Photograph of the developed assembly system for miniature parts

圖15 系統控制界面截圖Fig.15 Diagram of assembly system for miniature part

5 結論

1)研制出一套用于微小型零件自動測量與精密裝配的系統.與北京長城計量測試技術研究所對φ4.0的孔、軸進行了測量比對，結果之間的偏差小于 3.0 μm，設備測量結果的重復性小于 1.5 μm.

2)將攝像機和精密位移平臺組成運動測量機構，能夠實現從幾個微米到十幾毫米的較大范圍的測量.

3)采用了基于“任務消息”的控制策略，完成了軟件的三層架構，控制該設備成功地進行了大量裝配實驗.

4)采用了C++STL中vector等標準數據類型作為承載圖像數據和坐標點數據處理結果的容器，避免了復雜的內存管理問題，很好地解決了內存溢出的問題，提高了系統魯棒性.

［1］王曉東，宋洪俠，HESSELBACH J.德國微裝配技術研究的幾個方向［J］.機械制造，2002，40(9):13-15.WANG Xiaodong，SONG Hongxia，HESSELBACH J.Some research aspects on micro assembly in Germany［J］.Machinery，2002，40(9):13-15.

［2］陳國良，黃心漢，周祖德.微裝配機器人系統［J］.機械工程學報，2009，45(2):289-293.CHEN Guoliang，HUANG Xinhan，ZHOU Zude.Microassembly robot system［J］.Chinese Journal of Mechanical Engineering，2009，45(2):289-293.

［3］謝暉，孫立寧，榮偉彬，等.MEMS微裝配機器人系統的研究［J］.機械與電子，2005(3):7-9.XIE Hui，SUN Lining，RONG Weibin，et al.Current situation and trend of microassembly robot for MEMS［J］.Machinery＆ Electronics，2005(3):7-9.

［4］宗光華，孫明磊，畢樹生，等.宏—微操作結合的自動微裝配系統［J］.中國機械工程，2005(23):2125-2130.ZONG Guanghua，SUN Minglei，BI Shusheng，et al.A microassembly workcell with macro to micro automatic operation［J］.China Mechanical Engineering，2005(23):2125-2130.

［5］孫明竹，趙新，盧桂章.基于離焦的微操作機器人系統光軸方向深度測量［J］.物理學報，2009(9):6248-6257.SUN Mingzhu，ZHAO Xin，LU Guizhang.Depth measurement in the direction of optical axis based on defocused micro-manipulation system［J］.Acta Physica Sinica，2009(9):6248-6257.

［6］葉鑫，張之敬，王強，等.可重構12自由度微裝配技術及其實現［J］.北京理工大學學報，2009，29(9):775-779.YE Xin，ZHANG Zhijing，WANG Qiang，et al.Reconfigurable 12-DOF micro-assembly technology and its realization［J］.Transactions of Beijing Institute of Technology，2009，29(9):775-779.

［7］査英，劉鐵根，杜東，等.基于機器視覺的零件自動裝配系統［J］.天津大學學報，2006，39(6):723-726.ZHA Ying，LIU Tiegen，DU Dong，et al.Part automatic assembling system based on machine vision［J］.Journal of Tianjin University，2006，39(6):723-726.

［8］BOISSENIN M，WEDEKIND J，SELVAN A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25:1107-1116.

［9］SCHOTTLER K，RAATZ A，HESSELLBACH J.Precision assembly of active microsystems with a size-adapted assembly system［C］//Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008，260:199-206.

［10］Lü X，HUANG X H.Three-layered control architecture for microassembly with human-robot task plan［C］//2004 IEEE Conference on Robotics and Biomimetics.Shenyang，China，2004:22-26.

［11］徐征，王曉東，程新宇，等.基于機器視覺的微裝配控制策略及軟件架構［J］.光學精密工程，2009，17(4):819-824.XU Zheng，WANG Xiaodong，CHENG Xinyu，et al.Control tactics and software architectures for micro-assembly based on machine vision［J］.Optics and Precision Engineering，2009，17(4):819-824.