3D視覺和掃描技術在內星輪冷精整生產中抓取和測量應用實例

程 欣

（上海納鐵福傳動系統有限公司，上海 201315）

1 引言

對于鍛造、冷精整等傳統制造工藝的開發流程；在試產之前，一般采用CAE 有限元軟件方式對模具設計和坯料成形過程進行數字網格變形模擬，在模擬過程中通過理論變形量和過往的經驗調整，諸如：材料摩擦系數，材料變形系數等；試產后的零件一般通過三坐標打點或軌跡掃描的方法進行測量；在實際試制中，由于三坐標測量儀本身成本高、測量效率較低，故很難實現對新工藝新零件在前期開發試產階段的快速測量和模具調整；而3D 掃描技術能很好的解決試產中的自動化檢測和數字化分析。

本文主要闡述3D 結構光視覺技術在工業機器人上下料抓取作業，以及3D 藍光LED 掃描技術在零件冷精整后，對于零件的快速參數化掃描測量的應用。

2 結構光技術概述

結構光法是指投射到物體表面上的編碼團被其調制，所形成的變形條紋圖像蘊含了物體的深度信息[1-2]。由攝像機記錄這些條紋圖像，通過圖像處理便可以獲得物體的三維形狀。

3 工業機器人3D 視覺系統設計

3.1 視覺相機原理

視覺相機獲取深度圖像常見技術分為四類：被動式和主動式，接觸式和非接觸式。被動式傳感器指只能被動接受目標反射或輻射回來的能量，如立體式攝像系統，它根據攝像頭數目不同可以分為雙目立體視覺系統和多目立體視覺協系統。主動式傳感器是指目標發射電磁波或激光等能量信息，然后收集從目標反射回來的能量信息的傳感器，常見的方法如合成孔徑雷達、結構光、飛行時間（TOF）法等。接觸式視覺系統是指視覺傳感器距離被測物體很近，反之即為非接觸式。本文所應用的Solomon 公司SLM-3DRBP-0231C 傳感器采用雙目2D 拍照+結構光相機組合（如圖1 所示），收集能量信息采用飛行時間（TOF）法。

圖1 三角測量原理圖

3.2 光學三角測量法

光學三角測量法原理是利用結構光照明中的幾何信息，根據相機、結構光、物體之間的幾何關系，來確定物體的三維信息，如圖2 所示給出了一個三角測量的原理圖[8]。光學三角測量法是最常用的一種光學三維測量技術，以傳統的三角測量為基礎，通過待測點相對于光學基準線偏移產生的角度變化，計算該點的深度信息。

圖2 雙目2D+結構光相機

3.3 結構光原理

結構光三維成像的硬件主要由相機和投射器組成，結構光就是通過投射器投射到被測物體表面的主動結構信息，如激光條紋、格雷碼、正弦條紋等；然后，通過單個或多個相機拍攝被測表面即得結構光圖像；最后，基于三角測量原理經過圖像三維解析計算從而實現三維重建。

基于結構光的三維成像，實際上是三維參數的測量與重現，主要是區別于純粹的像雙目立體視覺之類的被動三維測量技術，因而被稱為主動三維測量。因為他需要主動去投射結構光到被測物體上，通過結構光的變形（或者飛行時間等）來確定被測物的尺寸參數，因此才叫做主動三維測量。

首先，結構光的類型就分為很多種，既然是結構光，當然是將光結構化，簡單的結構化包括點結構光，線結構光以及簡單的面結構光等。復雜一點的結構化就上升到光學圖案的編碼了。結構光投射到待測物表面后被待測物的高度調制，被調制的結構光經攝像系統采集，傳送至計算機內分析計算后可得出被測物的三維面形數據，如圖3 所示。其中調制方式可分為時間調制與空間調制兩大類。時間調制方法中最常用的是飛行時間法,該方法記錄了光脈沖在空間的飛行時間,通過飛行時間解算待測物的面形信息；空間調制方法為結構光場的相位、光強等性質被待測物的高度調制后都會產生變化,根據讀取這些性質的變化就可得出待測物的面形信息。

圖3 機構光投射示意圖

總體而言，結構光主要可以分為：線掃描結構光和面陣結構光兩類。一般說結構光的時候都指代第二類，這里也主要關注面陣結構光。

面陣結構光大致亦可以分為兩類：隨機結構光和編碼結構光。隨機結構光較為簡單，也更加常用。通過投影器向被測空間中投射亮度不均和隨機分布的點狀結構光，通過雙目相機成像，所得的雙目影像經過極線校正后再進行雙目稠密匹配，即可重建出對應的深度圖。如圖4 所示為某種面陣的紅外結構光。

圖4 面陣紅外結構光示意圖

隨機結構光這里就不再說了，因為和普通雙目算法是很相似的。一些額外的考慮就是是否給相機加裝濾光片、光斑的密度要到什么程度等硬件和光學的問題了。這里不做詳細討論。

4 圖像編碼原理和方法

Bergm An 首先提出的格雷碼與相移結合的方法，有效解決了周期信號二義性問題，同時得到較高的空間分辨率。2001 年Guhring 提出將一個多條紋圖案移動若干次來代替正弦周期圖案[3]。2007 年于曉洋等[9]研究了Guhring 方法解碼過程中格雷和相移周期錯位的問題，通過判斷相鄰像素點的格雷碼值增加與相位突變是否一致來進行調整，其測量最大誤差為0.0831%。2008 年于曉洋等[10]通過進一步改進了Guhring 方法的投影圖案，強調了格雷碼邊緣機先移條紋中心的編碼與解碼，可實現子像素級定位，測量誤差減小到0.04%。

格雷碼編碼即在一組數的編碼中，若任意兩個相鄰數的代碼只有一位二進制數不同，則稱這種編碼為格雷碼。格雷碼是一種二進制循環碼，是1880年一名法國工程師發明的一種編碼[4]。格雷碼的顯著特點是錯誤最小化。

相移法（Phase shift）的測量原理[5]是采用余弦條紋圖案投射到物體表面，從成像系統獲得物體表面形貌調制的變形條紋，條紋的變形有其相位分布的變化得到體現。物體的深度信息被編碼在變形條紋的相位信息中，如果能夠正確得到某一點的相位值，就可以獲得該點對應的深度值。相移法的優點在于求解物體初想位時是點對點的運算，機在原理上某一點的相位值不受相鄰點光強值的影響，從而避免了物面反射率不均勻引起的誤差，測量精度可達萬分之一。與其他輪廓術相比，測量精度相對較高。

4.1 格雷碼與相移結合編碼

其具體編碼方法為[6]：先向被測物投射一系列格雷碼黑白條紋圖案，其中具有相同編碼的區域作為一個編碼周期，然后再采用四步相移法，依次投射四幅相移圖案，如圖5 所示，使得每個編碼區域被進一步連續細分[6]。但投射的格雷碼圖案和相移圖案必須滿足如下關系：格雷碼圖案的最小周期為相移圖案周期的4 倍，理論上格雷碼周期邊界與相移周期邊界要嚴格對應。

圖5 格雷碼與相移示意圖

通過以上對空間編碼的討論，也可以看出空間編碼結構光的一些優缺點。優點：無需多張照片，只需要一對影像即可進行三維重建。可以滿足實時處理，用在動態環境中。格雷碼和相移結合編碼結合的編碼方法，大幅提高了三位物體重構的質量和精度。

5 機器人無序抓取的生產運用

5.1 運用原理框架

基于前文提出的3D 結構光和編碼原理介紹，會發現格雷碼與相移結合的編碼方式的優勢明顯；本文案例運用工業機器人和3D 機構光CCD 相機組件，通過所羅門SLM 3DRBP-0231 系統，規劃工業機器人自動抓取的坐標和路徑，實現零件的無序抓取。整套系統基于ROS 系統搭建。

其運用系統硬件框架，如圖6 所示，硬件層使用了索羅門xxx23 傳感器，將其固定與物料箱頂端支架上，用于獲取3D 景深圖像，工業機器人使用的是Fanuc 公司MI20A 系列機器人，如圖9 所示，基座位固定在被抓取物料箱的側方；采用惠普通用工作站計算機，內存為32GB,CPU 型號為Intel 酷睿i7-8700K，顯卡型號為：NVIDA GeForce GTX 2080,運行系統為Windows7 SP1。

圖6 機器人無序抓取原理框架

3D 結構光CCD 相機位于物料箱的正上方；零件被隨意放置在物料箱內，通過算法層，經過一些列圖像采集、處理、抓取點計算和抓取路徑規劃等過程，最終完成工業機器人將物料抓取擺放至指定位置的完整流程。

工業機器人與ROS 系統之間的通信控制如下：

基于TCP/IP 通訊協議，實現位置運算PC 計算機與工業機器人之間的數據交換；

基于索羅門ROBOT CONTROL 功能模塊完成位置運算PC 運動規劃部分驅動；

基于ROS 操作系統實現工業氣人運動路勁規劃和控制；

軟件算法是本系統核心。

以上操作均可在用戶界面層完成。

本方案所需要抓取的零件為車用等速半軸用內星輪坯料，如圖7 所示；該零件坯料隨即擺放在專用的物料箱內，通過工業機器人進行抓取動作，如圖8所示，大致生產運行流程如下：

圖7 零件外形示意圖

圖8 機器人和上料臺布局圖

圖9 工業機器人+結構光相機布局

①人工將物料框放置到固定位置；

②視覺掃描給出坐標；

③機器人自動從料框抓取工件到上料平臺。

5.2 編碼系統流程圖

編碼系統由計算機、CCD 和結構光相機，運算和編碼系統組成；其中編碼流程如圖10 所示，其視覺相機系統的掃描范圍（單位：mm）如圖11 所示。

圖10 圖像編碼系統流程圖

圖11 結構光相機掃描范圍圖

5.3 實際運用效果分析

在實際抓取的調試中，機器人抓取零件的內孔，抓取成功率主要受零件擺放姿態的影響；當零件重疊或并排放置時，系統通過識別零件的位置坐標，如圖12 所示，為機器人自動規劃微調零件擺放姿態的路徑，將零件調整適合抓取內孔的角度；從而對抓取成功率有了大幅提高；具體抓取料箱的清空率如表1所示，通過連續生產的數據驗證應用方案清空零件料箱率達到97%以上，可以滿足工業生產的節拍需求。

表1 抓取成功率統計表

圖12 零件位置坐標圖

6 藍光3D 掃描三維測量系統

6.1 3D 掃描測量概述

3D 形貌測量技術也被稱為3D 輪廓術，如圖13所示，是通過運用儀器獲取被測物體外部形貌數據并建立數字模型的方法和技術。按測量過程中是否與被測物體接觸，可分為接觸式和非接觸式測量量大類。

圖13 三維形貌測量法分類示意圖

現有面3D 掃描三維測量系統通常采用白光投影，測量時容易受環境光與被測物體表面反射特性影響。在實際運用中，大部分的被測物體表面紋理暗淡，利用白色編碼光進行測量時，光的反射率低，很難被相機捕獲，從而導致測得的數據缺失嚴重[7]。

因此，本文采用某品牌D700 型3D 藍光掃描儀，如圖14 所示。藍光三維掃描儀獲取被測零件連續的參數信息，重現零件的三維數字模型；其中攝像系統集中了二枚藍光數據采集鏡頭。

圖14 某品牌D700 型3D 藍光掃描儀

6.2 藍光投射鏡頭采集的基本原理

首先將光柵圖樣投影到目標表面，光柵場受目標三維形狀的調制而發生變形，然后根據此解調出代表物體深度的相位信息，最后結果系統定標獲得目標的三維幾何信息。主要由以下二個核心部分構成：機械式——超高亮度投射系統（如圖15 所示）；多段式——光柵投影面掃面技術（如圖16）。

圖15 投射系統示意圖

圖16 多段式掃描示意圖

7 藍光3D 掃描三維測量運用效果

本文采用的藍光掃描儀，透過參數化與全自動檢測技術，整合CAD 定位系統與特征分析，能夠快速了解產品曲面變形與幾何誤差，并可以即時制作出檢測報告與統計學分析報告。

相較于傳統的接觸式打點三座標測量儀，針對被測零件的邊緣、R 角等過渡面都能同步完成單獨的三維檢測（如圖17 所示）；也可以對被測物的全部輪廓進行數字化掃描再現和比較測量。

圖17 藍光掃描檢測結果示意圖

由于傳統三坐標測量儀主要采用接觸式打點或線掃描的方式來進行輪廓參數化，局限性是往往無法做到對被測物全輪廓曲面的尺寸重現，如零件曲面R 角過渡邊緣（圖17）；若想提高三坐標測量的精度，就必須增加被測零件打點的密度，從而導致測量的效率降低；

零件的缺陷A 位于R 角圓弧過渡（如圖19 所示）：三坐標在測量時建立工件坐標系如圖18 所示，隨后通過對零件的外輪廓進行接觸式打點和掃描，測量分度位置選擇工件的各相應對稱中心面；靠近R 圓角面的缺陷A（如圖19、20 所示），無法在測量時100%被發現。

圖18 三坐標測量坐標示意圖

圖19 缺陷零件示意圖

圖20 缺陷零件加工前后對比示意圖

7.1 接觸式三坐標測量儀精測結果分析

沿著Z 方向掃描：由于掃描的位置位于零件對稱中線（如圖21 所示），故掃描結果無法識別零件缺陷A（如圖22、23 所示）。

圖21 三坐標測量儀掃描報告

沿著X/Y 方向掃描：由于掃描截面的位置正好不在缺陷A 的X/Y 橫截面上，掃描結果也無法識別缺陷A（圖22、23 所示）。

圖22 三坐標測量儀掃描報告

7.2 采用藍光3D 掃描測量結果分析

采用藍光3D 掃描測量能夠輕易識別零件曲面缺陷A 存在尺寸超差（如圖23 所示）。

圖23 3D 藍光掃描測量結果

8 結束語

隨著目前通用計算機運算能力的提高，基于3D結構光相機和基于ROS 的工業機器人抓取系統中，算法實現的抓取成功率普遍能夠達到98%以上；在對物體所處的抓取場景下，抓取點的計算時間有了大幅縮短；使得不再局限于實驗室環境的運用；已經能夠很好的適用于目前的工業化生產。

面掃描測量方面，本文針對基于藍光3D 掃描成像模型，并應用CCD 相機和計算機設備進行高速高分辨率3D 數字模型重建成像；實現生產現場對零件的參數化數字模型重現,并能夠快速實現與零件CAD 模型快速比較測量。

以上運用實例結果表明，結構光技術和藍光LED 掃描測量，能夠廣泛應用于鍛造、沖壓等傳統工業生產；并為零件的模具開發和改進帶來非常直觀的數字化參數和依據，從而提升產品和零件的開發的效率。