基于雙目視覺的球面體裝配尺寸檢測

沈小龍，侯戰(zhàn)強(qiáng)，韓震宇

（四川大學(xué)機(jī)械工程學(xué)院，四川 成都610000）

1 前言

中國制造業(yè)的蓬勃發(fā)展，使得企業(yè)對產(chǎn)品生產(chǎn)速度和質(zhì)量提出更高的要求。而在生產(chǎn)過程中，零件的外形尺寸檢測是重要一環(huán)，與產(chǎn)品的最終質(zhì)量密切相關(guān)；另一方面，隨著中國加工制造水平的提高，具有復(fù)雜曲面的零件占比逐年增長，給制造環(huán)節(jié)的檢測精度和速度帶來了新的挑戰(zhàn)。

近年來，關(guān)于物體的三維尺寸檢測研究，業(yè)界不斷提出新的方法。葉焜[1]提出采用基于面結(jié)構(gòu)光的銅板工件三維視覺檢測方法，能夠有效實(shí)現(xiàn)銅板工件三維尺寸的非接觸全自動化檢測；李曉天等[2]基于激光三角檢測法，搭建了采用旋轉(zhuǎn)平臺的單目物體形貌檢測系統(tǒng)，可望用于三維檢測寶石等小物體；全燕鳴等[3]基于雙目立體視覺視差原理，搭建了一套可在車間現(xiàn)場操作的在機(jī)檢測工件三維尺寸的視覺系統(tǒng)；周森[4]提出了基于集成分布式移動激光掃描技術(shù)的大空間動態(tài)坐標(biāo)檢測方法，從而實(shí)現(xiàn)工件多個大尺寸關(guān)鍵特征表面輪廓的自動快速同步采樣；盧燕等[5]采用X射線斷層掃描復(fù)合式三坐標(biāo)檢測系統(tǒng)和三維造型軟件對某型航空發(fā)動機(jī)燃油噴嘴展開三維尺寸檢測。

以上研究，可分為兩類：基于掃描設(shè)備的三維信息主動獲取法，獲取精度較高、三維信息全面，但速度較慢、成本高；基于相機(jī)的三維信息被動獲取法，獲取精度依賴對象特征，但拓展靈活、易維護(hù)。根據(jù)檢測對象以及現(xiàn)有生產(chǎn)線的實(shí)際情況，本文采用基于雙相機(jī)的視覺方法，對含有球面的金屬裝配體進(jìn)行三維尺寸檢測。該方法通過獲取金屬表面特征，利用不同的立體匹配方法求得相關(guān)位置的三維坐標(biāo)，最后獲得所需的裝配尺寸。

2 在線檢測平臺簡介

2.1 金屬裝配體

裝配體外形如圖1所示，待檢測的裝配體樣件主要分為外殼和內(nèi)芯。外殼呈圓柱體狀，上下表面水平，直徑約190 mm；內(nèi)芯外表由圓柱周面和上下兩端球面組成，直徑約110 mm；該裝配體屬于尺寸較大的金屬加工件。

圖1 裝配體外形

所需檢測的裝配尺寸是內(nèi)芯上方球面的球冠點(diǎn)到外殼上表面平臺的距離。

2.2 平臺硬件組成

依據(jù)本文的檢測原理，在實(shí)驗(yàn)室搭建了簡易試驗(yàn)平臺。平臺主要由相機(jī)模塊、生產(chǎn)線模塊和主控模塊組成。相機(jī)模塊有雙目相機(jī)以及相應(yīng)支架，相機(jī)分辨率為1 280×720；生產(chǎn)線模塊包括傳送臺裝置以及相應(yīng)的傳感器，用于模擬生產(chǎn)環(huán)境；主控模塊由工控機(jī)、顯示器等組成，用于處理圖像、提供良好的人機(jī)交互界面[6]。

3 雙目視覺檢測系統(tǒng)設(shè)計(jì)

雙目視覺技術(shù)的測量原理是基于三角測量法，或稱視差原理[7]。雙目視覺原理如圖2所示，三維空間中目標(biāo)點(diǎn)P在左右相機(jī)成像平面上對應(yīng)點(diǎn)分別為Pl和Pr。O1和O2分別是左右兩相機(jī)的投影中心（建立相機(jī)坐標(biāo)系，投影中心可看作坐標(biāo)原點(diǎn)）。若求得兩相機(jī)間的空間位置關(guān)系，結(jié)合Pl和Pr在兩相機(jī)成像平面的坐標(biāo)參數(shù)，再根據(jù)相似三角形原理，便可得到空間點(diǎn)P的三維坐標(biāo)。

圖2 雙目視覺原理圖

3.1 相機(jī)標(biāo)定

標(biāo)定總過程分為單相機(jī)標(biāo)定和雙相機(jī)標(biāo)定。首先，依據(jù)針孔成像模型[7]，通過已知目標(biāo)點(diǎn)的圖像坐標(biāo)和相應(yīng)的空間坐標(biāo)可求得相機(jī)模型參數(shù)。設(shè)空間任一點(diǎn)p的世界坐標(biāo)為（X，Y，Z），圖像坐標(biāo)為（u，v），兩者之間的關(guān)系式為：

式（1）中：s為比例因子；f為相機(jī)焦距；dX和dY為單位像素在X軸和Y軸的物理尺寸；（u0，v0）為成像平面的中心坐標(biāo)；R、T為相機(jī)坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換的旋轉(zhuǎn)矩陣和平移矩陣[7]。

雙目相機(jī)標(biāo)定是為了確定兩相機(jī)的空間位置關(guān)系。該關(guān)系可由一旋轉(zhuǎn)矩陣R和平移矩陣T表示。上文的單目相機(jī)標(biāo)定分別求得左右相機(jī)與世界坐標(biāo)系的轉(zhuǎn)換矩陣Rl、Rr和Tl、Tr。因此，若確定目標(biāo)點(diǎn)P在左右相機(jī)坐標(biāo)系的位置Pl和Pr，便可由轉(zhuǎn)換矩陣Rl、Rr和Tl、Tr表示兩相機(jī)間的空間位置關(guān)系，如式（2）（3）所示：

本文依據(jù)張正友標(biāo)定原理，利用黑白棋盤格標(biāo)定板，通過matlab工具箱完成相機(jī)標(biāo)定任務(wù)。該方法操作簡便，標(biāo)定結(jié)果穩(wěn)定。

3.2 圖像匹配

雙目視覺技術(shù)是基于三角測量法，通過獲取同一目標(biāo)點(diǎn)在兩圖像中相應(yīng)成像點(diǎn)坐標(biāo)來計(jì)算三維位置。圖像匹配則是研究兩圖像相關(guān)點(diǎn)的匹配計(jì)算問題。

3.2.1 極線約束

在圖像匹配前，為了縮短匹配時間，需要使用條件約束方法來減少不必要的搜索空間和候選匹配點(diǎn)數(shù)量。常見的約束方法有極線約束、唯一性約束、灰度相容性約束等。本文選用極線約束方法，該方法基于極線幾何，用來描述左右兩圖片位置。極線幾何示意圖如圖3所示。

圖3 極線幾何示意圖

圖3 中O1和O2分別為左右相機(jī)的投影中心，O1O2為基線。基線與兩個坐標(biāo)系之間的交點(diǎn)分別為E1和E2。P1和P2是空間點(diǎn)PW在兩相機(jī)的像點(diǎn)，O1、O2與PW所在平面稱為極平面。極平面與左右兩相機(jī)的圖像坐標(biāo)系的交線分別為P1E1和P2E2，即極線。極線約束是指已知PW在左圖像的對應(yīng)點(diǎn)P1，則PW在右圖像的位置必定在與P1對應(yīng)的極線上。通過極線約束，可以大大縮小圖像匹配的空間范圍，提高匹配效率。

3.2.2 立體匹配

兩圖像匹配的關(guān)鍵步驟為立體匹配。目前，依據(jù)選擇基元，立體匹配有基于灰度、基于特征和基于相位等匹配方法。依據(jù)匹配優(yōu)化算法，則可分為局部匹配、半全局匹配和全局匹配。常用的優(yōu)化算法有動態(tài)規(guī)劃、置性擴(kuò)展、圖像分割等。

本文采用基于特征的立體匹配方法。其做法是在兩圖像中提取出反映圖像結(jié)構(gòu)信息的一些特征，通過比較兩幅圖中各自的特征信息，匹配對應(yīng)的特征點(diǎn)。基于特征的立體匹配算法的關(guān)鍵在于特征點(diǎn)檢測算法和特征點(diǎn)匹配搜索算法。特征點(diǎn)的檢測算法常用的有Moravec、SUSAN、Harris以及SIFT等。特征的匹配搜索方法常用的有動態(tài)規(guī)劃以及圖割法等。基于特征的立體匹配算法魯棒性很高，抗干擾性很強(qiáng)。但是該方法的設(shè)計(jì)相對來說比較復(fù)雜，在紋理特征較少的情況下比較容易出現(xiàn)誤匹配或者匹配不到的情況。其處理流程如圖4所示。

圖4 立體匹配流程

3.3 裝配尺寸測量

通過雙相機(jī)標(biāo)定得到兩相機(jī)位置關(guān)系，再結(jié)合圖像匹配步驟，便可求得圖像中任一點(diǎn)的三維坐標(biāo)。通過幾何分析可知，待測量裝配尺寸是空間一點(diǎn)距離一平面的距離。關(guān)鍵在于求取平面的空間方程和目標(biāo)點(diǎn)的空間坐標(biāo)。

3.3.1 平面方程求解

由于待測量平面呈圓環(huán)狀，可通過邊緣提取、橢圓擬合獲得圓環(huán)的位置信息。相關(guān)過程如圖5所示，先經(jīng)過預(yù)處理，包括直方圖均勻化和高斯濾波；再經(jīng)過邊緣提取操作，主要采用Canny算子來進(jìn)行邊緣特征提取；最后通過橢圓擬合，獲取平面圓環(huán)位置。

圖5 平面方程獲取結(jié)果

3.3.2 頂點(diǎn)提取

根據(jù)金屬材料的光學(xué)反射特性，裝配體球冠點(diǎn)會呈現(xiàn)明顯的幾何特征，比如若干相交的光線。與平面方程提取過程類似，頂點(diǎn)提取可通過邊緣檢測和霍夫變換直線提取，再通過直線交點(diǎn)求得頂點(diǎn)位置。

4 結(jié)論

本文基于雙目視覺方法，主要研究了測量裝配體三維尺寸環(huán)節(jié)中的重要問題，包括相機(jī)標(biāo)定、圖像匹配和三維幾何計(jì)算等。利用機(jī)器視覺技術(shù)，解決了傳統(tǒng)裝配體人工測量效率低、精度差等問題。結(jié)合工控自動化思想，為生產(chǎn)線無人化改造提供了一定的參考價(jià)值。