基于雙目視覺的引磁片定位與測量研究

(1.聊城大學 物理科學與信息工程學院，山東 聊城 252059；2.聊城大學 機械與汽車工程學院，山東 聊城 252059)

0 引言

隨著工業(yè)4.0戰(zhàn)略風潮的興起，機器視覺被廣泛應(yīng)用到包裝機械、交通[1]、醫(yī)療[2-3]、工業(yè)生產(chǎn)[4]、電子制造等國民經(jīng)濟的多個領(lǐng)域[5]，成為提高生產(chǎn)的自動化程度和機器人智能程度的一種重要手段。機器視覺主要分為單目和多目兩大類視覺技術(shù)，在對目標進行定位、測量和重建等操作中，常常需要獲取目標的三維坐標，而單目視覺無法感知空間的三維信息；雖然基于結(jié)構(gòu)光、激光、RGB-D深度相機的主動測距方法能快速實現(xiàn)準確、無干預地三維定位及測量，但設(shè)備成本高，無法達到普及應(yīng)用[6]。另外，對于自動化生產(chǎn)中的大量重復性測量工作，人工視覺很難長時間保持精神集中的狀態(tài)，常出現(xiàn)視力疲勞、不適于危險工作環(huán)境、易損傷工件表面等問題，很難達到自動化生產(chǎn)的高精度要求。相較之下，基于非接觸式雙目立體視覺恢復三維信息的方法進行測量，該測量方式幾乎不需要人工參與，具有設(shè)備要求較低、連續(xù)性高、非接觸無損傷和對人眼無害等優(yōu)點，同時還可以使測量效率及測量的精度得到一定提升。因此非接觸式雙目立體視覺技術(shù)具有較高的研究價值，對自動化大批生產(chǎn)中工件的高精度測量具有重要研究意義。綜合考慮，非接觸式雙目立體視覺技術(shù)可以滿足超薄磁性車載手機支架鐵片的準確定位及高精度的測量要求。

HALCON是德國MVtec公司開發(fā)的一套完善的視覺算法包[7]。它包含3D匹配、運動檢測、三維重建、多目立體視覺和深度學習等高級算法，具有快速、精確、高效、穩(wěn)定的優(yōu)點，能夠?qū)崿F(xiàn)圖像拼接、邊緣檢測、攝像機標定、測量以及深度學習(語義分割)等。此軟件應(yīng)用領(lǐng)域廣泛，使用圖像處理的地方均可以使用HALCON，涵蓋衛(wèi)星遙感，生物醫(yī)學，監(jiān)控，到工業(yè)生產(chǎn)上的自動化測量。本文研究基于HALCON圖像處理平臺，利用雙目立體視覺技術(shù)實現(xiàn)對超薄工件引磁片的高精度定位與測量，并通過大量實驗驗證了方法的可行性。

1 雙目視覺系統(tǒng)

1.1 雙目視覺測量

雙目視覺三維測量是基于視差原理，通過建立兩個攝像機的圖像平面與三維空間中的目標物體之間的三角幾何模型，利用特征點匹配關(guān)系和三角法原理進行物體在三維空間上的信息獲取[8]。雙目立體視覺系統(tǒng)的結(jié)構(gòu)大體分兩種: 一種是軸線匯聚系統(tǒng)結(jié)構(gòu)，另一種是軸線平行系統(tǒng)結(jié)構(gòu)。

本實驗采用由兩組完全相同的相機和鏡頭組成的軸線平行系統(tǒng)結(jié)構(gòu)，選用的是維視數(shù)字圖像技術(shù)有限公司的M-1614MP2工業(yè)鏡頭和型號為MV-VS120 CCD彩色工業(yè)相機。在軸線平行的立體視覺系統(tǒng)中，左右兩個攝像機的焦距及其內(nèi)部參數(shù)均相同，這為尋找空間點在左右成像平面上投影點之間的匹配關(guān)系提供了很好的條件。在HALCON軟件HDevelop開發(fā)環(huán)境下，基于HALCON雙目立體視覺技術(shù)，對目標圖像的自動采集、系統(tǒng)標定與立體校正、特征點提取、立體匹配、立體重建等相結(jié)合的非接觸式三維信息重構(gòu)算法進行研究。具體算法流程如圖1所示。

圖1 軟件算法流程

1.2 系統(tǒng)標定與立體校正

在求取空間點的三維坐標之前，雙目視覺系統(tǒng)要解決的首要任務(wù)是確定攝像機參數(shù)，確定攝像機參數(shù)是通過校準雙目立體系統(tǒng)來實現(xiàn)的。系統(tǒng)標定是指建立攝相機模型,由己知標定板的特征點像素坐標和世界坐標來求解攝像機的內(nèi)外參數(shù)[9]。建立攝相機模型,即通過坐標系轉(zhuǎn)換、實驗及計算的方法求解攝像機的模型參數(shù)。攝像機投影[6]中的像素坐標系到世界坐標系的轉(zhuǎn)換過程為：

(1)

式中,uv為圖像像素坐標系；dx,dy為像素單元；f為畸變系數(shù)；OcXcYcZc為相機坐標系；OwXwYwZw為世界坐標系；R,t為旋轉(zhuǎn)、平移矩陣；M1,M2為相機內(nèi)、外部參數(shù)。雙目標定方法與單目標定的方法相同，立體系統(tǒng)標定完成后，左右攝像機的相對位置以及各自焦距等參數(shù)即可確定，不可以再次更改。若更改位置或改變焦距，需要重新進行標定[10]。準確的標定攝像機是完成雙目視覺定位與測量的前提。

實驗采用張正友標定法對系統(tǒng)進行標定，基于HALCON圖像處理平臺，通過左右攝像機在可視范圍內(nèi)同時采集標定板在不同空間位置下的標定板圖像，利用HALCON提供的強大功能算法動態(tài)庫來完成標定板圖像的處理過程。如圖2(a)所示，選用的標定板圖像模型是(30×30) mm的黑色圓型標志點標定板。通過平滑標定板圖像、亞像素閾值分割和亞像素邊緣提取方法，定位標定板位置并分割出標定板區(qū)域；結(jié)合邊緣提取、圓心確定等一系列操作，提取每個標定板區(qū)域中49個圓型標志點的圖像坐標。實驗采集20組不同姿態(tài)下的標定板圖像，通過20次標定取平均值的方法，確定兩個攝像機的內(nèi)、外參數(shù)以完成系統(tǒng)的標定，其中一組標定板處理過程如圖2(b)、(c)所示。

圖2 標定板圖像處理

完成系統(tǒng)標定后輸出用于校正立體圖像對的映射圖，將采集到的工件圖像對通過映射圖校正為標準的外極線幾何結(jié)構(gòu)，即立體校正。校正結(jié)果如圖3所示。

圖3 立體校正圖

2 特征點提取

2.1 工件引磁片的特征點提取

本文采用圖像金字塔分層搜索策略與帶縮放的亞像素精度模板匹配算法進行目標引磁片特征點的提取，對縮放、混亂背景、部分遮擋、光照不均勻和對比度全局反轉(zhuǎn)等情況具有很好地魯棒性，有效地提高了特征點提取的精度與速度。該算法在Sobel算子濾波得到邊緣點方向向量的基礎(chǔ)上定義相似性度量函數(shù)，同時結(jié)合圖像金字塔分層搜索策略，利用引磁片圖像邊緣的形狀信息進行模板匹配?；谛螤钅０迤ヅ渌惴ǖ南嗨菩远攘縮為:

(2)

其中：d表示模板圖像中點的梯度向量，e表示搜索圖像中對應(yīng)點的梯度向量。

歸一化后的相似度量s：

(3)

由于對模板中點的梯度向量進行了歸一化，相似度量s將返回一個小于等于1的值，當s=1時，說明模板與圖像一一對應(yīng)。為進一步提高算法的實時性，采用金字塔分層搜索策略可以減小搜索的位姿數(shù)量以及模板中點的數(shù)量以提高運算速度，在金字塔最底層得到的像素級定位精度，并利用最小二乘平差進行微調(diào)整，獲得亞像素級定位精度和尺度縮放精度。具體地，在每層圖像上與創(chuàng)建的模板圖像進行相同的圖像處理過程，包括圖像濾波、邊緣檢測和邊緣細化，完成從金字塔頂層向下的逐層搜索，直至當相似度量s大于預設(shè)的閾值，便可以實現(xiàn)中心特征點的提取，也就是匹配模板的中心坐標。同時，將邊緣提取到的亞像素邊緣通過Ramer[11]算法，對大量的亞像素邊緣坐標數(shù)據(jù)按照直線和圓弧等基本幾何元素進行分段以獲取邊緣特征點。工件的邊緣與中心特征點提取結(jié)果如圖4所示，十字標記處即為特征點。

圖4 特征點提取

2.2 鞍點提取

鞍點(Saddle point)指在一個方向上是極大值，在另一個方向上是極小值。輸入圖像是由x和y的二次多項式近似，在輸入圖像中，計算其每一像素點分別在x、y方向的二階偏導數(shù)，根據(jù)Hessian矩陣行列式[12]的特征值來檢測多項式的極值和鞍點，特征值對應(yīng)于灰度值表面的曲率。如果Hessian矩陣的兩個特征值的都是小于零的，則檢測該臨界點處是一個局部極大值，如果兩個特征值都是大于零的，則該點是局部最小值；如果它們具有不同的符號，則檢測該臨界點處是鞍點，也就是指在一個方向上是極大值，在另一個方向上是極小值。

基于Hessian矩陣行列式[12]提取的鞍點進行構(gòu)建向量，并運用構(gòu)建的向量定義一個新的非正交的坐標系平面，坐標系平面由向量P2P1和P2P0定義，在非正交的坐標系中計算并確定該平面上的法向量。鞍點提取與非正交坐標系的構(gòu)建如圖5所示。

3 目標定位

3.1 立體匹配

立體匹配是雙目視覺算法中最關(guān)鍵的一步，其主要工作是尋找不同觀察角度下的同一空間物體中的同一點在不同圖像中的對應(yīng)關(guān)系[13]。其搜索原理為:以左圖像中像素點PL為中心作為待匹配點，截取一個矩形子窗口；在右圖像中，按照從上到下從左到右的原則，根據(jù)相似性度量準則搜索與待匹配點PL灰度值最接近的窗口，并求出窗口的中心PR，該點即為最佳匹配點，進而可以獲取同一點在不同圖像中的對應(yīng)關(guān)系(見圖6)。

圖6 模板匹配原理圖

由于左右攝像機的視角不同，光照也會產(chǎn)生一定的差異，所以需要一種不隨光照變化而變化的方法，本文采用極線約束準則與NCC[7]相結(jié)合的灰度相關(guān)區(qū)域匹配算法快速完成特征點的立體匹配。歸一化互相關(guān)算法NCC：

(4)

3.2 三維重建與3D仿射變換

雙目立體視覺系統(tǒng)的三維重建是通過兩臺攝像機同時獲取場景的兩幅圖像，找到空間同一點在兩幅圖像中的匹配點對，結(jié)合雙目視覺成像原理可求出該點的三維坐標[14]。獲得的三維點云圖以及截取的部分三維點X、Y、Z坐標信息如圖7所示。

圖7 三維重建結(jié)果

4 實驗結(jié)果與分析

圖8 三維空間信息與測量結(jié)果圖

結(jié)果如表1所示，測得引磁片的實際半徑誤差小于0.1 mm，誤差率小于1%；實際厚度誤差小于0.1 mm，誤差率小于6%。結(jié)果表明，本文方法可有效獲取工件引磁片特征點的3D坐標，精度較高，驗證了一定條件下該方法具有較好的準確性和實時性。

表1 測量結(jié)果與實際結(jié)果比較

5 結(jié)語

本文研究了基于雙目視覺的工件引磁片定位與測量整個過程。在目標識別與特征點提取階段，通過雙目系統(tǒng)標定實現(xiàn)引磁片圖像對的立體矯正，利用圖像金字塔分層搜索策略結(jié)合帶有縮放的亞像素形狀模板匹配算法實現(xiàn)對工件引磁片區(qū)域的準確識別及特征點的提取，使得在目標區(qū)域識別速度及特征點提取精度方面有很大的提升。在目標定位階段，利用極線約束準則與NCC相結(jié)合的灰度相關(guān)性匹配算法完成特征點的立體匹配，降低了匹配錯誤和重復匹配的可能性，并解決了左右兩幅圖像中目標特征定位點不匹配的問題；進一步結(jié)合雙目視覺測距原理、3D坐標仿射轉(zhuǎn)換和幾何計算實現(xiàn)了對特征點的三維定位。在測量階段，通過空間曲線擬合公式取平均值的方法完成半徑的測量；利用提取的鞍點構(gòu)建非正交平面坐標系與法向量，通過點積運算實現(xiàn)超薄引磁片厚度的測量。實驗結(jié)果表明，基于HALCON的機器視覺技術(shù)，整個流程通過軟件算法達到亞像素精度，有效地實現(xiàn)了對超薄引磁片的準確定位及高精度尺寸測量，在一定程度上降低了硬件的使用成本，對自動化大批量生產(chǎn)的超薄磁性車載手機支架鐵片的高精度測量具有一定的現(xiàn)實意義。