基于雙目立體視覺的工件尺寸測量研究

房家軍，郁漢琪，花慧敏

(南京工程學院，江蘇 南京 211167)

1 引言

在科學技術不斷發展的背景下，很多制造行業的新技術被研發出來，并且在行業發展中起到非常重要的作用。制造工業的發展帶動了工件生產數量的增長，在這樣的情況下，工廠對工件尺寸測量有了更高的要求。在需要重復性工作的情況下，人工視覺在長時間工作中保持集中狀態變得困難，這導致諸如測量效率差，精度低和損壞工作面等問題，這些問題如果不能夠及時得到解決，那么就會影響到最終工件生產的質量和使用壽命。如果使用手工測量的方式，不僅需要消耗大量的時間、人力，而且測量精度也無法得到保障。利用雙目立體相機能夠快速有效的捕捉到測量對象的特征參數，完成非接觸式工件尺寸的高效測量，因此得到了大多數制造公司的歡迎，在國內外工件制造業中得到很好的推廣和應用。

本文在研究的過程中，主要采用的是Halcon提出的雙目視覺測量方法，完成了對工件尺寸的無接觸識別、定位和測量，在此基礎上搭建轉換模型，通過幾何方法來達到精準測量的目的。在具體操作落實的過程中，可以利用雙目相機來對需要處理的圖像進行最初處理，在此過程中可以獲得圖形的三維坐標，通過這些坐標來進行幾何計算，進而實現無接觸高效率的工件尺寸測量。

2 雙目視覺測量系統工作原理介紹

雙目視覺測量系統的工作原理就是要從兩個不同位置的空間點觀察同一物體，來獲得在不同視角下的圖像，進而由三角幾何方法來獲取圖像像素間的視差，求得物體的空間信息。

三維空間的基礎組成部分是空間點，其三維立體結構先由點組成線，然后由線組成面，最后再由面組成。因此，空間點的坐標測量是雙目立體視覺研究的最基本內容[1]。

圖1主要反映的是雙目視覺測量模型構成情況，在等待測量的目標兩側放置兩臺不同的攝像機，通過兩臺攝像機來對相同的目標進行拍攝，這樣來完成對目標的識別、定位和測量。首先就是要在空間中隨意選擇一點，設置為P(X，Y，Z)，在此左右側找到相應的投影坐標為Pl(ul，vl)、Pr(ur，vr)。圖中的Ol、Or、f指代的是攝像機焦距，而相機光軸方向則為n。而P和對應的投影坐標聯系起來，就能夠獲取P點的三維空間坐標參數值。

圖1 雙目立體視覺測量模型構成

在雙目立體視覺測量模型中，被測目標會直接影響到攝像機位置的擺放，所以，需要借助世界坐標系來完成攝像機定位。想要實現世界坐標系和攝像機坐標系間的轉換，可以把R和T兩大矩陣結合起來，其中R是旋轉矩陣，而T則是平移矩陣。

在明確兩個坐標系之間存在的轉換關系之后，就可以對圖像、攝像機以及世界三大坐標系間的關系進行確定。并且在此基礎上，能夠進一步計算得出圖像坐標系中P所對應的世界坐標系參數值。而在整個過程中，涉及到的計算公式如下。

=M1M2XM=MXM

(1)

在式(1)中，u與v主要指代的是數字圖像中的像素坐標，接著就是要通過坐標系之間的轉換關系，把等待測量的XM，YM，ZM三個點通過旋轉和平移后，計算得出相機坐標系中的參數值。因為相機成像原理主要是投影成像原理，因此，可以借助相機內部參數來獲取圖像坐標系。M1主要指代的是相機內部參數矩陣，而M2主要指代的是外參矩陣。

因為在P兩側對應的有兩個投影點，分別用M1和M2表示左右攝像機的投影矩陣[2]。則有如下兩個公式：

(2)

(3)

其中，(ul，vl，1)和(ur，vr，1)分別表示左右兩側投影點Pl、Pr在投影平面上的齊次坐標。(XM，YM，ZM，1)主要指代的是空間P世界坐標系中所對應的齊次坐標。通過上述公式的整合運算，那么就可以把Zcl和Zcr兩項去掉，就可以計算得出相應的線性方程，方程主要對應的3個不同的坐標值，分別是XM，YM，ZM，具體方程為：

(4)

(5)

聯立以上兩個方程組便可得到待測點P在世界坐標系的坐標(XM，YM，ZM)。 雙目視覺測量系統主要過程如圖2所示。

3 雙目系統標定及立體校正

3.1 攝像機標定介紹

相機標定主要指代的是相機圖像自身的像素坐標和空間三維坐標存在的關系，因為需要在測量目標的兩側放置兩個不同的攝像機，所以可以利用左右攝像機模型，以此來標定特征點圖像坐標，并且計算得出相機內外參數。攝像機內部參數涉及到畸變系數、焦距等，而旋轉和平移參數能夠反映出相機的外參數。

圖2 軟件算法流程

在具體進行雙目系統標定的過程中，需要使用到標定板，本文在實驗中主要采用的標定板的長和寬各為30 mm，平面標定模板的圖像陣列是橫縱各七位，詳情如圖3(a)。在具體操作的過程中，需要借助到先進的處理軟件Halcon，在此軟件中，可以使用gen_caltab()功能來轉換為標定描述文件，同時完成兩個攝像機初始內參數的設置。接著就是要打開攝像機來獲取拍攝目標的位置圖片，在此步驟開展的過程中，需要注意確保標定板都能夠在拍攝圖像范圍內。之后就是要通過軟件的find_caltab()功能來確定標定板實際所處區域，借助find_marks_and_pose()功能來進一步處理標定板，詳情如圖3(b)、(c)。通過算子來對獲取標定板的具體圖像坐標，并且明確標定板和攝像機兩者間的位置關系。最后就是要借助binocular_calibration()函數來完成雙目標定，進而獲取相機內外參數，找到兩個攝像機的位置[3]。

3.2 立體校正分析

通過雙目標定能夠大致確定兩個攝像機之間存在的位置關系，并且能夠計算得出相機的內參數，完成之后就需要借助軟件中的gen_binocular_rectification_map功能來對兩個攝像機內外參數進行校正，在校正的過程中，會有相應的校正映射圖，通過圖形的對比計算來獲取校正后的內外參數。最后就是要借助map_image()函數來把收集到的隱射圖像轉換為幾何結構，表1主要反映的是校正前后內外參數的變化情況。

通過立體校正后可以發現，前后兩幅圖像的主點列坐標是保持一致的，意味著從水平向上看，外極限處于水平狀態。通過表1中的參數數據可以得知，校正后右圖像的X軸方向有一定的移動，意味著右圖像和左圖像之間有4.06542 cm的距離差，而其他方向并沒有發生旋轉和平移。由此可以得知，標定所得到的結果和攝像機實際所擺放位置沒有差別，也意味著標定得出的參數值有較高的精確度。

圖3 標定板構成

表1 校正前后攝像機內外參數統計

4 圖像采集和處理

4.1 圖像獲取介紹

本文涉及到的測量系統中，選擇測量對象的基本特征：工件為金屬材料，表面涂有漆且光滑，在光照情況下有少許反光，工件結構為對稱結構。

測量方法是實時采集，把攝像機和計算機連接起來，設置好符合要求的參數值。使用圖像采集助手(Image Acquisition)檢測到相機后，再使用專業性的軟件Halcon來進一步的進行處理，得到的采集圖像詳情為圖4(a)。

4.2 圖像預處理分析

通過左右兩側的攝像機來采集目標的左右不同方向的圖像，但是在具體操作的過程中受到各種不同因素的影響，從而使得相機拍攝的圖像質量也受到影響，導致無法精確的把邊緣和輪廓區分開來。所以，想要得到精準的處理結果，那么就需要對原始圖像進行預處理，這個步驟非常重要，會直接影響到最終的處理結果。

在具體落實圖像預處理步驟的過程中，需要把圖像校正成為標準幾何結構，接著就是要對圖像進行灰度化處理，借助軟件中的median_image()算子來完成降噪操作，確保圖像的邊緣細節能夠得到有效保留，這對于后續圖像特征信息的提取非常有利。下圖4(b)主要反映的是圖像校正結果。接著就是要對工件等待測量的區域進行識別并確定，利用connection()算子來進行連通域化處理，這對于單個區域操作比較有利[4]。最后調用select_shape()算子進行形狀選擇，打開特征直方圖，由面積、行、列等特征，提取出目標物體的區域，結果如圖4(c)所示。

5 特征點提取分析

獲取到目標左右拍攝圖像后，需要對兩個圖像特征進行提取，接著就是要利用立體匹配來獲取物體的三維信息。需要明確的是，如果特征提取精確度不高，那么就會對最終工件尺寸的測量結果造成不利影響。邊緣銳角和輪廓是測量工件尺寸必不可少的信息，如果少了這些重要信息，那么最終測量結果的精確度就會大大降低[5]。

5.1 邊緣檢測分析

本文在提取邊緣輪廓的過程中，主要利用canny算子和亞像素邊緣檢測方式相結合的方法來進行操作。使用canny算子的優勢在于能夠對一些不符合實情的偽邊緣信息進行剔除，盡可能多的保留真實的邊緣特征信息，這對于目標定位非常有利。

圖4 預處理后的圖像

亞像素是一種物理量，主要存在兩個單位像素間，此像素計算量不大，并且能夠在一定程度上提高精度，可以通過計算亞像素來完成精確度較高的在線檢測工作。首先就是要利用canny算子來獲取邊緣點位置和輪廓信息，完成粗定位，接著就是要進一步確定邊緣點，明確主要的梯度方向，在獲取亞像素精度邊緣的過程中，可以使用雙線性插值來輔助操作。最后，就是要對邊緣進行細化處理[6]。canny亞像素邊緣檢測如圖5(a)所示。

5.2 特征點提取

在提取特征點的之前，需要首先找到亞像素的邊緣，接著就以亞像素邊緣處作為基點，進行等距取點，得到的就是特征點。利用intersection_11()算子獲取兩直線的相交點，接著就是利用distance_ps()算子來獲取距離參數值，主要測量計算的是直線到感興區域之間的距離。兩線相交點在低于預設閾值的情況下，成為特征點；如果不符合要求，那么就進一步尋找，直到滿足要求[7]。圖5(b)主要反映的是工件特征點獲取情況。

(a)canny亞像素邊緣檢測

(b)獲取左圖像特征點

圖5 特征點獲取示意

6 立體匹配分析

所謂的立體匹配就是要在三維空間中找到某個目標物體在不同方位位置的關系。對獲取到的圖像進行立體校正后，能夠基于極限約束原則來降維搜索。因為存在著一定的誤差，那么就需要在符合像素要求的候選點中專門性的選擇3個候選匹配點。因為空間中點的視差值越小，其深度就越大，因此，需要找到空間點的視差值的最大和最小值，接著就是需要在最大最小區域內進行搜索。d∈[dmin，dmax]可由圖像中產生的最大和最小距離計算出dmin和dmax。

視差搜索區域此時的長度表達式為：L=dmax-dmin+1，這種方法很大程度上縮減了搜索范圍，大大減少了時間，匹配成功的可能性也有所提高[8]。圖6主要反映的是搜索原理示意圖。

圖6 特征原理示意

首先就是要以左側圖像的特征點為中心，利用gen_rectangle1()算子來設定鄰域窗口，尺寸大小是(m，n)。接著就是要借助recduce_domain()算子來對區域進行轉化處理，使其轉化為特征點模板圖像，圖7(a)中矩形框就是所謂的模板。接著就需要利用軟件，在外極線上來確定匹配點的搜索區域，利用recduce_domain()算子來對這個區域進行轉化，使其變成等待搜索區域，這樣操作的好處就是能夠把原有的搜索范圍大大縮小。最后使用find_ncc_model()算子來搜索符合要求的匹配點。當NCC值的相似度大于0.95時，則該點作為匹配點。結果如圖7(c)所示。

圖7 立體匹配操作流程

7 雙目立體測量分析

通過(4)和(5)兩個公式可以得知，想要獲取空間點的三維坐標數值，就需要確定空間點在左右兩個圖像中的坐標值，除此之外，還需要了解左右兩個攝像機的內外參數。然而這些參數值要在完成相機標定和立體匹配成功后才能得到。最后采用上述方法，由disparity_to_point_3d()算子來得到特征點相應的三維坐標值，圖8主要反映的是三維點云圖所構成的目標整體輪廓圖形[9]。

圖8 三維點云

基于Halcon計算工件三維點云的外包圍矩形的代碼實現如下：

get_domain (X, Domain)

get_region_points (Domain, Rows, Columns)

get_grayval (X, Rows, Columns, GrayvalX)

get_grayval (Y, Rows, Columns, GrayvalY)

get_grayval (Z, Rows, Columns, GrayvalZ)

dev_clear_window ()

gen_object_model_3d_from_points (GrayvalX, GrayvalY, GrayvalZ, ObjectModel3D)

smallest_bounding_box_object_model_3d(ObjectModel3D,'oriented',Pose,Length1, Length2, Length3)

gen_box_object_model_3d (Pose, Length1, Length2, Length3, ObjectModel3D1)

dev_get_window (WindowHandle)

visualize_object_model_3d(WindowHandle,[ObjectModel3D,ObjectModel3D1],[],[],['alpha_1'], [0.5], [], [], [], PoseOut)

利用上述代碼找出工件三維點云的外包圍矩形，并計算工件三維尺寸。最后就是要對比測量值和實際值，詳情對比結果如表2。

表2 工件尺寸測量值和實際值的對比結果統計

通過對比分析工件尺寸測量值和實際值可以得知，兩者間的誤差基本上都控制在合理范圍內，由此可以得知，本文所使用的雙目視覺系統有著較好的應用效果，測量誤差基本控制在±0.3 mm之內，準確性良好。

8 結論

想要獲取更高的工件尺寸測量結果，那么就需要確保測量系統的穩定性、實時性。本文在對工件尺寸進行測量的時候，主要采用的視覺軟件Halcon有著非常良好的穩定性，并且測量結果的精確度也較高，能夠滿足大批量工件尺寸測量的需求。本次設計的系統使得工件生產效率得到一定程度的提升，并且使得勞動力成本得到合理有效的控制。整個系統節能效果非常好，使用非常簡單方便，能夠大范圍地普及應用，體現出很大的市場價值和應用前景。