基于共享坐標系的雙目立體匹配算法實現*

杜娟 邱海濤

特約論文

基于共享坐標系的雙目立體匹配算法實現*

杜娟1,2邱海濤1,2

（1.華南理工大學自動化科學與工程學院，廣東 廣州 510641 2.廣東省高端芯片智能封測裝備工程實驗室，廣東 廣州 510641）

在雙目視覺應用中，立體匹配是衡量整個視覺系統速度與精度的重要環節。提出一種基于共享坐標系的雙目立體匹配算法，分別在雙目立體匹配的左右2幅圖像上建立一個共享坐標系，并根據2個坐標系原點的位置關系計算出左右圖像的水平偏移量和垂直偏移量；特征點匹配時，根據水平偏移量和垂直偏移量可快速定位對應匹配點的位置；每個特征點根據其與周圍8個像素點之間的灰度值關系生成描述子，通過共享坐標系進行定位，再對定位區域利用描述子進行區域遍歷匹配。仿真結果表明：與具有較高匹配精度和匹配速度的ORB雙目匹配算法相比，本算法有更快的匹配速度和更高精度。

雙目視覺；雙目立體匹配；共享坐標系；特征點匹配

0 引言

隨著機器視覺技術的快速發展，越來越多的行業引入機器視覺設備來提高生產效率。雙目立體視覺技術是機器視覺領域的重要研究方向，而立體匹配技術在雙目測量中尤為關鍵。

目前，應用較多的立體匹配算法有SURF（Speed Up Robust Features），FLANN（Fast Library for Approximate Nearest Neighbors），SIFT（Scale Invariant Feature Transform）和ORB（Oriented Brief）等[1-2]。但這些算法很難做到匹配速度與精度之間的平衡。

為此，本文提出一種基于共享坐標系的雙目立體匹配算法[3]，利用共享坐標系進行特征點位置鎖定，從而快速實現特征點的匹配。

1 雙目相機標定與矯正

1.1 相機標定

在雙目立體匹配過程中，對雙目相機進行高精度標定是提高雙目匹配精度的保障。對雙目相機進行標定時，首先，左右相機分別采集一組包含各種姿態的標定板圖像集，并記錄左右相機的相對位置關系；然后，利用OpenCV或Matlab的相機標定工具箱得到相機的內參矩陣和畸變系數。相機標定圖像集如圖1所示。

1.2 相機矯正

利用雙目相機的內參矩陣和畸變系數對左右圖像進行水平矯正和旋轉矯正；利用雙目圖像的唯一性約束、相容性約束、連續性約束、極線約束和順序一致性約束等約束準則提高左右圖像的匹配精度。經過水平矯正和極線約束矯正后的雙目圖像如圖2所示。

圖2 水平矯正和極線約束矯正后的雙目圖像

由圖2可見：左右圖像上的特征點均位于同一條極線上。在進行特征點匹配時，可以將匹配范圍由全圖縮小至一條極線，從而大大降低計算量。

2 共享坐標系建立

2.1 提取圖像特征點

特征點檢測是機器視覺領域的一個重要研究方向。目前已有很多成熟的特征點檢測算法[4-7]，如，FAST角點檢測算法、Harris角點檢測算法等；也可以通過形態學或圖像灰度閾值處理方法提取圖像的特征點。

本文采用FAST角點檢測算法對圖像進行特征點檢測。FAST基本思想源于corner定義，即檢測候選點周圍像素點的像素值，如果候選點周圍鄰域內有足夠多的像素點與該候選點的灰度值差別夠大，則認為該候選點為一個角點。

FAST檢測角點過程：

3）非極大抑制，首先，計算角點的FAST得分，如式(1)所示，即12個連續像素點的像素值與點像素值差值的絕對值之和；然后，比較相鄰2個角點的，保留較大的角點。

式中，為與像素點P相鄰的第i個像素點；p為像素點P的像素值；為12個連續像素點像素值的均值。

利用FAST角點檢測算法對雙目圖像中的左圖進行檢測的效果如圖4所示。

圖4 FAST檢測算法對左圖特征點檢測效果圖

由圖4可知，眼睛位置的特征點較為密集，其他位置的特征點分布均比較稀疏。從左圖中的所有特征點中選取一個最優的特征點作為左圖中的共享坐標系的原點，再利用上述的極線約束在右圖中匹配對應的共享坐標系原點。

2.2 選擇最優匹配特征點作為共享坐標系原點

首先，利用FAST角點檢測算法檢測雙目圖像中左圖像上的所有特征點（不需要對右圖進行所有特征點的檢測）；然后，對左圖像上的所有特征點領域像素進行顯著性檢驗，即對特征點所在位置3×3范圍內的像素點進行均方差計算。為減少計算量，設定特征點顯著性均方差大于設定閾值即立刻選定為共享坐標系原點，如式(2)所示，從而停止對特征點的顯著性檢驗。

特征點進行匹配時，需要用一個描述算子對左右圖像的特征點進行描述，再根據描述算子的匹配程度進行特征點匹配。

1）確定特征描述子：根據立體匹配需求，特征點的描述信息越詳細越有利于特征點精確匹配。但描述詳細意味著需要巨大的計算量。為達到特征點快速、精確的匹配效果，以每個特征點像素周圍8個像素點的灰度值與特征點灰度的關系作為描述。將周圍8個像素點與特征點的灰度關系簡化為?1，0，1三種關系。特征描述子的閾值為

圖5 特征點描述子示意圖

2）尋找共享坐標系原點：利用特征描述子可以實現特征點間的匹配。對右圖像與左圖像原點同極線上的所有像素點進行遍歷匹配。計算左右圖像中匹配的2個特征點描述子間的差異程度并將遍歷所得的差異程度最小的那個像素點作為最優匹配點。

式(5)與式(4)的不同處在于，不同步，從而實現匹配的旋轉不變性。

2.3 共享坐標系建立

匹配得到一對最優的特征點后，以這對特征點作為左右圖像的原點建立共享坐標系，如圖6所示。

圖6 共享坐標系示意圖

共享坐標系建立后，計算左右圖像坐標的偏移關系。以左圖像為基準，設左圖原點坐標為1(1,1)，右圖原點坐標為2(2,2)。雙目圖像間的水平偏移量和垂直偏移量為

3 特征點匹配

根據坐標系偏移量進行特征點匹配：將左圖中的每一個特征點T1(x1,y1)加上坐標偏移量，鎖定其在右圖中對應的匹配特征點T2(x2,y2)。

由于圖像畸變很難完全消除，用坐標系偏移量進行特征點匹配時，根據偏移量計算得到的匹配點與最佳匹配特征點之間會出現位置偏差。為消除這個偏差，由偏移量定位對應匹配特征點位置后，再對該鎖定像素點進行局部區域遍歷尋找最優匹配特征點。根據雙目圖像的矯正效果可以選擇3×3或5×5的矩形區域作為尋優的目標區域[8]。

4 仿真實驗

本實驗采用Windows10操作系統；軟件平臺為Visual Studio 2019；處理器AMD Ryzen 3700X 8-Core Processor 3.60 GHz；內存8 GB。

在雙目圖像中通過極線約束提取一對最優匹配特征點分別作為左右圖像的原點建立雙目圖像的共享坐標系。通過共享坐標系實現立體匹配時特征點的直接位置鎖定，提高了算法的匹配速度。匹配效果如圖7所示。

圖7 共享坐標系特征點匹配效果圖

ORB算法特征點匹配效果圖如圖8所示。將本文共享坐標系算法與ORB算法進行對比，結果如表1所示。

圖8　ORB算法特征點匹配效果圖

表1 ORB算法與共享坐標系算法數據比較

ORB算法進行雙目立體匹配后，完成435對特征點匹配；共享坐標系完成308對特征點匹配。圖8比圖7多了一些傾斜的直線，雙目圖像相應的特征點對應在同一水平線上，所以這些傾斜匹配特征點對是誤匹配的結果，對應表1中ORB算法的誤匹配特征點對數。共享坐標系算法是將特征點限制在同一極線上進行匹配，不會出現匹配的特征點對在不同水平線上的錯誤，因此共享坐標系算法的誤匹配特征點對數為0。ORB算法完成立體匹配耗時1947 ms；共享坐標系算法完成立體匹配耗時1013 ms。

5 結論

通過在雙目圖像上建立共享坐標系，從而在雙目特征點匹配過程中實現直接鎖定匹配點位置匹配方式，相對于全局匹配尋優的雙目立體匹配算法，提高了匹配速度；同時將匹配點位置進行限制，提高了匹配精度。只有左右圖像的原點匹配精度高才能保障后續立體匹配的精度，當然鎖定匹配點位置后的區域尋優也可以彌補算法對共享坐標系原點精度的依賴。

[1] 原淵.基于ORB特征描述子與隨機森林的條碼缺陷識別算法[J].國外電子測量技術,2019,38(7):61-64.

[2] 張米令.室內移動機器人RGB-D SLAM算法研究[D].哈爾濱:哈爾濱工業大學,2018.

[3] RIDEAUX Reuben, WELCHMAN Andrew E. Contextual effects on binocular matching are evident in primary visual cortex[J]. Vision research,2019,159:76-85.

[4] 劉炳銳.基于點線特征的雙目視覺同時定位與地圖構建算法研究[D].成都:電子科技大學,2019.

[5] 王敏行.一種雙目視覺的精準立體匹配算法[J].科學技術創新,2019(13):7-9.

[6] 白明,莊嚴,王偉.雙目立體匹配算法的研究與進展[J].控制與決策,2008(7):721-729.

[7] 劉小群.基于雙目立體視覺的立體匹配算法研究[D].長沙:中南大學,2011.

[8] WANG Di, LIU Hua, CHENG Xiang. A miniature binocular endoscope with local feature matching and stereo matching for 3D measurement and 3D reconstruction[J]. Sensors (Basel, Switzerland),2018,18(7):2243.

Realization of Binocular Stereo Matching Algorithm Based on Shared Coordinate System

Du Juan1,2Qiu Haitao1,2

(1. School of Automation Science and Control Engineering, South China University of Technology, Guangzhou 510641, China 2. Guangdong Provincial Engineering Laboratory for Advanced Chip Intelligent Packaging Equipment, South China University of Technology, Guangzhou 510641, China)

In the application of binocular vision, stereo matching is an important part to measure the speed and accuracy of the whole vision system. A binocular stereo matching algorithm based on shared coordinate system is proposed. A shared coordinate system is established on the left and right images of binocular stereo matching, and the horizontal and vertical offsets of the left and right images are calculated according to the position relationship of the origin of the two coordinate systems. When matching feature points, the positions of the corresponding matching points can be quickly located according to the horizontal and vertical offsets. Each feature point generates descriptors according to the gray value relationship between it and the surrounding 8 pixel points. It is located by sharing coordinate system and then the descriptors are used to traverse and match the location area. Compared with ORB binocular matching algorithms, simulation results show that this algorithm has faster matching speed and higher accuracy.

binocular vision; binocular stereo matching; shared coordinate system; feature point matching

廣州市科技計劃項目(201707010061)；華南理工大學中央高校業務費項目（2018KZ14）；廣東省科技計劃項目國際科技合作領域（2019A050510007）。

杜娟，女，1975年生，工學博士，副教授，主要研究方向：機器視覺、圖像處理、智能控制。E-mail: dujuan@scut.edu.cn

邱海濤，男，1994年生，工學碩士，主要研究方向：機器視覺、圖像處理、雙目視覺、視覺檢測。E-mail: 1207831325@qq.com

TP311.1

A

1674-2605(2020)05-0002-05

10.3969/j.issn.1674-2605.2020.05.002