基于雙目立體視覺的視差測(cè)量

沙春偉　 蔡鵬德

摘要：雙目立體視覺是計(jì)算機(jī)視覺研究最重要的組成部分之一。該文旨在構(gòu)建一個(gè)雙目視覺系統(tǒng)用來測(cè)量相機(jī)與物體的距離。通過雙目相機(jī)進(jìn)行圖像采集，使用Matlab Calibration Toolbox工具對(duì)相機(jī)標(biāo)定，然后進(jìn)行左右圖像校正，最后對(duì)校正的圖像進(jìn)行立體匹配，得到被測(cè)物體的視差圖及其物體的3D坐標(biāo)。實(shí)驗(yàn)表明：這個(gè)方案具有可行性，為下一步的實(shí)驗(yàn)研究提供了很大的幫助和基礎(chǔ)。

關(guān)鍵詞：雙目立體視覺;相機(jī)標(biāo)定;立體匹配;視差

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）07-0081-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：<H：＼飛翔打包文件＼電腦2022年第七期打包文件1＼8.05xs202207＼Image＼image13.png>

測(cè)量物體距離的方法有很多種。最常用的方法是激光測(cè)距儀、超聲波測(cè)量等[1]。這些方法具有良好的精度，但它也需要持續(xù)的人工協(xié)助，而且很難在工業(yè)自動(dòng)化、導(dǎo)航中應(yīng)用。通過使用立體視覺等被動(dòng)方法進(jìn)行距離測(cè)量，可以使其自動(dòng)檢測(cè)和確定物體距離以及物體幾何形狀。

1 雙目測(cè)距原理

雙目立體相機(jī)對(duì)物體表面進(jìn)行圖像采集，采集的左右視圖間有像素差，也就是視差，將得到的視差取出來，依據(jù)三角測(cè)量原理，可以獲得深度距離。圖1是視差測(cè)距原理圖，[p]是目標(biāo)物體上的某一個(gè)點(diǎn)，[OL]是左相機(jī)光心，[OR]是右相機(jī)光心， [p1]是點(diǎn)[p]在左相機(jī)的成像點(diǎn)，[pr]是在右相機(jī)的成像點(diǎn)，相機(jī)焦距為[f]，左右相機(jī)中心距離為[b]，深度距離就是[Z]。設(shè)[D]為[p1]和[pr]兩點(diǎn)之間的距離，那么[D=b-X1-X2]，

由三角形相似原理可知：[b-（Xl-Xr）b=Z-fZ=>Z=fb（Xl-Xr）]。公式中[Xl-Xr]就是要求取的視差，由視差就可以得到深度距離，[f]和[b]這些參數(shù)由相機(jī)標(biāo)定得到。

根據(jù)公式可以看出，深度距離（Depthdistance）和視差（Disparity）成反比。深度越大，視差越小;深度越大，相同視差范圍對(duì)應(yīng)的深度范圍閱讀大。一個(gè)視差對(duì)應(yīng)一個(gè)深度，一個(gè)深度對(duì)應(yīng)一個(gè)視差，視差（Disparity）和深度（Depth）是一一對(duì)應(yīng)的關(guān)系。

2 立體相機(jī)標(biāo)定

對(duì)一個(gè)三維世界中的一個(gè)物體來說，它的坐標(biāo)系應(yīng)該是在世界坐標(biāo)系下面。用一個(gè)相機(jī)拍攝物體，首先把世界坐標(biāo)系下的物體轉(zhuǎn)化到相機(jī)坐標(biāo)系下，然后根據(jù)相機(jī)坐標(biāo)系建立的原則，Z軸和相機(jī)的光軸是重合的，另外兩個(gè)軸從肉眼上是看不到的。世界坐標(biāo)系下的點(diǎn)可以通過剛體變換到相機(jī)坐標(biāo)系（對(duì)于相機(jī)來說，拍攝的物體PA，Z軸坐標(biāo)是Z在圖像坐標(biāo)系下、成像平面上的，根據(jù)圖2小孔成像原理，PA成像在Z等于f的平面上，投射到BP’）。

世界坐標(biāo)系到相機(jī)坐標(biāo)系是一個(gè)剛體變換，是由一個(gè)旋轉(zhuǎn)矩陣和一個(gè)平移矩陣唯一確定的剛體變換。

公式（1）是把世界坐標(biāo)系下的點(diǎn)轉(zhuǎn)換到相機(jī)坐標(biāo)系下的點(diǎn)。

公式（2）是把相機(jī)坐標(biāo)系下的點(diǎn)轉(zhuǎn)到圖像物理坐標(biāo)系下的點(diǎn)。

公式（3）是把圖像物理坐標(biāo)系下的點(diǎn)轉(zhuǎn)到圖像像素坐標(biāo)系下的點(diǎn)。

經(jīng)過上面的幾步變換，從世界坐標(biāo)系經(jīng)過三次矩陣連乘，就可以把世界坐標(biāo)系的一個(gè)3D的點(diǎn)變成一個(gè)像素坐標(biāo)系下一個(gè)2D的一個(gè)像素。這就是常說的像素模型，也就是小孔成像的一個(gè)模型。

相機(jī)是存在畸變的，比如說：魚眼鏡頭的畸變就比較嚴(yán)重。可以看到，正常的物體是橫平豎直，在相機(jī)里由于畸變的存在，可能會(huì)產(chǎn)生彎曲。有兩種彎曲情況，常用的畸變模型，也只考慮了徑向畸變和切向畸變。徑向畸變是一個(gè)以多項(xiàng)式的表達(dá)式解釋的，公式（4）為畸變表達(dá)式。

式中[K1，K2，K3]為需要標(biāo)定參數(shù)的切向畸變參數(shù);[P1，P2]為需要標(biāo)定參數(shù)的徑向畸變參數(shù)。

標(biāo)定需要拍攝很多張照片，每一張照片需要改變相機(jī)的姿態(tài)，每一次姿態(tài)對(duì)應(yīng)一組外態(tài)。筆者使用基于棋盤的張氏表達(dá)法，采集50組照片。筆者使用Matlab中的calibration toolbox工具進(jìn)行標(biāo)定，此工具操作簡單，而且精度不錯(cuò)。標(biāo)定結(jié)果如下：

式中Ml，Mr為左相機(jī)內(nèi)參和右相機(jī)內(nèi)參，Dl和Dr為左相機(jī)畸變參數(shù)和右相機(jī)畸變參數(shù)，R是相機(jī)旋轉(zhuǎn)矩陣，T是相機(jī)平移矩陣。

3 立體校正

立體校正是調(diào)整角度和相機(jī)之間的距離以獲得正面平行排列的過程。這個(gè)過程是任何立體成像算法中的關(guān)鍵步驟。此步驟的輸出是校正和雙目行對(duì)齊的圖像，圖3為立體校正。

4 立體匹配和測(cè)距

立體匹配是立體視覺從圖像生成3D點(diǎn)云的常規(guī)手段，有不同的方法[2]。例如，基于區(qū)域的立體匹配、基于特征的立體匹配和基于像素的立體匹配，每種方法都有各自的優(yōu)點(diǎn)和缺點(diǎn)。

在空間中的同一個(gè)點(diǎn)，同時(shí)在兩個(gè)視圖上成像，就形成了一個(gè)雙目立體在兩張視圖上成像的像素點(diǎn)叫作同名點(diǎn)對(duì)，同名點(diǎn)對(duì)代表空間當(dāng)中同一個(gè)點(diǎn)。立體匹配要解決的問題，就是要在圖像中尋找這些同名點(diǎn)對(duì)。根據(jù)同名點(diǎn)對(duì)數(shù)量的多少，可以分為稀疏立體匹配和稠密立體匹配。稀疏立體匹配就是尋找有限個(gè)同名點(diǎn)對(duì)，而稠密立體匹配就是盡可能把圖像中所有像素的同名點(diǎn)對(duì)都要尋找出來[3]。

不同匹配算法，效果差別很大。立體匹配算法主要步驟可以分為四種：匹配代價(jià)計(jì)算[3]（Match cost computation）;代價(jià)聚合[4]（Cost Aggregation）;視差計(jì)算（Disparity Computation）;視差優(yōu)化（Disparity Refinement）。對(duì)于匹配代價(jià)的計(jì)算一般使用圖像灰度信息進(jìn)行判斷，同時(shí)也有用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像塊間的相互運(yùn)算，它們對(duì)輸入左右視圖的圖像塊進(jìn)行權(quán)值共享的特征提取網(wǎng)絡(luò)，再把這兩個(gè)圖像塊的特征拼接在一起，再輸出它們之間的相似度。通過匹配代價(jià)計(jì)算后，尋找匹配代價(jià)最小的視差位置，確定當(dāng)前的視差。這種策略往往會(huì)受到圖像的影響，需要用代價(jià)聚合調(diào)整初始的匹配代價(jià)。經(jīng)過代價(jià)計(jì)算，能夠定位最小代價(jià)值。最小匹配的代價(jià)對(duì)應(yīng)的視差值即為最優(yōu)視差。WTA（贏家通吃）就是統(tǒng)計(jì)一個(gè)最小匹配代價(jià)值，然后把最小匹配的代價(jià)值所對(duì)應(yīng)的視差值當(dāng)作真值輸出。視差優(yōu)化就是指像素優(yōu)化，左右一致性檢查、小連通區(qū)域剔除、視差填充、弱紋理優(yōu)化、平滑濾波。左視圖匹配一個(gè)視差圖后，右視圖也匹配一個(gè)視差圖，這兩個(gè)視差圖一一對(duì)應(yīng)。比如左視圖像素P找到右視圖Q為同名點(diǎn)，右視圖像素Q也找到左視圖P為同名點(diǎn)，這兩個(gè)就對(duì)上通過了，如果兩個(gè)找到的不一致，就不通過。一致性檢查可以去除很多錯(cuò)誤，在應(yīng)用中必須要做。

本文選擇半全局匹配算法[5]SGM（Semi Global Matching），SGM算法結(jié)合了局部匹配算法和全局匹配算法的各個(gè)優(yōu)點(diǎn)，使立體匹配更加優(yōu)化。圖4是得到的視差圖，圖5是偽彩色視差圖，圖6是測(cè)距結(jié)果。

5 結(jié)論

本文介紹了一種雙目立體相機(jī)測(cè)距系統(tǒng)的方法，它結(jié)合了基于Matlab calibration toolbox工具的相機(jī)標(biāo)定和基于vs2019環(huán)境下的OpenCV進(jìn)行立體匹配。根據(jù)實(shí)驗(yàn)結(jié)果，SGM匹配算法對(duì)測(cè)距系統(tǒng)的實(shí)施具有一定的可塑性。

參考文獻(xiàn)：

[1] 郭攀，杜鴻.機(jī)器人雙目測(cè)距算法研究[J].無線互聯(lián)科技，2018，15（5）：99-101.

[2] Wei G Q，Brauer W，Hirzinger G.Intensity- and gradient-based stereo matching using hierarchical Gaussian basis functions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1143-1160.

[3] 耿英楠. 立體匹配技術(shù)的研究[D].吉林大學(xué)，2014.

[4] 閆利，王芮，劉華，陳長軍.基于改進(jìn)代價(jià)計(jì)算和自適應(yīng)引導(dǎo)濾波的立體匹配[J].光學(xué)學(xué)報(bào)，2018，38（11）：257-267.

[5] 寧曉斐. 雙目立體視覺中半全局立體匹配算法的研究[D].遼寧大學(xué)，2014.

【通聯(lián)編輯：唐一東】

收稿日期：2021-11-15

作者簡介：沙春偉（1997—），男，江蘇泰州人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺;蔡鵬德（1994—），男，甘肅武威人，碩士，研究方向?yàn)閳D像處理與深度學(xué)習(xí)。