基于雙目視覺的高精度三維重建技術(shù)

蔡桂航 陳強 吳林鋒

摘 ?要：通過對雙目視覺原理及亞像素插值技術(shù)的深入分析，研究如何在雙目視覺圖像的基礎(chǔ)上實現(xiàn)場景的高精度3D重建。實驗以Intel RealSense D435相機作為采集工具，完成攝像機標定和圖像預處理，相機拍攝的圖像為本次研究提供了較為清晰的數(shù)據(jù)展現(xiàn)，利用OpenCV和SIFT算法完成立體匹配，獲取點云圖。從實驗結(jié)果來看，該技術(shù)能夠較好地實現(xiàn)雙目視覺條件下的3D重建。

關(guān)鍵詞：三維重建;點云圖;OpenCV;SIFT算法

中圖分類號：TP391.4 ? ? ?文獻標識碼：A文章編號：2096-4706（2021）21-0094-04

Abstract： Through the in-depth analysis of binocular vision principle and sub-pixel interpolation technology， this paper studies how to realize high-precision 3D reconstruction of scene based on binocular vision image. The experiment takes Intel RealSense D435 camera as the acquisition tool， completes camera calibration and image preprocessing， the images taken by the camera provide a clearer data display for this study， uses OpenCV and SIFT algorithm to complete stereo matching and obtain point cloud map. The experimental results show this technology can better realize 3D reconstruction under the condition of binocular vision.?

Keywords： 3D reconstruction; point cloud map; OpenCV; SIFT algorithm

0 ?引 ?言

20世紀70年代，神經(jīng)系統(tǒng)學家Marr將神經(jīng)心理學與人工智能的知識相結(jié)合，提出了具有跨時代意義的“計算機視覺理論”，自此計算機視覺發(fā)展成一門獨立學科。其中，基于雙目視覺的三維重建技術(shù)是計算機視覺的一個重要內(nèi)容。三維重建的主要任務(wù)是針對從攝像機獲取的二維圖像，利用像差獲取圖像的深度信息，從而恢復三維物體的表面形狀。此領(lǐng)域的研究者們提出了各種立體特征匹配的算法和重建算法。目前，計算機視覺已經(jīng)廣泛應用于工業(yè)生產(chǎn)和人們的日常生活之中，其中包括自動駕駛、機器人、物體自動識別、三維測量等多個領(lǐng)域。

1 ?技術(shù)原理

1.1 ?相機標定

相機標定是指建立相機圖像像素位置與場景點位置之間的關(guān)系，由于攝像機的坐標與世界坐標和圖像坐標不一致，并且攝像機本身會造成圖像失真，因此有必要校準攝像機系統(tǒng)。在攝像機標定過程中創(chuàng)建攝像機顯示的幾何模型，以確定空間位置參數(shù)與相應點坐標之間的關(guān)系。該幾何模型的相關(guān)參數(shù)包括內(nèi)部參數(shù)和外部參數(shù)，與所使用的相機有關(guān)，一般簡稱為相機參數(shù)。攝像機標定可以測量出相機參數(shù)。根據(jù)攝像機圖像處理關(guān)系，可以獲得成像坐標系與世界坐標系之間的關(guān)聯(lián)公式為：

攝像機校準后，應使用校準表獲取每個校準圖像的角度（或亞像素角度）信息，繪制發(fā)現(xiàn)的內(nèi)部角度，確定校準圖像映射之間的連接，并獲取攝像機的內(nèi)部和外部參數(shù)。在后續(xù)的圖像預處理中，可以利用相機的內(nèi)參和外參系數(shù)對相機拍攝的圖像進行矯正，以減小圖像立體匹配和視差計算之間的誤差。在后續(xù)的三維重建中，只有在得知兩臺相機相對位置關(guān)系的情況下，才能夠進行距離的計算。

1.2 ?圖像畸變

從理論上來說，雙目相機在拍攝完圖像后，在成像時，一條直線的投影應該也是一條直線。然而，在實際的透鏡成像過程中，透鏡會由于制造精度及組裝工藝的偏差而發(fā)生畸變，導致拍攝圖像的失真。就好比光從空氣射入水中，由于水質(zhì)的不同而使光的路徑產(chǎn)生偏折。距離圖像中心越遠的部分，圖像畸變程度越大。通常，畸變分為徑向畸變和切向畸變，如圖1所示。

其中，dl為徑向失真;dr為切向失真。

在只考慮因透鏡工藝產(chǎn)生的圖像畸變時，基于畸變模型，像素與畸變像素在坐標軸上的位置關(guān)系由以下公式表示：

圖像發(fā)生徑向畸變時會存在一個中心點，沿著該中心點徑向產(chǎn)生的圖像像素會引起位置的變化，在成像時圖像會發(fā)生一定程度的變化。徑向畸變是透鏡方面的因素造成的，圖像成像時所發(fā)生的畸變大多為徑向畸變，其對圖像成像后的結(jié)果往往會造成較大的影響。徑向畸變不僅會影響圖像的視覺效果，也不利于后續(xù)工作中對圖像的進一步處理。圖像徑向畸變一般分為兩種，枕型畸變和桶型畸變，圖像發(fā)生徑向畸變時的畸變模型由以下公式表示：

圖像切向畸變在攝像機鏡頭與其所拍攝圖像的平面不完全平行時就會發(fā)生。切向畸變包括離心畸變和薄透鏡畸變等。其中，薄透鏡畸變是由透鏡傾斜引發(fā)的，一般發(fā)生在透鏡組內(nèi)。其畸變模型可以表示為：

可以推導出理想坐標與實際坐標的關(guān)系為：

至此，相機標定的第二個目的就是獲得相機的畸變參數(shù)（如上式中的k1、k2、k3、p1、p2等），進而對拍攝的圖片進行畸變處理，降低乃至消除畸變對圖像所產(chǎn)生的影響，以方便后續(xù)的立體匹配工作。

1.3 ? 雙目視覺基本原理

雙目視覺的靈感來源于人類的雙眼，人類的視覺不僅可以分辨出外形、顏色等特征，還可以分辨出深度特征，原因是人有雙目，通過雙目看到不同圖像之間的差別，分辨出該物體位于人的前面還是后面，也就是物體的深度信息。與人眼一樣，雙目視覺技術(shù)可以實現(xiàn)目標物的三維重建，使用兩個攝像機同時拍攝一個物體，通過三角測量原理，計算出圖像像素之間的位置偏差，從兩個攝像機的圖像中重現(xiàn)三維世界坐標中的深度信息。舉例來說，智能汽車可以通過對兩幅圖像視差的計算，直接對前方的景物（攝像機所能拍攝到的范圍內(nèi)）進行距離測量，對于該汽車而言，無須判斷前方出現(xiàn)的是什么類型的障礙物。因此無論任何類型的障礙物，智能汽車都能根據(jù)距離信息的變化，進行必要的預警或制動，輔助駕駛員駕駛。雙目立體視覺原理如圖2所示，其中，Ol、Or分別為左、右攝像機的光心;P為物體上的一個目標點;Pl、Pr為目標點在左右攝像機圖像平面內(nèi)的像點。三維重建的本質(zhì)是利用視場的幾何關(guān)系計算視覺平面的三維坐標。

根據(jù)攝像機坐標系與圖像坐標系的幾何關(guān)系可以得到：

其中，X和Y為圖像空間坐標系中的坐標;Z為圖像深度的坐標;?為相機焦距，d為左右相機圖像的像差（視差）;B為左右攝像頭之間的光學中心。

從上面的公式可以看出，若要計算深度坐標P，必須在左右攝像機上獲得像差。

1.4 ?SIFT立體匹配算法

立體匹配是將雙目相機中左右兩張圖像上的特征點進行匹配，尋找邊緣、點、線等特征之間的相似度，當相似度滿足所設(shè)置的閾值時，即認為是特征點。哥倫比亞大學計算機科學系教授David Lowe于1999年提出了尺度不變特征轉(zhuǎn)換算法，簡稱為SIFT算法;David Lowe于2004年完善了該算法。隨著計算機視覺技術(shù)的不斷成熟，時至今日，SIFT算法已廣泛應用于計算機視覺領(lǐng)域的諸多方面，如圖像追蹤、圖像識別等關(guān)于圖像處理的方向，都可以運用SIFT算法進行特征點篩選。SIFT（Scale-invariant feature transform）是一種應用于計算機視覺的算法，用來偵測并描述影像中的局部特征。在OpenCV中有數(shù)十種立體匹配算法，其中比較常用的有SIFT、SGBM、SURF等，本次采用的是SIFT立體匹配算法，相較于其他立體匹配算法，SIFT算法具有良好的特征點穩(wěn)定性和方向不變性，能夠適應尺度的旋轉(zhuǎn)、縮放和亮度的變化，一定程度上不受角度變化、仿射變換以及噪聲干擾的影響。

一般來說，在對圖像?（x，y）進行特征檢測時，根據(jù)尺度各異的高斯差分核，用高斯差分算子檢測特征點：

其中，D（x，y，k，σ）是尺度空間函數(shù)。

檢測處的特征點并非全都可以描述場景，需要根據(jù)高斯差分算子特性去除偽特征點，通過Hessian矩陣得到主曲率：

設(shè)α1和α2為H矩陣的特征值，當N滿足所設(shè)定的閾值時，就可能是所找的特征點：

接著，對特征點的方向重新分配，計算出方向φ與梯度L：

上面公式中，D為關(guān)鍵點所在的尺度空間值。

完成關(guān)鍵點的梯度和方向計算后，統(tǒng)計出其中各個像素的梯度和方向，檢測出含有位置、尺度和方向的關(guān)鍵點即是該圖像的SIFT特征點。

2 ?技術(shù)及算法實現(xiàn)

2.1 ?立體匹配算法及實現(xiàn)

立體匹配算法的關(guān)鍵是找到左右圖像對應的匹配的特征點。這些特征點是一些非常突出的點，不會因為受光線、比例、旋轉(zhuǎn)和其他因素的影響而丟失，如角度、邊緣點、暗區(qū)亮點和亮區(qū)黑點。所有比例空間中搜索圖像位置，通過高斯微分函數(shù)，可以識別具有尺度和旋轉(zhuǎn)不變性的潛在特征點。特征點的選擇取決于它們的穩(wěn)定性。在圖像的特征點中，SIFT特征能滿足旋轉(zhuǎn)不變性和尺度不變性的要求，幾乎不受光照變化的影響。

特征點的匹配是通過比較特征點的特征向量實現(xiàn)的，當兩個特征向量的誤差小于某個設(shè)定的值時，則可確定其為匹配的特征點。找到多個兩兩相匹配的特征點，就可以確定場景之間的對應關(guān)系。其匹配算法的實現(xiàn)過程圖如圖3所示。

2.2 ?視差及點云圖計算

采集到左右圖像后，需要進行攝像機校準和預處理。由于獲取的原始圖像會受到各種條件的約束和干預，因此還需要對圖像進行預處理。對于圖像的預處理，應單獨檢測每個干擾圖像并將其分配給識別模塊，以消除圖像中的非必要信息，恢復有用的信息，改進相關(guān)信息的檢測并盡可能簡化數(shù)據(jù)。

用OpenCV中的SIFT算法或SGBM算法計算視差圖。由于SIFT算法在這方面的表現(xiàn)遠遠優(yōu)于SGBM算法，因此采用SIFT算法獲取視差圖，完成立體匹配，獲得相應的視差圖。

接著，對點云進行去噪、簡化點云、配準點云、填充點云洞等操作，有效地消除點云中的噪聲和外部點，通過保持幾何特性來簡化點云數(shù)據(jù)，將從不同角度掃描的點云連接到同一坐標系。視差計算和點云圖計算算法流程圖如圖4所示。

3 ?實驗結(jié)果及分析

我們針對以上算法開發(fā)了測試程序，雙目攝像頭采用Intel Realsence D435，編程環(huán)境為windows10+OpenCV 3.4.0，程序?qū)崿F(xiàn)了從圖像采集到三維重建的一個完整過程，圖5為本次實驗中采集的原圖，圖6為原圖生成的深度圖，圖7為點云清理后的網(wǎng)格圖，圖8為重構(gòu)出來的最終結(jié)果圖。

4 ?結(jié) ?論

本文研究的基于OpenCV雙目視覺的三維重建算法，實現(xiàn)了從雙目圖像到點云圖的計算過程，可以較好地從雙目視覺圖像中獲取深度信息。本文詳細闡述了從圖像采集、相機標定、圖像預處理、立體匹配、視差計算、深度圖計算到點云圖生成的三維重構(gòu)圖的全過程以及涉及的算法原理。從效果上看，較好地實現(xiàn)了物體的三維重建。

參考文獻：

[1] 譚健勝.基于雙目立體視覺的三維重建技術(shù)研究及實現(xiàn) [D].廣州：華南理工大學，2017.

[2] 李杰.基于雙目視覺的深度重建技術(shù)的研究和應用 [D].長春：吉林大學，2016.

[3] 李彪.基于雙目立體視覺三維重建技術(shù)研究 [D].西安：西安科技大學，2018

[4] 吉玲.雙目立體視覺中三維重建關(guān)鍵技術(shù)研究 [D].天津：天津理工大學，2015.

[5] WANG Q Y，WANG Z Y，SHANG Z D. Parameter calibration of a vision sensor with a geometric similarity constraint [J].Measurement Science and Technology，2020，31（3）：1-8.

[6] 曾文獻，郭兆坤.立體匹配算法研究綜述 [J].河北省科學院學報，2018，35（2）：43-48.

[7] YOO J C，HAN T H. Fast normalized cross-correlation [J].Circuits Systems and Signal Processing，2009，28（6）：819-843.

作者簡介：蔡桂航（2000—），男，漢族，廣東佛山人，本科在讀，研究方向：計算機視覺。