基于圖像的三維重建技術(shù)綜述

董鵬輝，柯良軍

(西安交通大學(xué) 電信學(xué)院，陜西 西安 710049)

0 引言

三維重建技術(shù)就是獲取環(huán)境中物體的三維信息，從而確定不同物體所在位置并建立相應(yīng)的空間模型[1]。現(xiàn)階段，計(jì)算機(jī)技術(shù)飛速發(fā)展，無(wú)論是硬件還是軟件都得到了很大提升。因此，對(duì)三維重建場(chǎng)景繪制的規(guī)模越來(lái)越大，精度越來(lái)越高，難度則相對(duì)減小。具有高效率的三維重建技術(shù)也已經(jīng)被應(yīng)用在眾多領(lǐng)域當(dāng)中，其中包括城鎮(zhèn)建模、無(wú)人作戰(zhàn)、文物保護(hù)和地圖重建等，相關(guān)的重建算法及流程也愈加完善[2]。

三維重建的發(fā)展經(jīng)歷了漫長(zhǎng)的過程，早期的三維重建主要通過人工繪制來(lái)完成，該方法耗時(shí)耗力。隨著社會(huì)的發(fā)展，激光掃描儀得到了廣泛地應(yīng)用，該方法獲取物體的三維信息精度高，與真實(shí)環(huán)境相差無(wú)幾。但是它構(gòu)建的模型不具有紋理，無(wú)法進(jìn)一步完善物體的結(jié)構(gòu)。同時(shí)，激光掃描設(shè)備往往價(jià)格昂貴，維護(hù)起來(lái)較為困難。現(xiàn)階段伴隨著計(jì)算機(jī)技術(shù)的發(fā)展逐步有一些建模工具可以通過人機(jī)交互的方法完成建模。通過該方法建立的三維模型簡(jiǎn)單方便，大大提高了效率。另外，由于圖像三維重建技術(shù)通過獲取的圖片來(lái)構(gòu)建模型，因此它能夠給出對(duì)應(yīng)物體的顏色信息，從而使模型更加生動(dòng)形象。無(wú)論是進(jìn)行科學(xué)研究還是商業(yè)用途，通過計(jì)算機(jī)進(jìn)行三維重建都是主要的方法。

基于圖像的三維重建從獲取多視圖圖像開始，逐步通過相應(yīng)的算法恢復(fù)場(chǎng)景中物體的三維結(jié)構(gòu)[3-4]。根據(jù)應(yīng)用場(chǎng)景的不同，使用者可以對(duì)三維結(jié)構(gòu)的精度以及信息豐富度進(jìn)行調(diào)整，也可以針對(duì)某一部分進(jìn)行優(yōu)化完善。總之，基于圖像的三維重建技術(shù)是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的熱門方向[5-6]。

本文從三維重建的傳感器、重建流程與相關(guān)算法以及典型應(yīng)用3個(gè)方面概述當(dāng)前的主要成果，最后指出有待于進(jìn)一步研究的問題。

1 傳感器介紹

基于圖像的三維重建系統(tǒng)前端只需要圖像采集設(shè)備。現(xiàn)如今深度攝像頭作為深度視覺產(chǎn)品，廣泛應(yīng)用在AR/VR以及自動(dòng)駕駛、無(wú)人機(jī)和機(jī)器人等人工智能領(lǐng)域。通過它獲取的圖像不僅可以得到場(chǎng)景物體的二維信息，還能夠獲取相應(yīng)的深度，因此只要知道相機(jī)的位置就能知道場(chǎng)景物體在世界中所處的位置，從而一步步恢復(fù)圖像當(dāng)中的場(chǎng)景。常見的深度攝像頭有：

① 基于結(jié)構(gòu)光的深度攝像頭：主要依賴于場(chǎng)景中物體的幾何關(guān)系，通過三角相似性計(jì)算得到圖像中物體的深度信息。拍攝時(shí)，攝像頭前端的結(jié)構(gòu)光發(fā)射器會(huì)發(fā)出可控制的光面、光條或光點(diǎn)照射到被測(cè)物體的表面，從而得到被測(cè)物體的幾何信息進(jìn)行后續(xù)處理。

② 基于雙目視覺的深度攝像頭：主要依賴于人眼的雙目立體視覺成像原理。通過在攝像頭前端的2個(gè)攝像頭同時(shí)獲取2個(gè)不同角度的圖像從而通過計(jì)算來(lái)對(duì)場(chǎng)景中的物體進(jìn)行深度感知。

③ 基于TOF飛行時(shí)間的深度攝像頭：主要是依賴光線反射的時(shí)間差或者相位差來(lái)計(jì)算場(chǎng)景中物體的深度信息。攝像頭前端的傳感器可以發(fā)射出近紅外光，當(dāng)光線遇到被測(cè)物體時(shí)會(huì)反射從而進(jìn)一步接收。通過發(fā)射與接收的時(shí)間差可以完成后續(xù)的計(jì)算過程。

不同的攝像頭應(yīng)用場(chǎng)景有很大的不同，通過研究對(duì)它們進(jìn)行比較分析，結(jié)果如表1所示。

表1 攝像頭性能比較

2 重建流程及算法

圖像三維重建的整件流程如圖1所示。在三維重建時(shí)，首先需要對(duì)收集到的圖像除去當(dāng)中無(wú)用的圖片，在此基礎(chǔ)上，對(duì)每個(gè)圖片進(jìn)行去噪等預(yù)處理，為后續(xù)的處理做準(zhǔn)備。接下來(lái)，對(duì)圖像進(jìn)行特征點(diǎn)的檢測(cè)與匹配，得到不同圖像中相同的特征點(diǎn)。然后通過相機(jī)標(biāo)定得到拍攝圖片所用相機(jī)的內(nèi)參數(shù)(焦距)，再進(jìn)一步計(jì)算得到基礎(chǔ)矩陣與本質(zhì)矩陣，獲得特征點(diǎn)的三維空間位置。最后對(duì)點(diǎn)云進(jìn)行網(wǎng)格化從而可將三維場(chǎng)景可視化地展現(xiàn)給用戶。

圖1 三維重建整體流程

2.1 圖像預(yù)處理

攝像頭獲取的圖像往往不能夠直接使用，需要對(duì)眾多圖像進(jìn)行預(yù)處理。通過預(yù)處理過程能夠過濾圖像中無(wú)用的信息，把拍攝不清晰、有殘缺的圖像刪除掉，同時(shí)選擇出有實(shí)用價(jià)值、可供后續(xù)處理的圖像。該過程能夠顯著提高后續(xù)計(jì)算的效率，增強(qiáng)三維重建的實(shí)用性。圖像預(yù)處理的方法很多，常見的有中值濾波、自適應(yīng)加權(quán)濾波、雙邊濾波等各種圖像濾波算法[7]。

2.2 特征點(diǎn)檢測(cè)與匹配

獲取有效圖像后，需要進(jìn)一步進(jìn)行特征點(diǎn)的提取與匹配，從而找到場(chǎng)景中相同的物體進(jìn)行后續(xù)的計(jì)算。通常說(shuō)的特征點(diǎn)主要指圖像中鄰域變化較大的點(diǎn)，比如說(shuō)噪聲點(diǎn)和角點(diǎn)，因此進(jìn)行特征點(diǎn)檢測(cè)與匹配的關(guān)鍵就是在有畸變存在的情況下，正確地提取和匹配圖像中的特征點(diǎn)。

特征點(diǎn)提取的方法主要有：

① 基于Harris算子的特征提取：文獻(xiàn)[8]中提到Harris算子包含的信息量大，檢測(cè)圖像的范圍廣，當(dāng)有光照存在時(shí)，該算子比較穩(wěn)定，抵抗環(huán)境變化的能力也較強(qiáng)。

② 基于SIFT算子的特征提取算法：該算法在當(dāng)今各個(gè)研究領(lǐng)域中應(yīng)用最為廣泛。它是一種局部的特征描述算子，通過尋找圖像空間尺度中的極值點(diǎn)來(lái)確定特征點(diǎn)，其顯著特點(diǎn)是特征點(diǎn)的尺度、位置和旋轉(zhuǎn)不變量不會(huì)輕易發(fā)生改變[9-10]。該方法先建立高斯金字塔模型，找到一個(gè)領(lǐng)域內(nèi)的像素點(diǎn)，通過比較像素點(diǎn)是否是極值點(diǎn)(即可判斷特征點(diǎn))，從而將特征點(diǎn)提取出來(lái)。

③ 基于SURF算子的特征提取算法：Bay在文獻(xiàn)[10]中提到了加速魯棒算子，該算子與SIFT算子相比運(yùn)算效率更快，它簡(jiǎn)化了SIFT算子，通過運(yùn)用小波技術(shù)等新技術(shù)使得圖像的處理速度變快。目前，SURF算子也逐步在一些計(jì)算機(jī)圖像視覺領(lǐng)域得到了應(yīng)用。

特征點(diǎn)匹配方法主要有：

① 歸一化互相關(guān)(Normalizes Cross Correlation，NCC)特征匹配：可以不受亮度和對(duì)比度變化的影響，并且速度快。缺點(diǎn)是：? 圖像縮放情況下無(wú)法應(yīng)用；? 視角變化大不適用。

② SIFT特征匹配：主要尋找用來(lái)表述特征點(diǎn)的特征向量描述符。通過計(jì)算一個(gè)鄰域內(nèi)的特征點(diǎn)的梯度對(duì)該領(lǐng)域進(jìn)行劃分，進(jìn)一步得到最終的128維特征向量描述符，衡量匹配程度好壞的關(guān)鍵就是計(jì)算特征向量描述符之間的歐式距離，歐式距離越短匹配程度越高。

③ SURF特征匹配：與SIFT特征匹配類似，主要也是通過特征點(diǎn)之間的歐式距離來(lái)判斷匹配程度的高低。但是，SURF加入了一種新的矩陣跡來(lái)優(yōu)化判斷的過程，該矩陣跡通過比較正負(fù)號(hào)可以提前排除一些不相關(guān)的點(diǎn)，從而進(jìn)一步加快匹配過程的效率。

2.3 相機(jī)標(biāo)定

基于圖像的三維重建需要對(duì)相機(jī)進(jìn)行標(biāo)定。標(biāo)定的主要目的就是求出相機(jī)的內(nèi)部參數(shù)，最終得到內(nèi)參數(shù)矩陣K。

相機(jī)標(biāo)定的方法主要有：

① Tsai的2步標(biāo)定方法：該方法與線性標(biāo)定方法相比精度更高，主要原理是利用透視變換原理來(lái)計(jì)算攝像機(jī)的基本參數(shù)配置。這些參數(shù)可以作為后續(xù)優(yōu)化算法的初始值來(lái)使用，該方法考慮了相機(jī)的徑向畸變，通過優(yōu)化算法來(lái)計(jì)算剩余的參數(shù)。

② 張正友的平面標(biāo)定方法：該方法由張正友提出，在相機(jī)標(biāo)定領(lǐng)域有著廣泛的應(yīng)用，它使得相機(jī)標(biāo)定的可靠性和有效性得到了提升。其主要原理是將計(jì)算機(jī)視覺技術(shù)與傳統(tǒng)的攝像機(jī)標(biāo)定技術(shù)結(jié)合起來(lái)，使空間中的標(biāo)定模板變?yōu)槠矫鏄?biāo)定模板，從而簡(jiǎn)化了標(biāo)定的繁瑣程度。

③ 相機(jī)自標(biāo)定方法：顧名思義，就是對(duì)通過傳感器獲取的已有信息進(jìn)行計(jì)算，完成相機(jī)的標(biāo)定過程。該方法靈活多變，運(yùn)用起來(lái)也十分方便。現(xiàn)階段根據(jù)應(yīng)用場(chǎng)景的不同可以選擇不同的自標(biāo)定方法，常見的方法有：絕對(duì)對(duì)偶二次曲面標(biāo)定法與分層自標(biāo)定法等。

2.4 計(jì)算基礎(chǔ)矩陣與本質(zhì)矩陣

計(jì)算基礎(chǔ)矩陣與本質(zhì)矩陣是重建過程中必不可少的一部分。基礎(chǔ)矩陣主要是確定不同圖像中同一場(chǎng)景的幾何約束關(guān)系。本質(zhì)矩陣則用來(lái)確定三維點(diǎn)的具體位置。

Sultanov A K在文獻(xiàn)[11]中對(duì)基礎(chǔ)矩陣做了介紹，其中包括它的計(jì)算方法與基本性質(zhì)；文獻(xiàn)[12]提出了用于計(jì)算基礎(chǔ)矩陣的歸一化點(diǎn)算法，該方法能夠抵抗噪聲的影響，優(yōu)化系數(shù)矩陣，提高計(jì)算的精度；文獻(xiàn)[13]介紹了RANSAC算法，隨機(jī)抽樣一致性算法RANSAC(Random Sample Consensus)可以在一組包含“外點(diǎn)”的數(shù)據(jù)集中，采用不斷迭代的方法，尋找最優(yōu)參數(shù)模型，不符合最優(yōu)模型的點(diǎn)，被定義為“外點(diǎn)”。

文獻(xiàn)[14]依據(jù)多視圖間的幾何約束關(guān)系來(lái)計(jì)算本質(zhì)矩陣。通過該方法得到的本質(zhì)矩陣在歐式幾何空間中給出。得到的基礎(chǔ)矩陣也可以用來(lái)進(jìn)一步計(jì)算本質(zhì)矩陣。得到本質(zhì)矩陣后可以對(duì)它進(jìn)行分解得到表述不同特征的旋轉(zhuǎn)矩陣與平移向量。通過這一系列數(shù)據(jù)能夠獲得三維點(diǎn)在空間中所處的位置。

2.5 稠密點(diǎn)云的網(wǎng)格化

通過上述步驟得到場(chǎng)景中物體的空間位置，三維重建的主要過程已經(jīng)完成。但是這些物體空間點(diǎn)都是離散的，需要完善其表面信息，因此需要用到三角剖分技術(shù)進(jìn)行點(diǎn)云的網(wǎng)格化。

現(xiàn)階段，三角剖分技術(shù)有2種主要的方法：

① 平面投影法：主要應(yīng)用投影映射原理，在得到空間點(diǎn)的位置后將其投影在平面上，接著對(duì)平面上的點(diǎn)進(jìn)行剖分處理，再將剖分后的結(jié)果轉(zhuǎn)移到三維結(jié)構(gòu)上即可；

② 直接剖分法：比較繁瑣，它直接在原始點(diǎn)云的基礎(chǔ)上進(jìn)行線性插值，從而完成點(diǎn)云網(wǎng)格化的過程。

剖分完成后可以得到目標(biāo)場(chǎng)景的整體模型，為了進(jìn)一步優(yōu)化，可以對(duì)模型進(jìn)行紋理映射從而使得建模效果更加逼真。紋理映射總體來(lái)講就是選擇一幅最為合適的圖像，將圖像上的紋理信息添加到三維模型當(dāng)中。

3 典型應(yīng)用

三維重建是當(dāng)前人工智能相關(guān)領(lǐng)域的重要研究方向，它在工業(yè)檢測(cè)、醫(yī)療、建筑設(shè)計(jì)、航空航天和虛擬現(xiàn)實(shí)等領(lǐng)域都有廣泛的應(yīng)用，而基于圖像的三維重建與傳統(tǒng)的三維重建相比具有數(shù)據(jù)獲取容易、采集設(shè)備簡(jiǎn)單以及場(chǎng)景適用范圍廣等優(yōu)點(diǎn)。因此，基于圖像的三維重建技術(shù)在眾多領(lǐng)域都發(fā)展迅速。

3.1 城鎮(zhèn)建模

城鎮(zhèn)建模在當(dāng)今的生產(chǎn)生活上發(fā)揮著重要作用。一方面，通過對(duì)城鎮(zhèn)建模可以具體了解到城鎮(zhèn)的布局結(jié)構(gòu)，為后續(xù)的發(fā)展建設(shè)提供依據(jù)。另一方面，城鎮(zhèn)建模可以幫助人們更為清晰地了解城市，促進(jìn)城市宣傳。當(dāng)發(fā)生自然災(zāi)害時(shí)，救援人員還可以調(diào)看城鎮(zhèn)的三維結(jié)構(gòu)從而做出合理的部署。目前，數(shù)字化城鎮(zhèn)已經(jīng)得到了飛速發(fā)展并且廣泛應(yīng)用在生產(chǎn)生活當(dāng)中。

3.2 文物保護(hù)

文物保護(hù)一直以來(lái)都是歷史性難題。隨著科技的發(fā)展，基于圖像的三維重建技術(shù)已經(jīng)廣泛應(yīng)用在文物重建當(dāng)中，并且取得了良好的效果[15]。河南省曾對(duì)新鄉(xiāng)市輝縣村舍進(jìn)行了三維重建，成功還原當(dāng)?shù)氐耐暾婷玻粴v史學(xué)家對(duì)新疆米蘭古城進(jìn)行了建模，同樣起到了保護(hù)文物的重要作用。

3.3 醫(yī)療救護(hù)

醫(yī)療救護(hù)也是三維重建的一個(gè)重要研究領(lǐng)域。現(xiàn)階段一些常見的掃描設(shè)備能夠快速發(fā)現(xiàn)患者的受傷部位，從而為醫(yī)生的治療提供了技術(shù)支持。常見的有對(duì)頜面、臉部軟組織和全身關(guān)節(jié)等部位進(jìn)行三維重建。重建后的結(jié)果精度高，同時(shí)不會(huì)對(duì)人體造成傷害。目前三維重建技術(shù)已經(jīng)廣泛應(yīng)用在各大醫(yī)院[16]。

3.4 無(wú)人作戰(zhàn)應(yīng)用

三維重建技術(shù)在無(wú)人作戰(zhàn)、裝備導(dǎo)航方面也發(fā)揮著重要作用。它有效地推進(jìn)了無(wú)人作戰(zhàn)的發(fā)展。例如，美國(guó)曾研制出四足軍用機(jī)器人，它能夠協(xié)助士兵作戰(zhàn)，同時(shí)還可以用于運(yùn)輸物資。當(dāng)作戰(zhàn)人員迷失方向時(shí)它能夠?qū)崟r(shí)生成周圍環(huán)境的三維場(chǎng)景從而提供導(dǎo)航[17]。此外，作戰(zhàn)時(shí)可以對(duì)攻擊目標(biāo)進(jìn)行捕捉并識(shí)別其三維特征，從而對(duì)目標(biāo)的行為進(jìn)行判斷以便制定合理作戰(zhàn)計(jì)劃。

4 總結(jié)與展望

主要從傳感器、工作流程以及典型應(yīng)用等方面對(duì)三維重建研究成果進(jìn)行了總結(jié)。雖然三維重建已經(jīng)取得了很好的進(jìn)展，并且在許多實(shí)際場(chǎng)景中應(yīng)用，但是仍存在許多挑戰(zhàn)[18]：

① 不確定情況下的三維重建。由于環(huán)境的影響，使得基于圖像的三維重建成為不確定問題。陰暗潮濕、光照較差等條件都會(huì)影響重建的效果。雖然現(xiàn)階段有相關(guān)技術(shù)可以對(duì)圖像進(jìn)行濾波處理，但是最終的結(jié)果還需進(jìn)一步優(yōu)化處理。

② 相機(jī)自標(biāo)定問題。正如文中提到的一樣，當(dāng)前的相機(jī)標(biāo)定主要是以自標(biāo)定為主。雖然絕對(duì)對(duì)偶二次曲面標(biāo)定法等方法在某些方面得到了應(yīng)用，但是它們?cè)诓煌潭壬隙即嬖谥毕荨Ｈ绾魏?jiǎn)化標(biāo)定過程，使得相機(jī)具有自主學(xué)習(xí)能力是今后的一個(gè)重要優(yōu)化方向。

③ 稀疏的三維點(diǎn)云表面重建問題。獲得三維點(diǎn)云結(jié)構(gòu)后，需要進(jìn)行稠密重建，從而使重建后的結(jié)果更加完善。現(xiàn)階段有學(xué)者提出CMVS與PMVS相結(jié)合的方法進(jìn)行稠密重建。如何提高重建的精度，更加清晰地恢復(fù)場(chǎng)景紋理，還值得進(jìn)一步研究。

④ 非剛體的三維重建。當(dāng)前重建算法的提出大都假設(shè)場(chǎng)景中的物體為剛體進(jìn)行研究，但是實(shí)際情況是有許多物體都是非剛體，因此需要對(duì)算法進(jìn)行優(yōu)化，從而實(shí)現(xiàn)對(duì)非剛體的三維重建。

⑤ 動(dòng)態(tài)場(chǎng)景的圖像三維重建。相機(jī)拍攝時(shí)獲取的圖像往往是靜態(tài)的，因此無(wú)法很好地恢復(fù)運(yùn)動(dòng)物體的空間位置。因此今后一個(gè)重要研究方向就是如何根據(jù)獲得的圖像，重建出一個(gè)動(dòng)態(tài)的場(chǎng)景。