基于Unity3D三維多視角虛擬數據集構建

鄭義桀,羅健欣,陳衛衛,潘志松,張艷艷,孫海迅

(陸軍工程大學 指揮控制工程學院,江蘇 南京 210007)

0 引 言

數據集在深度學習模型的訓練和測試中起著重要的作用,但現實世界的數據集制作需要耗費大量時間和精力,深度學習多視角三維重建(Multi View Stereo,MVS)的數據集相比于二維圖像需要的信息更多,通常需要增加相機姿態和場景深度,制作也更為復雜。

當前已有一些三維重建有關的數據集,主要來源于現實世界,但一些不包含相機標定或深度信息,可作為深度學習MVS訓練的數據集并不多,目前常用的主要有DTU[1]、ETH3D[2]和Tanks and Temples[3]等。這些數據集為獲取高精度3維場景圖像和3維點云,制作均有較高的硬件要求。例如,3種數據集均采用專業高清單反相機拍攝場景圖像;ETH3D和Tanks and Temples使用亞毫米級激光掃描儀獲取場景深度;DTU在一個6軸工業機器臂上安裝了一個相機和一個結構光掃描儀,同時獲取圖像、深度圖和相機姿態。數據集制作也消耗大量人力和時間成本。例如,在Tanks and Temples制作中,每個場景必須進行多次掃描才能密集覆蓋表面。簡單的物體從4個位置掃描,如小雕像。中型結構物體從8到10個位置進行掃描,如火車;最大的室外場景從14個和17個位置進行掃描,如宮殿和寺廟,尤其宮殿數據集的數據采集持續了兩天。且后期還需要進行的點云對齊和優化。

近年來計算機圖形學的發展使得虛擬圖像設計更加真實。各種渲染引擎的出現,例如UE4,Unity3D和CryEngine,使得逼真的虛擬圖像的獲取更加方便可行。不需要過高配置的硬件和大量的人力、時間投入,使得虛擬數據集的研究愈加火熱,也產生了各種虛擬數據集,例如:用于自動駕駛Virtual KITTI[4]、用于對象檢測ParallelEye[5]、用于語義分割SYNTHIA[6]等,大多取得了不錯的效果。

大量研究證明了虛擬數據集的可行性,且制作了許多虛擬數據集,但當前還沒有專門應用于深度MVS的虛擬數據集。受上述研究啟發,該文基于Unity3D提出了一種自動生成三維多視角虛擬數據的方法,并制作了虛擬數據集Visual DTU,通過實驗證明了該數據集的有效性。主要貢獻有:

(1)提出了一種使用虛擬世界仿真現實世界的方法。融合域適應和域隨機方法,通過Unity3D引擎搭建虛擬三維場景,設置虛擬相機,自動控制虛擬相機位置和方向的變換以獲取三維多視角虛擬數據,主要包括相機圖像、相機參數及場景深度圖。

(2)提供了基于Unity3D引擎制作的可用于深度MVS模型訓練的虛擬數據集Visual DTU及詳細制作過程。該數據集包含了128組圖像,每組圖像包含了49個相機視角和7種光照強度變化,及每個相機視角的內外參數和每個視角的深度圖。

(3)通過實驗驗證了Visual DTU的有效性,證明了使用虛擬引擎生成的高質量相機圖像、場景深度圖和相機參數可用于深度學習多視角三維重建模型的訓練,同時可大幅降低了數據集制作時間和成本。將該數據集應用于當前主流的幾種深度MVS模型,如:CVP-MVSNet[7]、M3VSNet[8]、PatchmatchNet[9]、JADCS-MS[10]等。證明其訓練效果基本與真實數據集相當,并在增加訓練樣本或混合真實數據集和虛擬數據集的情況下可進一步提高模型性能。

1 MVS數據集研究發展

1.1 真實數據集

Seitz等[11]提出的多視角數據集是最早的MVS評估數據集,它僅包含兩個具有低分辨率圖像和校準相機的室內物體。Strecha等[12]獲取建筑立面的真實模型,并為MVS評估提供高分辨率圖像和真實點云。為了評估不同光照條件下的算法性能,DTU數據集用固定的相機軌跡獲取了128個室內小物體的圖像和點云。點云被進一步三角化成網格模型,并被渲染成不同的視點,以生成相機深度圖。當前基于深度學習的MVS網絡通常使用DTU數據集進行訓練。Tanks and Temples使用高清攝像機和激光掃描儀獲取室內外不同大小的物體和場景,然而,它們的訓練集只包含7個具有真實點云的場景。ETH3D包含一個低分辨率集和一個高分辨率集,涵蓋了從自然場景到人造的室內和室外環境不同的視角和場景類型,也是第一個涵蓋了手持移動設備的重要使用情況,但是類似Tanks and Temples,ETH3D只為網絡訓練提供了少量的真實數據。Yao等[13]為提高MVS模型泛化性,制作了BlendedMVS數據集,其中包含了超過17 000張高分辨率圖像,涵蓋了各種場景,包括城市、建筑、雕塑和小型物體。

1.2 虛擬數據集

相比于真實數據集的高人力和財力需求,虛擬數據集制作更加簡單高效,因此近年來使用虛擬數據集訓練和測試深度神經網絡的做法越來越流行。

當前已有一些虛擬數據集,主要應用于目標檢測[14-17]、自動駕駛[4,18]和語義分割[6,19-20]等方面,都取得了不錯的效果。由于虛擬數據集與真實數據集之間存在域差,使得虛擬數據集訓練的模型在真實數據集的測試不易取得很好的性能。為了提高模型訓練效果,目前主要分為兩種方法:

一是域適應,即讓虛擬數據更接近真實數據。Nogues等[21]利用CycleGAN網絡對源域圖像進行處理,使其與目標域圖像外觀上更加接近,這樣使用風格轉換之后的虛擬數據訓練出的網絡可以在真實數據集上取得更好的性能。Chen等[22]利用梯度反轉層對Faster R-CNN中的圖像級特征和實例特征進行對抗訓練處理,使得兩個特征在源域和目標域的差距盡可能小。Saito等[23]則通過對抗訓練方法對全局特征進行弱對齊,對局部特征進行了強對齊,進而實現Faster R-CNN的域適應。

二是域隨機。域隨機[24]用一種相反的思路,不刻意追求虛擬數據的真實性,而是通過以非照片真實感的方式隨機擾動環境,故意放棄照片真實感,迫使網絡學習關注圖像的基本特征。Tremblay等[25]提出了一個利用合成圖像訓練深度神經網絡進行目標檢測的系統。為了處理真實世界數據中的可變性,系統依賴于域隨機技術,其中模擬器的參數(如照明、姿勢、對象紋理等)以非真實方式隨機化。結果顯示域隨機不僅優于更真實的照片級數據集,而且改善了僅使用真實數據獲得的結果。在車輛識別和狀態估計實驗中[26],將強度響應、模糊、噪聲三種因素隨機化引入到虛擬圖像中,通過特殊的場景車輛布置方法和豐富的背景圖片來保證虛擬圖片的豐富變化性,以2D包圍盒檢測作為實例驗證虛擬數據集的性能,結果顯示該虛擬數據集相比其他虛擬數據集有著明顯優勢。

2 虛擬場景仿真及數據集生成

在近幾年大部分著名的深度學習MVS研究中,均采用了DTU數據集進行模型訓練,因此該文參照DTU數據集設置虛擬世界場景并制作虛擬數據集Visual DTU。DTU數據集包含了128組場景,每組場景包含了49個相機視角及7個不同光照的343張圖像,以及對應的相機參數和深度圖。

如圖1所示,首先通過Unity3D設置虛擬場景,而后控制相機視角,同步生成多視角相機圖像、相機深度圖和相機參數。再對生成的相機圖像進行中心剪裁、深度圖格式轉換、相機參數的坐標系轉換,最后組合成虛擬數據集Visual DTU。

圖1 Visual DTU生成流程

2.1 虛擬仿真場景設置

(1)

其中,R為旋轉矩陣,t為平移向量。

計算發現49個相機基本部署在同一球面上,因此可擬合出球心坐標,作為物體放置的位置。圖2展示了相機和物體位置關系。

圖2 虛擬場景中相機(球體)和物體(立方體)位置

Visual DTU共128組場景,使用已構建好的人物、動物、車輛、建筑、家具擺件等各類3D模型。在設置不同的場景時,分別采用了域適應和域隨機的方法。

為實現域適應,部分場景設置采用高分辨率高仿真性物體模型,以盡可能仿真真實世界,圖3展示了4組真實物體和虛擬物體的對比,每組圖像中,左側為真實物體,右側為虛擬物體。同時每個相機視角均采集7種不同光照強度和方向的圖像,以增強網絡模型對不同光照條件下的適應性。圖4展示了不同光照下的場景設置。

圖3 真實物體與虛擬物體對比

圖4 不同光照強度和方向的場景設置

為實現域隨機效果,部分場景采用低分辨率低仿真性的簡易物體模型,或采用非真實卡通造型,或在場景中隨機加入一些三維物體,或者隨機改變物體顏色,以強化網絡模型學習圖像的基本特征。同時,采用域隨機的方式可以無限增加數據集,提高數據集生成速度。圖5展示了部分場景中的域隨機效果。

圖5 域隨機場景

2.2 三維多視角虛擬數據生成

該文通過控制虛擬世界中相機位置和方向,獲得三維多視角虛擬數據,主要包括不同相機視角的圖像、相機參數和深度圖。圖像和深度圖的生成方法采用文獻[27]提供的函數“ImageSynthesis”,該函數通過相機掛載可直接生成任意尺寸的相機圖像(該文設置1 600×1 200尺寸)和以單通道灰度圖表示的深度圖(與相機圖像尺寸相同)。

相機外參矩陣可由C#庫函數“matrix.SetTRS”獲得,但有幾點區別:(1)該函數采用相機坐標系轉換為世界坐標系的外參矩陣,而深度MVS模型采用世界坐標系轉換為相機坐標系的外參矩陣;(2)Unity3D使用左手坐標系,而深度MVS模型使用右手坐標系;(3)Unity3D中使用米(m)作為長度單位,而深度MVS模型使用毫米(mm)作為長度單位。因此外參矩陣需要轉換。

原外參矩陣為:

(2)

轉換后的外參矩陣為:

(3)

其中:

(4)

(5)

(6)

相機內參數需單獨設定,可直接在Unity3D中設置。內參矩陣一般表示為:

(7)

其中,f代表相機焦距,單位毫米;1/dx代表x軸方向1毫米內的像素個數;1/dy代表y軸方向1毫米內的像素個數;(u0,v0)代表圖像原點位置。由于虛擬相機圖像和相機傳感器的寬和高可以直接設置,因此相機內參矩陣可由公式(8)計算得出。

(8)

其中,Wpic和Hpic代表相機圖像的寬和高,單位像素;Wsen和Hsen代表相機傳感器的寬和高,單位毫米。

2.3 多視角三維重建虛擬數據集構建

為能適用當前大多數深度MVS模型的訓練需要,按照文獻[28]中圖像的處理方法,將原始1 600×1 200尺寸的相機圖像降采樣為800×600尺寸的圖像,然后進行中心裁剪得到640×512尺寸的圖像。與圖像大小變化相適應,相機外參數保持不變,內參數減小1倍。

深度圖根據不同的深度MVS模型訓練需求進行相應降采樣和剪裁,但初始深度圖是單通道灰度圖,每個像素點對應1個0～255的灰度值,因此需要將其轉化為真實深度值。通過公式(9)可進行灰度值與深度值的轉化。

(9)

其中,Vgrey為像素灰度值,far和near分別為相機的遠、近剪裁平面的距離。為方便計算,該文設置為far=10,near=0.01。

3 實 驗

將Visual DTU與當前流行的幾種真實MVS數據集進行對比,以驗證Visual DTU的有效性。主要采用2個評價指標:一是數據集制作的時間和經濟成本;二是采用不同數據集訓練的MVS網絡模型的三維重建效果。三維重建效果采用DTU數據集提供方法評估。主要包括準確性(Acc.)、完整性(Comp.)和總體性(Overall)。準確性(Acc.)以重建的三維點云與真實物體點云的距離來衡量,表示重建的點的精度;完整性(Comp.)表示物體表面被重建的完整程度;總體性(Overall)是準確性和完整性的平均值,是一個綜合的誤差指標。3種指標的值越小代表誤差越小。

然后,通過改變訓練樣本數量、混合真實數據集和虛擬數據集的方式分析Visual DTU的使用規律,以達到最好的訓練效果。

3.1 數據集制作成本對比

該文主要對比了Visual DTU與當前流行的幾種真實數據集(ETH3D、Tanks and Temples、DTU)在數據采集過程中的經濟和時間成本。結果如表1所示,其中價格是依據各數據集進行數據采集所需的主要設備計算得來,具體是參照該型號設備的當前價格,對于原始論文中沒有說明設備型號的情況,則按照同類型設備的均價計算。

表1 數據集制作成本對比

從經濟成本看,真實數據集所需設備成本都比較高。例如,ETH3D和Tanks and Temples所采用的如Focus3D X330激光掃描儀需花費幾十萬,各種高清相機也需數萬元。而且,該文并未將一些輔助設備列入。例如,DTU為了產生光照變化的場景而設置了16個LED燈,Tanks and Temples為了獲取更穩定的圖像而使用相機云臺。而相比之下,制作Visual DTU僅需一臺普通的筆記本電腦(該文采用的是聯想Air15),可大幅度降低經濟成本。

從時間成本看,真實數據集時間消耗普遍較大,尤其Tanks and Temples和ETH3D需采集室外大范圍場景數據,而室外容易受到自然環境或人為運動的影響而出現采集失敗的情況。DTU主要是室內小場景,通過機器臂完成視角轉換,速度相對較快。而Visual DTU完全由電腦自動計算完成,不會受到外界的影響,可快速完成數據采集工作;時間消耗與場景類型無關,且時間消耗將隨著主機性能的提高而降低。

3.2 Visual DTU和DTU訓練效果對比

使用當前比較流行的幾種有監督(CVP-MVSNet[7]、Patchmatchnet[9])和無監督(M3VSNet[8]、JDACS-MS[10])深度MVS模型進行對比實驗。有監督深度MVS模型訓練需要輸入相機圖像、相機參數和場景深度圖,無監督深度MVS模型訓練僅需要輸入相機圖像和相機參數,不需要輸入場景深度圖,因此在兩類模型上比較更具有一般性。實驗均使用Pytorch實現,在4個NVIDIA GTX 1080Ti GPU上進行訓練。和原模型訓練方法相同,采用79組圖像作為訓練集,除因主機內存限制而降低個別模型訓練的批大小外,其余各訓練參數設置均與原模型相同。為方便對比,訓練后的模型均采用DTU數據集中的22組圖像進行測試。模型在深度估計后均重建了場景的三維點云。

表2 Visual DTU與DTU數據集訓練效果對比

圖6 不同數據集重建效果對比

表2展示了測試結果,括號內表示使用的數據集。從表中數據可以看出,采用虛擬數據集Visual DTU訓練的模型的重建效果基本與采用真實數據集訓練的模型相當,有監督模型總體重建效果平均差距僅0.012 5 mm,無監督模型總體重建效果平均差距僅0.014 5 mm。證明由Unity3D生成的相機圖像、場景深度圖和相機參數與實際比較相符,可以作為深度MVS模型的訓練輸入,而該文制作的虛擬數據集Visual DTU一定程度上可代替真實數據集DTU用于模型的訓練。圖6展示了各深度MVS模型采用不同數據集訓練后重建的點云效果,直觀上可看出兩種數據集訓練的模型重建效果基本相當,只在一些細微的地方有所差距。

3.3 Visual DTU訓練樣本數量變化對比

上文證實,當采用相同數量的Visual DTU樣本進行深度MVS網絡訓練,基本可達到采用真實數據集DTU訓練的效果,但還是有一些差距。因此,本節分析了增加訓練樣本的情況下三維重建效果的變化。將Visual DTU訓練的場景數量從80逐步增加至130,總體性誤差隨訓練樣本數量變化如圖7所示。由圖7可以看出,訓練樣本數量逐漸增加時,總體性誤差承下降趨勢,最終總體誤差能小于原先采用79個DTU場景訓練的情況。由此可以看出,雖然虛擬數據集Visual DTU與真實數據集DTU還有一些差距,但可以通過增加訓練樣本數量來彌補。但從總體誤差變化趨勢也能看出,增加訓練樣本并不能無限降低誤差,誤差的決定因素還是深度MVS網絡的結構設計,僅通過增加訓練樣本很難突破深度MVS網絡本身的不足。

圖7 重建效果隨樣本數量變化

3.4 混合數據集訓練

本節研究了深度MVS模型在Visual DTU與DTU兩種數據集上共同訓練的情況。分別采用3種混合訓練方式:(a)兩數據集隨機混合成一個更大的整體,而后在這個更大的數據集上進行訓練;(b)先用DTU數據集訓練,后用Visual DTU數據集訓練;(c)先用Visual DTU數據集訓練,后用DTU數據集訓練。選用CVP-MVSNet進行對比實驗。訓練時,除第一種方式中訓練樣本擴大一倍意外,其余各參數設置均與3.2節相同。測試同樣采用DTU測試集的22組圖像,表3展示了僅用一種數據集訓練和混合數據集訓練的重建效果對比。

表3 混合數據集訓練效果對比

從表3可以看出,3種混合訓練方式的重建結果有很大區別。采用整體混合數據集訓練的重建效果雖然精確性誤差比DTU數據集要低,完整性誤差比Visual DTU低,但總體性誤差要優于僅采用一種數據集訓練。先用Visual DTU數據集訓練、后用DTU數據集訓練的方式的重建效果最好,各個指標均比僅使用Visual DTU訓練的模型更好,整體性誤差比僅使用DTU數據集降低了4.27%,比僅使用Visual DTU降低了5.08%。但是,先用DTU數據集訓練、后用Visual DTU數據集訓練的方法的重建結果反而比僅使用一種數據集訓練更差。分析主要原因,是由于測試采用的是真實數據集DTU,因此模型后期采用Visual DTU訓練反而會使預測值與真實值增大偏差。由此可得出結論,先采用虛擬數據集預訓練,后用真實數據集訓練可以達到最好的模型訓練效果。

4 結束語

基于Unity3D提出了一種虛擬世界仿真現實世界的方法,通過Unity3D引擎搭建虛擬場景,設置虛擬相機,自動同步生成三維多視角虛擬數據,并制作了虛擬數據集Visual DTU。通過大量實驗證明,虛擬引擎生成的高質量相機圖像、場景深度圖和相機參數可用于深度MVS模型訓練,且該方法可大幅度降低了數據集制作的成本和時間。證明了虛擬數據集Visual DTU基本可以代替真實數據集,并可通過增加樣本數量可彌補與真實數據集直接的差距。同時,采用虛擬數據集預訓練、后用真實數據集訓練的方式可進一步提高訓練效果。

在未來的工作中,將進一步研究數據集與深度MVS網絡性能的內在關系,以達到可以通過設計特定的數據集來提高特定網絡的重建效果。并進一步通過Unity3D設置更復雜的大場景或運動場景,提高深度MVS網絡的魯棒性和泛化性。