面向科普VR應用的大型場景數(shù)據(jù)采集技術

邱永哲, 王京春, 鄭 亞, 魏 記, 高京美

(1. 中國科學技術館, 北京 100012； 2. 北京水晶石數(shù)字科技股份有限公司, 北京 100091)

傳統(tǒng)大型場景的數(shù)據(jù)采集與三維重建多用于測繪和勘探,無法滿足虛擬現(xiàn)實場景重建的需求。本文研發(fā)的一套面向科普的虛擬現(xiàn)實展示的大型實景的數(shù)據(jù)采集技術,以航空數(shù)據(jù)采集為技術核心,結(jié)合地面數(shù)據(jù)采集,多次成功應用于室外大型場景區(qū)域的數(shù)據(jù)采集和重建。本文以2022年北京-張家口冬季奧運會高山滑雪場景延慶海坨山雪場區(qū)域的場景數(shù)據(jù)采集為例,規(guī)范了虛擬現(xiàn)實應用下的大型場景數(shù)據(jù)采集的流程和方法。

1 航空數(shù)據(jù)采集技術

本文所探討的航空數(shù)字采集技術充分考慮了多個空中采集數(shù)據(jù)之間、空中采集數(shù)據(jù)與地面采集數(shù)據(jù)之間的三維空間拼合。航空數(shù)據(jù)采集通過在二維地圖上規(guī)劃的采集任務區(qū)域和采集精度,自動生成飛行任務,如環(huán)繞飛行任務、航點任務、區(qū)域掃描任務、縱向掃描任務等,利用無人機[1-2](本文以DJI無人機為例)以點線面的方式對空中場景進行全方位的自動拍攝和數(shù)據(jù)采集。

1.1 技術要點

1.1.1 像素精度計算

像素精度是指照片上單位像素點對應地面上的實際距離(單位：m/px),像素精度值越小則越能分辨出地面細節(jié)[3]。相機鏡頭的分辨率、相機視場角和無人機飛行高度都會對航拍采集中的像素精度產(chǎn)生影響。鏡頭分辨率越高、無人機飛行高度越低、視場角FOV越小,則像素精度值越低,能辨識的地面細節(jié)更多；反之,則像素精度值越高,能分辨的地面細節(jié)也會隨之降低[4]。

相機拍攝的覆蓋范圍根據(jù)相機視場角的度量方式不同分為兩種：以成像物的對角線來作為視場角計算覆蓋范圍,如圖1左圖所示；以成像物矩形的寬度來計算覆蓋范圍,如圖1右圖所示。

圖1 兩種相機視場角的度量方式圖

1.1.2 圖像重復率設定

通過移動地圖上的標注點可快速確定具體的飛行區(qū)域。標注點有兩種：實心標注點,用來調(diào)整飛行區(qū)域；虛心標注點,用來增加或減少區(qū)域多邊形的邊數(shù)。兩種標注點間隔排列,最終由實心標注點構(gòu)成掃描區(qū)域[7-8]。掃描區(qū)域內(nèi)由首位相連的數(shù)條掃描線相連接,掃描線的間隔和無人機沿掃描線飛行時的拍照間隔由照片重復率而定。理論上,現(xiàn)階段拍攝的照片重復率越高,后期三維建模精度越高。

圖2 掃描線與圖像重復率關系圖

1.1.3 區(qū)域掃描線的生成

多邊形區(qū)域掃描線分水平和垂直兩種,以水平為例,掃描算法如下：

(1) 首先將實心標注點經(jīng)緯度坐標轉(zhuǎn)化為屏幕坐標,即將多邊形在地圖上坐標轉(zhuǎn)化為以移動設備顯示屏幕左上角為圓心O、左邊緣為OY、頂邊緣為OX的屏幕坐標,如圖3所示,abcdef表示多邊形掃描區(qū)；

(2) 根據(jù)標注點屏幕坐標,得到多邊形每條線段的線性函數(shù),線段用Segment表示,(Segment.x1、Segment.y1)、(Segment.x2 Segment.y2)分別表示線段的2個端點,Segment.a表述線段斜率,Segment.b表示線段常量,多邊形線段列表為list；

(3) 求出所有標注點屏幕y坐標的最大值y_max和最小值y_min；

(4)i表示水平掃描線y的值,y_min

(5) 在步驟4)中生成的所有掃描線端點,用地圖api將屏幕坐標轉(zhuǎn)化為經(jīng)緯度坐標。

圖3 多邊形掃描區(qū)域

1.2 延慶海坨山雪場航空數(shù)據(jù)采集

海坨山位于延慶縣西北部,其中小海坨山將成為2022年冬奧會高山滑雪場地。小海坨山地形較為復雜,在采集空中數(shù)據(jù)時,不僅要獲取準確無誤的數(shù)據(jù),還需避免無人機與山體的碰撞。根據(jù)場景建模的需求,現(xiàn)場規(guī)劃并采集了以下幾類飛行任務的空中數(shù)據(jù)：

(1) 航點任務數(shù)據(jù)采集。航點任務是通過在地圖上選定多個航點,或者根據(jù)包含航點地理位置的json數(shù)據(jù)自動生成航點,組成一個線性有序的航點任務。任務參數(shù)設置包括高度、速度、云臺俯仰角[9]、航點動作等。根據(jù)規(guī)劃飛行的海坨山場地,多次飛行中一次航點任務的執(zhí)行路徑和飛行參數(shù)設置如圖4所示。

圖4 海坨山航點采集

(2) 區(qū)域掃描任務。區(qū)域掃描是針對大面積地區(qū)進行水平區(qū)域掃描,實現(xiàn)重建中大面積區(qū)域模型完整、高精度拼合。任務參數(shù)設置包括掃描區(qū)域劃定、速度、飛行高度、起飛高度、鏈接高度、掃描線上圖像重復率、掃描線間圖像重復率、云臺俯仰角、任務完成動作以及任務起始點等[10]。大型場景航拍采集時,不同區(qū)域的航拍精度要求可能不同,過程中需規(guī)劃多個區(qū)域掃描任務；這些任務的飛行高度不同,設定不同的飛行參數(shù)以銜接這些掃描數(shù)據(jù)尤為重要。

海坨山地區(qū)其中一次區(qū)域掃描的具體飛行參數(shù)設置如圖5所示。由圖可見,設置好任務的起始點后,無人機會在起始點范圍內(nèi),形成回型曲線的飛行拍攝任務,稱之為“犁地式”空中數(shù)據(jù)采集。本階段任務采集的數(shù)據(jù),包含了航空數(shù)據(jù)采集的大部分核心數(shù)據(jù),是三維重建環(huán)節(jié)數(shù)據(jù)的主要來源。實際采集,區(qū)域掃描一共完成了約2.5 km2的數(shù)據(jù)采集,部分重疊式的多次采集,可增加采集數(shù)據(jù)量,提高重建的精度[11]。

圖5 海坨山區(qū)域數(shù)據(jù)采集

(3) 縱向掃描任務。縱向掃描任務包含與區(qū)域掃描數(shù)據(jù)的銜接以及立面掃描,提供重建時側(cè)面物體的高精度數(shù)據(jù)來源。任務參數(shù)設置包括速度、區(qū)域掃描高度、鏡頭調(diào)整時飛行距離、立面掃描高度上限、下限、掃描線上拍攝間隔、掃描線間間隔、云臺俯仰角、飛機朝向和鏡頭fov。縱向掃描流程如圖6所示：

圖6 縱向掃描流程圖

海坨山實際飛行任務參數(shù)設置如下圖7所示。參數(shù)設置好后,無人機起飛至區(qū)域掃描時的高度h1；鏡頭垂直向下,至縱向掃描高度h2；鏡頭開始逐漸調(diào)整,飛行至高度h3；鏡頭調(diào)整至指定角度0,開始立面掃描直到高度為h4。考慮到與地面單反照片的拼合,鏡頭在最后一條掃描線上分別以-25°、-50°、-75°各掃描1次,h4控制在安全高度以上2 m。

圖7 海坨山縱向測繪采集

(4) 環(huán)繞任務。環(huán)繞任務包含與區(qū)域掃描的鏈接以及熱點環(huán)繞。任務參數(shù)包括半徑、角速度、云臺俯仰角范圍、區(qū)域測量高度(區(qū)域測量高度是指與環(huán)繞任務空中垂直重疊的區(qū)域掃描任務的高度,用以銜接區(qū)域掃描任務)、環(huán)繞高度范圍、環(huán)繞線間間隔[12-13]。海坨山數(shù)據(jù)采集過程中,一共設置了10余個重點位置的熱點環(huán)繞任務,其中一個環(huán)繞任務參數(shù)設置如圖8所示。

圖8 海坨山熱點任務采集

2 地面數(shù)據(jù)采集技術

地面數(shù)據(jù)采集包括激光掃描采集高密度點云數(shù)據(jù)、影像采集高精度紋理數(shù)據(jù)兩方面。采集的地面數(shù)據(jù)需很好地與空中數(shù)據(jù)融合,以提高空中數(shù)據(jù)與地面數(shù)據(jù)的有效使用,是場景三維重建的重要數(shù)據(jù)來源。

在延慶海坨山地區(qū)的地面數(shù)據(jù)采集過程中,使用激光掃描儀采集了地面的點云數(shù)據(jù),使用單反相機采集了影像數(shù)據(jù),通過對采集數(shù)據(jù)的注冊配準、數(shù)據(jù)融合、三維重建等步驟的處理,生成了延慶海陀山區(qū)域2.5 km范圍內(nèi)三維模型。此部分模型包括了山體、雪道、建筑等內(nèi)容,可用于虛擬現(xiàn)實的場景漫游。圖9為虛擬現(xiàn)實雪道圖。

圖9 虛擬現(xiàn)實雪道圖

3 結(jié)論

本文以航空數(shù)據(jù)采集技術為核心,結(jié)合地面數(shù)據(jù)采集,實現(xiàn)了適用于科普虛擬現(xiàn)實場景的數(shù)據(jù)采集,經(jīng)過多次實地場景的采集及重建測試,確定本文的采集技術和方法,對大型場景數(shù)據(jù)采集具有良好的適用性,采集的數(shù)據(jù)在三維重建中具有很高的利用率。文中例舉的延慶海坨山滑雪場地區(qū)數(shù)據(jù),已經(jīng)成功轉(zhuǎn)化為虛擬現(xiàn)實場景,并結(jié)合滑雪模擬器得到了科普應用,展示效果和逼真度得到了體驗者的廣大認可。