面向實景三維模型和實時視頻圖像融合的紋理映射

楊 松,陳崇成

(1. 福州大學空間數據挖掘與信息共享教育部重點實驗室,福建 福州 350108; 2. 福州大學地理空間信息技術國家地方聯合工程研究中心,福建 福州 350108)

實時視頻融合三維場景以低成本方式實現地圖數據的自動、持續更新[1],提高視頻信息獲取的效率和空間關聯性,也被稱為增強虛擬環境(augmented virtual environment,AVE)。AVE最早由文獻[2]針對靜態虛擬環境現勢性差的局限性而提出的,在此前文獻[3]提出的一種在相機視點下紋理融合方法可被視為早期AVE的雛形。

根據視頻圖像與三維場景的匹配原理可將構建AVE的方法分為特征匹配法與直接投影法[4],特征匹配法通過特征匹配獲取一定數量的匹配點建立圖像與場景間的變換聯系,進而為模型頂點指定紋理坐標。如文獻[5]通過ASIFT特征匹配實現了移動視頻與地理場景配準,且誤差維持在2 m以內。得益于文獻[6]提出的動態二維圖像到幾何體的任意投影方法,透視投影法得到廣泛應用。文獻[7]利用透視成像與攝影測量一致性原理解算出視頻與地理場景中目標點X、Y、Z方向上的匹配誤差在0.3 m以內。文獻[8]基于WebGL構建了實景虛實融合系統實現多路視頻流的流暢瀏覽,但視頻延遲維持在10 s以上,且視頻與建筑物模型分界線較為明顯。文獻[9] 針對三維場景對象遮擋等因素提出考慮場景深度的投影算法。文獻[10]通過生成接受視頻紋理的網格針對三維場景對象遮擋等因素提出考慮場景深度的矩陣的方式實現視頻映射到三維場景,觀察者只能從特定視角觀看,無法滿足多種情形下的實時視頻映射需求,且目前已有研究針對場景中物體遮擋造成紋理撕裂的畸變問題均未有解決方法。文獻[11]針對高空拍攝的需求場景提出針對衛星平面模型場景的映射,但場景三維立體性無法體現。而文獻[12]從三維場景構建入手提出基于視頻圖片重建的虛實融合方法,結合圖像三維重建技術提高視頻圖像與場景的融合效果,但單相片建模技術存在局限性,無法滿足重建三維場景的完整性要求。文獻[13]構建隧道數字孿生BIM模型融合多路監控實現對隧道交通的實時流量監控。實景三維模型是對人類生產、生活和生態空間進行真實、立體、時序化反映和表達的數字虛擬空間[14],擁有較好的場景完整性。而隨著數字孿生城市與元宇宙概念等概念的興起,實景三維模型與實時數據結合用于描述物理世界的實際狀況也被認為是最基礎的數字孿生模型[15],當下構建城市級動態模型與模型的實時更新還存在巨大挑戰,實時視頻融合實景三維場景具有重要意義。

綜上,本文提出一種基于B/S架構的實時視頻融合到實景三維場景的實現方法,通過傾斜攝影測量技術構建高精度實景三維場景,面向實時性需求設計實時視頻數據流推流方法,基于WebGL透視投影原理解算視頻圖像像素與場景片元頂點的映射關系,針對不同視點下視頻紋理存在扭曲與撕裂的畸變和視頻圖像與場景視覺接縫處視覺差異大等現象,以改進實時視頻紋理融合方法。

1 基本框架

首先經過無人機測繪、空中三角測量、多視密集匹配、三角網格生成、自動紋理映射生成實景三維模型;其次基于地球引擎CesiumJS,采用3Dtile流式傳輸進行場景繪制,獲取視頻探頭實時數據流并搭建流媒體,將之解碼、轉碼成實時視頻流;然后在場景中構建與現實在統一空間參考下形成數字孿生的虛擬相機,通過透視投影原理確定視景體內模型頂點片元在像素空間下的投影紋理坐標;最后針對視頻投影過程中場景物體遮擋問題,分情況討論映射策略,借助紋理混合的方式預設單通道掩膜圖消除接縫處的紋理差異。技術路線如圖1所示。

圖1 技術路線

2 實時視頻傳輸

攝像探頭實時傳輸的數據流記錄著視頻紋理,其主流使用的RTSP無法直接在Web客戶端實現映射,需借助編碼器推流至媒體中心,再將原生視頻流轉碼成統一RTMP協議流進行推流。視頻流的實時性受編碼器、流媒體服務器性能、視頻流協議、網絡帶寬、播放器緩存等因素的影響。HLS和FLV協議及WebRTC協議可以使視頻流兼容HTML5中的video標簽作為緩存容器,本文通過推流編碼器拉取相機的RTSP協議數據流,將媒體流解碼編碼成RTMP協議流推送至拉流媒體中心,再利用媒體中心建立瀏覽器與服務器間的Web Socket通道,通過瀏覽器端video標簽接收Web Socket協議流URL地址,并將video標簽綁定Cesium.Texture類后傳入Cesium.PostProcessStage函數實現視頻流向三維場景實時傳輸。

3 融合原理與方法

3.1 透視投影法

相機內參包含相機鏡頭焦距、像主點坐標及鏡頭畸變等,外參包括相機空間位置,三維角元素如航偏角、傾斜角、橫滾角等,內外參數已知時將視頻圖像序列進行透視投影變換可獲得單幀視頻圖像像素與場景片元頂點的互映射關系。基本路線如下:

(1)局部空間到世界空間。CesiumJS中進行空間變換要統一到ECEF世界坐標系進行,因此首先需將三維對象進行坐標變換。設三維對象圖元頂點在O-ENU坐標系中坐標為XO,在ECEF坐標系中為XW,旋轉平移變換矩陣分別設為RO和TO,則頂點的世界坐標XW為

XW=ROTOXO

(1)

(2)世界空間到相機空間。設頂點對應相機坐標系下的齊次坐標XC為(XC,YC,ZC,1),則有如下轉換關系

(2)

式中,Rw為由相機外參數組成的旋轉矩陣;Tw為平移向量,一起組成外參矩陣E。

(3)相機空間到圖像空間。設有效相機的焦距為f,在相機空間中頂點映射到相機圖像空間中坐標為(xi,yi,1),可得

(3)

式中,P為投影變換矩陣。

(4)圖像空間至像素空間。將圖像坐標歸一化到坐標范圍為[0,1]的像素空間坐標中,設最終的紋理坐標為(u,v,1),圖像寬度和高度分別為w和h,則有下式關系

(4)

NP組成內參矩陣,綜上最終模型片元頂點對應相機視頻圖像中的紋理坐標xt為

xt=NPEXW

(5)

3.2 載入映射策略

傾斜攝影測量建模后場景中存在障礙物遮擋,視頻紋理直接映射其上所導致的突兀感、割裂感十分突出,對此可將場景中的三維物體作劃分,如對于會造成在不同視角下場景紋理割裂感的汽車、樹木等遮擋對象,可將之進行展平投影,而對于可反映正常場景紋理的墻體等建筑物對象,則采用顧及深度的投影方法。

由于攝像探頭視頻流本質上是多幀缺乏深度信息的二維圖像,未考量場景深度對映射的影響會發生紋理穿透的現象,因此,當視景體中物體不影響紋理正常顯示且能表達視頻信息時,需要進行深度篩查,剔除無須混合視頻紋理的模型圖元。深度篩查重點是要預先獲取虛擬相機視景體中圖元、片元相對于虛擬相機的距離,并將其作為深度值Z,若各片元有遮擋關系則只保留最近片元的深度值,流程如圖2所示。

圖2 顧及場景深度算法流程

(1)在場景中確定一個光源位置作為孿生相機,且內外參數等與現實相機保持一致,片元著色器語言(GLSL)內定義紋理圖像儲存片元頂點深度值。

(2)光源預先向場景發送光束,通過射線求交獲得視景體內相機紋理像素對應模型片元的深度,比較紋理像素對應片元的所有深度值,將距離視點最近片元的深度閾值Zthreshold綁定在紋理圖像中。

(3)利用一致性變量將紋理圖像與場景紋理坐標的傳入片元著色器,射線求交獲取紋理像素對應片元深度值Zcurrent,通過step函數計算以片元為中心的3×3 矩形鄰域實時深度平均值Zacurrent。

(4)遍歷視景體內頂點紋理,以紋理坐標為索引查詢紋理圖像中的深度閾值Zthreshold,考慮到WebGL儲存在紋理圖像Z值與實時計算出的片元Z值精度不一致所導致的偏移誤差,需糾正Δd偏移量,Δd取值為0.005。若Zacurrent>Zthreshold+Δd,顯示模型原有紋理;反之,賦予該片元對應視頻圖像紋理。

針對從不同視點看場景出現的視頻畫面割裂、紋理錯位等問題,通過預設展平區的映射策略使視頻紋理更好地貼合場景,消除畫面割裂感。預先劃定目標障礙物區域,在頂點著色器中利用深度紋理圖像獲取模型片元頂點高度,將障礙物區域預儲存在深度紋理圖像內。設置障礙物區域紋理的α分量為1,區域外為α分量為0;判斷模型片元頂點坐標是否落在α分量為1的預設紋理區域內,將落在預設紋理區域范圍內頂點Z分量修改至地面高度。

3.3 基于邊界距離掩膜

針對視頻影像與模型場景融合邊緣存在色彩差異較大的情況,在場景片元賦予視頻圖像紋理時引入透明分量混合[12]的思想,基于圖像像素到融合邊界處距離對邊界處進行掩膜。將邊界處片元的alpha值與片元對應圖像像素p到融合區域邊界的距離建立如下聯系

(6)

式中,d為混合區域的寬度;x為像素p到圖像融合區域邊界的垂直像素距離。在頂點著色器中額外儲存一張單通道的灰度圖像作為alpha掩膜圖,單通道的灰度圖分辨率應與視頻紋理分辨率一致,其像素值指明了動態紋理每一單圖像序列對應的alpha值,關聯流程如圖3所示。

圖3 基于距離掩膜處理

用計算得到的圖像每一像素對應的alpha值將圖像與實景三維場景片元橫向加權融合,即

c=αcv+(1-α)co

(7)

式中,α為視頻圖像像素對應的alpha分量;cv為視頻紋理像素的顏色值;co為視頻紋理像素對應位置的三維場景模型頂點片元顏色值;c為頂點片元最終呈現在屏幕上的像素顏色值。

4 試驗結果與分析

4.1 試驗說明

本文選擇某科技園區作為試驗區域。依托大疆M600 Pro無人機進行傾斜攝影影像采集,利用DJI GS Pro規劃無人機航線。為了減少陽光照射造成的陰影影響,選擇中午12:00前后進行航拍作業。飛行高度為50 m,航向重疊度為80%,旁向重疊度為75%,相機角度為55°,空間分辨率為0.01 m,共獲得4個傾斜視角和1個垂直視角的345張影像。

采用的硬件設備為Windows 10操作系統;處理器為AMD Ryzen 7 5800H,內存為16 GB;顯卡為NVIDIA GeForce RTX 3060,顯存6 GB,編譯環境為node.js和CesiumJS,采用Chrome作為顯示瀏覽器。采用HIKVISION攝像頭,視頻編碼為H.264,原始流采用RTSP協議。相機坐標為(119.198 763,26.054 996,54),視場角為59°,偏航角為216.3°,傾斜角為-71.7°,橫滾角為0°。

4.2 實時性驗證

利用流媒體服務器在局域網環境下通過流媒體將視頻流轉換為FLV/HLS/WebRTC協議并進行實時性測試,使用本文方法與文獻[8]和文獻[11]所涉及方法的測試結果作對比,結果見表 1。

表1 流媒體實時性對比

文獻[8]將實時視頻流處理成視頻分片和配置文件的HLS流傳輸至客戶端,但是映射延遲較大;通過文獻[11]所用的FFmpeg轉碼推流至媒體中心再轉換成FLV協議流可達到4 s的延遲;而本文結合文獻[8]所用HLS協議流分片儲存視頻的優點將視頻流緩存至本地文件以獲取回放,使用的WebRTC協議流實現延遲200 ms的實時傳輸,實時性最好。

4.3融合效果驗證

圖4展示了一般投影法與本文改進后不同視角的視頻融合紋理效果,拍攝時間為正午,視頻分辨率為4096×2160像素。可以看出,在融合場景存在樹木、車輛等遮擋時,從不同視點看場景出現了畫面割裂、紋理錯位等問題,通過顧及深度與展平映射后可以使視頻紋理更好地貼合場景,消除畫面中的割裂感。圖5為下午拍攝,視頻分辨率為1024×768像素,圖5(a)展示的視頻場景連接處未處理時有很明顯的色彩差異情況,通過邊界掩膜處理后(如圖5(b)所示),視頻畫面與場景的分界線過渡更加平滑,差異感得到了較好的改善。而比較圖4與圖5可知,融合畫面效果仍受不同拍攝時間的光照、陰影、天氣和拍攝分辨率差異等因素的影響。

圖4 展平策略視頻映射前后對比

圖5 融合邊界掩膜前后對比

4.4 穩健性驗證

為了驗證瀏覽器使用本文方法渲染的承載能力,通過預設場景漫游路徑,記錄場景在融入0～10路視頻的場景實時渲染幀率變化情況時所反映的本文方法的穩健性,一般投影映射對比本文引入映射策略的場景幀率變化結果如圖6所示。一般頁面幀率是否大于20幀/s是檢驗頁面渲染穩定性優劣的重要指標[10],試驗結果反映了視頻流數量與場景漫游平均幀率的關系。結果顯示場景平均幀率會隨著引入視頻流的數量增加而降低,這是由于隨著融入視頻路數的增多導致系統GPU的資源占用率提高的原因,但載入映射策略不會造成場景漫游情形下畫面幀率大幅波動,且載入10路視頻后幀率為50幀/s,穩健性良好,仍能滿足人眼流暢瀏覽場景的需要。

圖6 多路視頻系統穩健性試驗結果

5 結 語

本文面向實景三維模型和實時視頻圖像融合,根據透視投影原理結合相機內外參數解算視頻像素與對應實景三維模型頂點的映射關系,搭建了流媒體實時推流視頻,提出了結合深度篩查和局部展平的映射策略,消除場景障礙物對映射紋理的遮擋,并通過掩膜算法對視頻圖像與場景接縫處進行優化,實現了現實空間向數字空間的實時無縫映射。試驗結果表明,本文方法能極大地改善實時視頻圖像與實景三維模型融合時視頻紋理扭曲和撕裂等現象,在10路視頻流通量的情況下場景平均渲染幀率保持在50幀/s以上,仍然滿足場景瀏覽需求,且實時性較為良好,可應用于數字孿生、監控安防等領域。