面向高分辨率激光掃描點云的三維建筑物風格化渲染方法

唐翔， 王偉鵬， 羅歡， 郭迎亞

(1. 福州大學建筑與城鄉規劃學院, 福建 福州 350108; 2. 福州大學計算機與大數據學院, 福建 福州 350108)

0 引言

三維激光掃描技術的快速發展帶來了三維激光掃描系統性能的不斷提高. 目前， 三維激光掃描技術已廣泛應用于建筑物結構提取[1]、 遺產保護[2]、 城市規劃[3]以及虛擬現實[4]等諸多領域. 相比于傳統測繪手段， 三維激光掃描具有采集自動化程度高、 測量精度高、 數據生產周期短以及生產過程受環境因素影響小等特點[5]. 其所采集的高分辨率掃描點云是密集分布在被測量物體表面的高密度離散三維點所形成的點集合. 由于三維點云具有空間離散分布的特點， 直接展示原始三維點云缺乏良好的視覺展示效果， 這一缺陷在虛擬現實、 增強現實等應用中尤為明顯.

針對三維點云可視化的問題， 關于點云渲染的相關研究一直以來受到學術界和工業界的廣泛關注[6-8]. 為了使三維點云的展示蘊含其所處場景的光照信息， 屏幕空間環境光遮蔽的實時渲染方法[6]通過計算光線的遮蔽量以實現三維點云的渲染， 增強了點云展示的真實感. 針對可同時獲取三維點云和光學影像的激光雷達掃描系統， 基于三維點云和光學影像匹配的渲染方法[7]通過挖掘不同數據源間的共享信息， 以建立點云與影像間的映射關系， 進而實現點云的真實色彩渲染. 為了更好地挖掘點云與影像間的共享信息， 通過隨機一致性采樣方法在特征空間中實現不同數據源之間的對應點自動搜索與匹配[8]. 這為點云真實感渲染的實現提供了另外一種解決思路. 雖然建立點云與影像間的映射關系后， 可利用目標真實顏色渲染其點云數據， 但是此類方法要求激光掃描系統可同時獲取同一場景的點云與影像描述.

隨著深度學習在各個領域的成功應用， 面向圖像數據的非真實感渲染方法已經成功應用于工業界[9]， 但是面向點云數據的非真實感渲染的相關技術卻鮮有報道. 風格化渲染點云是一種非真實感渲染點云的方法[10]， 其通過將人的注意力集中到不真實的數據顯示上， 有效地彌補點云數據在真實感上表現的不足， 提高了點云數據展示的藝術性和娛樂性. 本研究主要針對高分辨率激光掃描點云的非真實感渲染問題， 提出一種面向高分辨率激光掃描點云的三維建筑物風格化渲染的方法， 實現了二維圖像風格向三維點云風格的遷移， 以提高三維點云的展示效果. 所提出的方法在不同激光掃描設備所采集的高分辨率建筑物點云數據上進行了實驗. 實驗驗證了所提出的方法可成功地將二維圖像的風格遷移至三維點云中， 提高了三維點云的展示效果.

1 面向高分辨率激光掃描點云的風格化渲染

本研究所提出的面向高分辨率激光掃描點云的風格化渲染方法可分為以下三個階段： 首先， 利用遠距離點采樣方法可實現精簡高分辨率建筑物點云數據， 同時保留其三維結構特征， 以解決高分辨率點云中海量三維點所帶來的計算量問題； 然后， 基于采樣后的三維點云， 生成三維網格數據， 并利用基于神經網絡的三維網格風格化渲染方法， 以實現二維圖像至三維建筑物的風格遷移； 最后， 將風格化渲染后的三維網格數據作為橋梁， 利用基于K-D樹(K-dimensional Tree)的網格數據與點云數據的融合方法， 建立兩種數據之間的映射關系， 以實現將可視化信息從三維網格數據向點云數據的傳遞， 最終完成三維點云風格化渲染.

1.1 高分辨率三維點云的遠距離點采樣

高分辨率三維點云數據具有點密度高的特點， 這意味著建筑物點云數據包含海量三維離散點， 極大地增加了點云風格化渲染的計算復雜性. 為了解決這一問題， 本研究提出利用點云采樣對點云數據進行精簡的同時保留其三維幾何結構. 目前， 常用的啟發式點云采樣方法包括隨機采樣(random sampling， RS)， 反密度重要性采樣(inverse density importance sampling， IDIS)[11]， 以及遠距離點采樣(farthest point sampling, FPS)[12]. 隨機采樣是通過在原始三維點集合中均勻采樣出給定數量點的采樣方法. 反密度重要性采樣是根據點密度以采樣密度最高點的采樣方法. 對于隨機采樣來說， 雖然其采樣速度快， 但是由于其采樣效果與點集規模相關， 因此難以保證采樣后的點云仍能保留原始點云的完整結構. 對于反密度重要性采樣， 雖然其可保證原有結構信息不受破壞， 但仍存在對異常點抗干擾性差的問題[13]. 相比于其他兩種方法， 遠距離點采樣算法可以很好地保持原始點云的幾何結構特性， 同時具有較好的魯棒性.

4) 重復2)～3)步直到采樣點數為K， 算法終止.

遠距離點采樣算法每次采樣距離點集P*的最遠點， 這在一定程度上保證了采樣后的點云數據盡可能地覆蓋整個原始點云數據， 同時對于局部異常點具有一定的抗干擾能力.

1.2 基于神經網絡的三維網格風格化渲染

L=acLc+asLs+atLt

(1)

該損失函數包含了內容損失Lc、 風格損失Ls以及鄰域風格損失Lt三個部分.其中，ac，as和at分別是內容損失、 風格損失和鄰域風格損失在損失函數L中的權重因子.

為了保證風格化渲染前后的三維網格數據的內容一致性， 內容損失Lc的設計考慮了三維點的整體位置偏移量.位置偏移量越小將意味著風格化渲染前后的數據三維結構的變化越小.

(2)

圖像特征信息可反映圖像視覺風格.為了保證已渲染三維網格m和圖像xs的風格具有一致性，Ls的設計考慮了應盡量減少風格遷移區域的圖像特征的差異性.

(3)

為了使三維網格的風格化渲染不受噪聲干擾， 引入相鄰像素之間顏色的相似性作為約束， 將Lt設計為如下形式：

(4)

為了最小化損失函數L， 本研究采用卷積神經網絡對三維網格風格化渲染進行建模， 并通過隨機梯度下降算法進行求解.首先， 通過神經網絡渲染器[10]將三維網格數據根據視角?投影到二維平面生成風格化渲染圖像x； 然后， 將x與風格圖像數據xs進行比對， 用以計算損失函數L的值； 最后， 通過對損失函數L求導， 利用反向傳播算法， 并根據損失函數值， 對神經網絡渲染器的參數進行更新.整個神經網絡渲染器的參數更新過程不斷迭代執行， 直到更新過程收斂為止， 即損失函數值不再發生明顯的變化.神經網絡渲染器的訓練階段結束后， 將輸出神經網絡渲染器和三維網格數據的風格化渲染結果m.

1.3 基于K-D樹的三維網格數據與高分辨率三維點云數據融合

為了有效地渲染原始高分辨率三維點云數據P， 將利用得到的已渲染三維網格數據m， 通過融合三維網格與三維點云數據， 以實現視覺信息從三維網格數據向三維點云數據的傳遞.本研究提出基于K-D樹[14]的數據融合算法， 建立點云與網格數據之間的映射， 進而實現網格數據和點云數據的融合， 最終完成高分辨率建筑物點云的渲染.首先， 利用均勻采樣算法在三維網格m中每一個三角面片fi上采樣N個帶有視覺信息的三維點， 形成三維點集Pmesh.其中，Pmesh中三維點的顏色視覺信息是由采樣點所處的三角面片fi上的RGB顏色所決定的； 然后， 利用K-D樹的構建算法， 將三維點集Pmesh作為輸入， 建立K-D樹搜索結構T； 最后， 對于每一個三維點pi∈P， 利用T搜索點集Pmesh中其相鄰的k個點， 并將三維點pi的視覺信息設置為k個點顏色的均值.基于K-D樹的數據融合算法運行結束后， 即可獲得風格化渲染后的高分辨率三維點云數據.

2 實驗分析

2.1 實驗數據

為了驗證所提出的點云風格化渲染方法能適用于不同類型的點云數據， 實驗中所使用的建筑物點云是通過Leica ScanStation P50、 RIEGL VMX450以及 L3D2 MLS system三種不同類型的激光掃描系統得到的. 其中， P50是靜態激光掃描系統， VMX450和L3D2是車載移動激光掃描系統. 圖1分別展示了通過P50、 L3D2和VMX450所獲取的原始高分辨率建筑物點云數據. 其中， 建筑物1是教堂數據； 建筑物2是洋房數據； 建筑物3是高樓數據. 這些建筑物點云的點數目分別為 2 047 950、 289 471和945 893點， 點密度分別約為4 000、 2 000和3 000點·m-2.

圖1 原始高分辨率建筑物點云數據展示圖Fig.1 Raw high-resolution point clouds of building

2.2 三維建筑物點云的風格化渲染

所提出的算法在Windows 10系統、 GPU 3.7 GHz、 內存4 GB的臺式機上進行驗證. 在遠距離點采樣中， 將采樣點數目K設置為10 000. 三個建筑物點云的采樣時間分別為 489、 72和213 s. 圖2顯示了建筑物點云的采樣結果. 與圖1中原始高分辨率點云數據相比， 采樣后的建筑物點云明顯變得稀疏， 但依然保留了原始建筑物點云的三維幾何結構信息. 這表明遠距離點采樣算法不僅極大減少了建筑物表面三維點數目， 而且在一定程度上保持建筑物的主要結構信息.

圖2 采樣后的建筑物點云數據展示圖 Fig.2 Sampled 3D point clouds of building

在三維網格風格化渲染中， 損失函數L的權重因子ac、as和at分別設置為0.4、 0.4和0.2. 在網格數據與點云數據融合的過程中， 鄰域數目k設置為5. 圖3～5分別展示了建筑物1～3的風格化渲染結果. 對于每一個建筑物， 都采用了四幅風格不同的圖像作為風格圖像. 從風格化渲染后的點云中可以看出， 所提出的三維點云風格化渲染方法能成功地將二維圖像的圖像風格遷移到三維點云上. 與圖1中原始點云數據相比， 風格化渲染后的點云具有更好的展示效果， 提高了三維點云展示的藝術性. 從風格化渲染后的局部細節上看， 某些局部點云渲染未能很好地表現原始圖像風格. 這是由于點云具有空間離散分布的特點， 導致了三維網格與點云數據融合后出現點云顏色顯示不連續的情況. 另外， 從圖3(c)、 圖4(c)和圖5(c)的展示結果中可以看出， 對風格化渲染后的點云進行環境光遮蔽渲染， 可實現在提高點云展示效果的同時， 突出建筑物的幾何輪廓. 這反映所提出的風格化渲染方法可保持原有點云數據的三維幾何結構信息.

圖3 建筑物1的點云渲染結果展示圖Fig.3 The rendering results of building 1 on the 3D point clouds

圖4 建筑物2的點云渲染結果展示圖Fig.4 The rendering results of building 2 on the 3D point clouds

圖5 建筑物3的點云渲染結果展示圖Fig.5 The rendering results of building 3 on the 3D point clouds

3 結語

本研究針對高分辨率激光掃描點云的非真實感渲染問題， 提出一個面向高分辨率激光掃描點云的建筑物風格化渲染方法. 該方法提出了遠距離點采樣方法， 以解決高分辨率點云所帶來的計算量大的問題； 給出了基于神經網絡的風格化渲染方法和基于K-D樹的數據融合方法， 以解決三維點云數據風格化渲染問題. 實驗中所采用的數據集包含不同激光掃描系統所采集的不同類型建筑物的高分辨率點云數據. 實驗結果表明， 所提出的算法可有效地將二維圖像的風格遷移至三維建筑物風格， 在提高點云數據的可視化效果的同時， 增加了點云數據展示的藝術性.

本研究所提出的點云風格化渲染方法利用了三維網格數據作為圖像風格向點云風格遷移的橋梁， 這在一定程度上影響了圖像風格向點云風格遷移的效果. 未來的研究將考慮端到端地實現圖像風格向點云風格的直接遷移， 以避免三維網格與點云融合后出現的點云顏色顯示不連續.