網絡環境下全景圖和點云數據快速融合可視化方法

朱 軍 ，陳逸東 ，張昀昊 ，黃華平 ，吳思豪 ，趙 犁

（1.西南交通大學地球科學與環境工程學院，四川 成都 611756；2.中鐵二院工程集團有限責任公司，四川 成都610031；3.四川豪格遠景市政建設有限公司，四川 成都 610036）

伴隨空天地一體化觀測技術的發展，地理數據獲取能力不斷提高，獲取到的地理數據的屬性描述、特征分布和結構關系也普遍呈現多元化的特點[1-2].對同一場景多源數據進行融合可視化，能夠幫助用戶理解、詮釋和探究地理數據的隱藏價值，提升用戶分析與利用數據的能力[3-4].激光探測與測距LiDAR（light detection and ranging）技術屬于一種主動遙感技術，具備數據采集效率高、目標點定位精確等優點，采集到的激光點云數據具有精確的空間坐標信息，因此具備較好的可量測性[5-6].但是單獨對三維點云數據進行可視化難以體現三維場景豐富的紋理細節，可視化效果不佳，而全景圖數據由一系列多視角圖像構成，其完整的記錄了場景全視角下完整且真實的影像信息，全景圖的可視化能夠為用戶提供身臨其境的視覺體驗[7-9].因此，可將三維點云數據與全景圖數據融合可視化顯示[10]，在為用戶提供真實感強烈的可視化效果的同時，用戶也能利用點云數據精確的空間位置信息進行場景交互分析.

目前的激光點云與光學影像匹配融合過程可拆分為以下3個步驟：觀測值提取及預處理、配準模型建立、配準參數優化[5].觀測值提取可分為基于區域、基于特征與基于多視幾何等多種方法.在基于區域的方法中，基于灰度區域的配準方法是一種直觀、簡便的方法，此方法主要著重對比所選區域內的影像信息像素點的關聯性，特點是不需要進行特征提取與特征描述，但配準速度較慢.基于特征的方法主要思路是提取光學影像與激光點云中具有區分性的特征點、線和面，再根據所提取到的特征對進行配準[11-13].Leberl等[14]提出基于多視幾何的方法，對數據源進行轉換，把兩種特征的數據切換為同等維度的三維點集進行配準，但此方法通常需要較好的初值.光學影像與點云數據具有各自獨立的空間坐標系，坐標系的差異及坐標統一帶來的誤差因素是導致二者融合困難的主要原因，故配準模型的選擇非常重要.常見配準模型可分為共線方程、直接線性變換、角錐體等多種模型[15].其中，共線方程模型屬于傳感器嚴格模型，需要原始傳感器參數等多種參數，模型較為復雜.直接線性變換簡化了共線方程模型，建立像點與物點坐標之間的線性方程，但對于控制點近似分布于同一平面的情況并不適用[16-17].角錐體法對初值的要求較高，有良好的初值才能完成迭代運算[18].參數優化可獲得模型參數的最佳估計，方法分為局部優化與全局優化，局部優化容易受到初值的影響，全局優化計算效率較低[5].綜上所述，目前方法分別存在步驟復雜、計算效率低、約束條件多等問題，并且對全景數據質量具有較高的要求.但實際應用中，用戶通常不希望受限于冗余、復雜的步驟與要求，需求的是低成本、高效率、快速便捷的輕量化匹配融合過程與方法.

在網絡環境下的數據組織與調度方式影響著數據的可視化效率，目前，對于大規模點云數據的組織方式主要有四叉樹、八叉樹、R樹等.其中，四叉樹的組織方式簡單，但組織整體速度緩慢，且數據較為冗余，在數據量增加時，會使四叉樹構樹深度增加；八叉樹索引的組織方式查詢精度高，但平衡性與動態性較差，并且在顯示的交互性上用戶體驗較差；R樹的組織方式雖然較為多變靈活，但在用戶交互性與數據索引速度上有待提升[19]，而大規模點云具有數據量龐大、數據結構復雜、點云空間分布不規律等特點，故目前的數據匹配方法與數據組織方式在面對網絡環境下的快速融合可視化應用并不適用.

本文提出了一種面向網絡環境的全景圖與點云數據快速融合可視化方法.降低對全景數據源的要求，簡化數據匹配步驟，通過研究建立二維圖像與三維點云數據坐標系的映射關系，探究點云數據優化組織與索引方法、動態調度等關鍵技術，并研究設計融合場景交互分析機制.旨在結合全景圖與三維點云數據優勢，提高全景圖與點云數據的融合可視化效率，為用戶提高網絡環境下真實感強烈、交互性好的融合可視化場景.

1 快速融合可視化方法

1.1 方法總體設計思路

本文的數據層主要包括大規模三維點云數據與二維影像數據.首先進行數據的處理，將二維影像數據進行拼接，創建三維球體，通過添加球體表面紋理的方式，將二維全景圖作為紋理進行渲染可視化，使二維影像像素點映射于具有三維坐標系統的球體表面的獨特坐標點，將空間視點置于球體中心，以達到全景圖的可視化展示效果，并將三維點云數據進行空間可視化，此時即將不同維度的數據匹配問題轉換至同等維度的三維數據匹配問題；接下來對兩種三維空間可視化數據進行視點的匹配，尋找、匹配數據特征點，并建立空間語義約束，統一相機參數，建立映射關系，實現多源數據的快速映射匹配；再對點云數據的組織與調度方式進行優化，進行多源數據網絡可視化，并研究建立跨模態的數據交互機制，完成網絡環境下的全景圖與點云數據快速融合可視化.

1.2 空間語義約束的多源數據映射匹配

目前，用作于三維數據融合可視化的全景數據的數據采集設備如Ladybug全景攝像機具有高分辨率、多功能拍攝等優點[20]，但用戶在應對輕量級融合可視化應用時，專業數據采集設備操作較為復雜，無法滿足用戶對便捷高效的需求，本文所采用的快速匹配融合方法可使用戶不需要使用具有坐標系的全景采集設備，例如可將普通智能手機作為全景數據采集設備，降低數據采集設備要求、提高數據采集效率.對采集到的二維影像進行拼接處理，將二維影像映射具有坐標系統的三維全景球，即可完成全景數據的三維球面映射，如圖1所示.圖中：(X1,Y1,Z1)和(X2,Y2,Z2)為三維全景球上任意兩點.

圖1 全景圖構建三維映射Fig.1 Construction of 3D mapping from panorama

具體步驟如下：

1）將手機采集到的同一視點下的一組多角度圖像通過匹配影像邊緣信息，多角度拼接，形成無坐標系的二維全景影像數據.

2）創建含有坐標系統的三維球體，使球體上每個位置可用X、Y和Z坐標值進行表示.

3）通過添加三維球體表面紋理的方式，將長寬比為2∶1的二維影像數據作為紋理進行球體表面渲染可視化，其原理如圖2所示，使二維影像數據中的像素點都對應于三維球體表面某一獨特位置，并且獲取到該位置的X、Y和Z值的坐標信息.圖2中：數字1～11表示三維球體到二維平面的對應點.

圖2 二維影像映射原理Fig.2 Two-dimensional image mapping principle

4）重新設置視點位置，將視點移動到三維球體的球心，通過球心位置觀察球體表面覆蓋上的二維全景影像，從而產生空間中360°全方位的全景圖視覺體驗效果，即完成二維影像數據到三維全景球的快速映射.

完成全景圖的三維映射后即可進行三維全景球與點云數據快速匹配融合.目前，主流的匹配融合方法是通過構建數學模型進行參數配準，但在面對輕量化需求時，數據的局限性、步驟的冗余都會降低匹配融合效率.本文的快速匹配融合方法，需要配準基礎視點與特征點，并建立空間語義約束，由于相機拍攝的二維全景圖在進行三維可視化匹配展示時會導致圖像變形，需要通過調整相機參數進行校正，即可完成全景與點云數據的快速匹配融合，步驟如下：

1）在三維點云數據中，定位到全景圖拍攝地點A0作為點云數據視點B0，將全景球心移動至該視點，完成基礎視點的匹配，但視覺內容信息位置不匹配，此時全景球與點云數據三維坐標系開始重疊，并未建立點集與點集之間的坐標映射關系，只有全景球球心坐標（XA0，YA0，ZA0）與三維點云視點處坐標（XB0，YB0，ZB0）位置匹配，可以作為單個點在不同坐標系下的映射.

2）尋找兩種數據視覺內容中的特征點位組，如圖3所示.通常特征點位一般選取視覺特征明顯、與周圍點位有較強辨識度的點位，如建筑物框架角點、道路拐點、特定物品頂點等點位.在三維空間內兩種不同數據源中尋得對應視覺特征點位組（如A1與B1）后，在全景三維球體可視化空間中，以全景球球心A0為旋轉中心，通過旋轉球體坐標系與全景球球面影像信息，將全景球球面上的特征點A1移動至已可視化的三維點云數據對應空間視覺特征點B1位置即可完成視覺特征點的視覺融合匹配，并記錄旋轉角θ的值，此時全景球影像各個像素點位具有新的坐標值，并且特征點組A1與B1的坐標值（XA1，YA1，ZA1）與（XB1，YB1，ZB1）也可以作為單個點在不同坐標系下的映射.

圖3 尋找特征點Fig.3 Finding of feature points

3）設置空間語義約束，調整視點位置相機參數，以提高全景圖與三維點云的視覺匹配度.因全景圖數據與三維點云數據采集設備不同，并且新建的全景球與點云自身視點可視化參數、視錐幾何體參數不同，從而導致二維全景圖像在進行三維可視化匹配展示時會發生圖像的視覺變形，即便全景與點云的三維視點（A0與B0）、1 組特征點（A1與B1）完全匹配過后，依舊會使兩種數據融合展示后無法完全重合，如圖4所示.

圖4 匹配后融合不精確Fig.4 Fusion inaccuracy after matching

此時需通過修正相機的視場角（fov）、垂直與水平比值（aspect）、視場體最近距離（near）、視場體最遠距離（far）等參數，具體方法為：固定全景球球心A0與三維點云視點B0，以特征點組A1與B1為基準，尋找第2組特征點組A2與B2，更改視點相機的參數，使第2組特征點組完成匹配，要使圖4中建筑物進行配準，需將三維點云視點的建筑物縮小，視場角如式（1）.

式中：αd為視場角；d為傳感器對角線長；f為焦距.

由式（1）可知：為使第2組特征點組A2與B2配準，可增大相機視場角以達到建筑物上兩組特征點組都完全配準，兩組特征點完全匹配過后，可將同一視點下特征點匹配后的單個影像畫面完全匹配融合.

綁定相機、建立映射.根據記錄的全景球旋轉角θ值，使三維點云視點相機與全景球視點相機的視線方向一致，以達到任意視線方向下，全景信息與點云信息完全匹配，此時快速匹配融合已完成.若用戶需要獲取、轉換任意點位在兩組坐標系下的具體位置信息，可通過建立全景球坐標系與三維點云坐標系之間的映射關系實現，具體步驟如下：

1）通過之前獲取到的單個點組（視點A0與B0，特征點Ai與Bi，i=1，2，···，N）在不同坐標系下的坐標構建兩個點向量A與B（點數越多，精確度越高），N個特征點構建的點向量坐標為(PA,PB)，其中PA= (PA0,PA1,···,PAN)，PB= (PB0,PB1,···,PBN).

2）計算點向量中心點坐標.設P為點向量中的坐標點，

式中：μA、μB為計算后的中心點.

3）點向量坐標重新中心化.重新中心化后得到新的點向量A′ 和B′，如式（4）.

式中：A′i=PAi-μA，B′i=PBi-μB.

4）計算兩個點集的協方差矩陣H，如式（5）.

5）利用 SVD （singular value decomposition）分解計算獲得矩陣U、S和V，并計算兩個點集的旋轉矩陣R，如式（6）.

6）最后計算轉移矩陣t，如式（7）.

7）兩個點集的映射關系構建完成，如式（8）.

1.3 網絡環境下數據組織調度方式

在全景與點云數據匹配融合過后，需要在網絡環境下進行兩種數據的可視化，全景數據的可視化較為方便，借助 WebGL （Web graphics library）技術對由二維圖像映射而成的三維全景球進行渲染，WebGL是一種面向瀏覽器端三維可視化的三維繪圖標準，提供了直接基于GPU硬件加速的三維渲染和瀏覽器端免插件式的三維圖形可視化[21].

而三維點云數據由于其數據量龐大且結構復雜，需要對數據進行優化組織和動態調度.本文充分考慮網絡環境下數據傳輸效率不夠且瀏覽器渲染能力有限等問題，結合三維激光點云數據的分布特點，采用非規則性八叉樹對點云數據進行分塊組織.傳統的八叉樹索引使用3個正交平面將三維空間劃分為相同大小的8個小立方體，每個立方體具有相同的時間和空間的復雜度，但在復雜的大規模三維點云場景中，點的分布通常不均勻，在物體內與物體框架上分布較為密集，在物體外分布較為稀疏，傳統八叉樹無法估計空間分布的不規則性，空間利用率較低，導致索引效率不高.不同于傳統的八叉樹索引，非規則性八叉樹不將三維空間等比分為八個區域，而是按照三維場景中點云分布特征將場景進行區域劃分，區域邊界由點云分布決定，如圖5所示.在每一次分割時，需要判斷并選擇一個合適的分割維度，而不是每次都按照X、Y與Z三維度做3次等比分割.這樣將盡量避免葉子節點為空，盡可能地縮小分塊區域的體積，有效地避免場景中空白區域數據組織檢索時消耗資源，從而提升數據檢索效率，能夠很好地適應在大規模復雜場景下，點云數據分布不均勻的特點，對點云數據進行高效索引.

圖5 基于非規則性八叉樹點云數據組織Fig.5 Point cloud data organization based on irregular octree

在對點云數據進行分塊組織索引之后，對三維點云數據的可視化時就可以根據點云數據的組織索引進行不同相機視角下的多細節層次的動態調度和渲染，在相機視野范圍較大、距離較遠時，只調度并渲染低細節層次的點云數據，忽略非重要點位與細節點位的數據，提升可視化效率；在相機視野范圍較小、距離較近時，調度渲染高細節層次的點云數據，提升數據顯示精度，提供更精細的可視化場景，并在渲染場景時采用視域剔除的方法，高效地進行不同細節層次（level of detail，LOD）下的過渡與銜接，提升調度、渲染與可視化場景的效率，具體視域剔除步驟如下：

1）加載三維點云數據，判斷當前相機視錐體內是否包含有第1層點云數據，若有數據被包含，則進行第1層點云數據的渲染.

2）加載第2層點云數據，判斷當前相機視錐體內是否包含第2層點云數據，若包含，則進行第2層點云數據的渲染，視域外未被包含的點云數據被剔除，不進行渲染.

3）加載下一層點云數據，相機視錐體發生改變，判斷視錐體內是否包含下一層點云數據，若有數據被包含，則進行下一層點云數據的渲染，視域外未被包含的數據不進行渲染，并繼續渲染過程，直至視錐體內所有層級的數據加載渲染完成.

1.4 跨模態數據交互機制

在點云與全景數據可視化過程完成的基礎上，需要實現在融合三維場景下的交互分析.三維點云數據具有較好的可測量性，每個點都有具體的地理坐標，可準確表達空間位置信息；全景圖數據紋理豐富，細節表達真實，可視化真實感強烈，故可將點云作為基礎，提供點位坐標值的計算功能，再將結果繪制顯示于全景圖上，如此將點云數據的可量測性與全景圖的真實性進行結合，不僅為用戶提供真實感強烈的三維融合場景，并可提供如選擇查詢、空間量測、區域分析等交互分析功能.本文建立了一套跨模態數據交互機制，具體過程步驟如下：

1）開始交互分析.用戶以真實感強烈、可視化效果更好的全景圖數據為直接交互數據源，選擇交互對象.

2）根據用戶選擇的交互對象，以屏幕坐標為中間介質，計算并存儲屏幕坐標系下交互對象的位置坐標信息.

3）根據屏幕坐標值計算出點云數據地理坐標系下交互對象的坐標值，獲取坐標值后可進行數據交互分析所需要的計算，如屬性查詢、距離量測等.

4）再以屏幕坐標為中間介質，重新計算并存儲屏幕坐標系下交互對象的位置坐標信息.

5）根據屏幕坐標值計算出交互對象在全景球坐標系下的坐標值，并將交互分析結果進行繪制展示，完成跨模態的數據交互分析過程.

2 實驗分析

為驗證本文方法的可行性與有效性，在網絡環境下利用WebGL技術進行原型系統的研發，并進行多源數據的匹配展示與可視化交互，選擇西南交通大學犀浦校區綜合樓與圖書館作為實驗案例區域，包括三維激光點云數據與Iphone XR等效35 mm相機拍攝并進行拼接的二維全景圖數據，其中點云數據的數據量大小為 221 MB，包含 49484157 個點；二維全景圖的數據量大小為1.35 MB，分辨率為3 200 × 1 600.

實驗系統構建與展示設備為筆記本電腦，其硬件設備為 Intel Core i79750HQ 4.5 GHz 12 線程CPU、32 GB 內存、8 GB 顯存的 NVIDA GeForce RTX 2080MAX-Q 顯卡，軟件環境為 Windows 10 操作系統、Google Chrome 瀏覽器.

首先只進行全景數據的加載與可視化，性能高效，畫面幀率穩定，在需要進行交互時，再對多源數據進行加載與融合，多源數據加載與融合效率通過Chrome瀏覽器數據加載與相應時間來進行檢測，數據加載與融合匹配可視化的過程耗時如表1所示.

表1 不同過程執行消耗時間Tab.1 Time consumed by different processes

表2是對相同數據源采用常規方法與本文輕量化方法下點云組織、數據匹配融合和數據可視化3個過程的耗時對比.

表2 傳統方法與輕量化方法結果對比Tab.2 Comparison of results between traditional method and lightweight method s

如表2所示，采用未經輕量化處理的方式進行數據組織、匹配、融合可視化總體耗時17.2 s，而采用輕量化處理后，總體耗時為9.9 s，由此可證明經過輕量化處理后，整體效率得到大幅度提升.其中采用傳統規則八叉樹點云索引方式耗時4.3 s，采用非規則性八叉樹方式耗時2.7 s；數據可視化過程中，在LOD 1視角（低層級視角）下，可視化數據量為16 MB，耗時 1.3 s，LOD 2 視角（中層級視角）下，可視化數據量為 42 MB，耗時 2.2 s，LOD 3 視角（高層級視角）下，數據量為 72 MB，耗時 3.1 s，輕量化方法總共耗時6.6 s.

4個不同位置數據融合匹配可視化結果如圖6所示.

圖6 不同位置融合可視化結果Fig.6 Fusion visualization results at different positions

圖7展示了融合匹配精度.融合精度的判定，采用融合后點云與對應全景匹配特征點的誤差判定，若使用常規匹配算法進行數據匹配，全景與點云數據的匹配精度誤差控制可以控制到3個像素以內[22].圖7中紅框中為選取的圖書館建筑物特征角點，其融合匹配誤差控制在4個像素以內，從視覺上可看出：點云數據與全景圖融合匹配效果良好，建筑物細節達到了高度重合，匹配效率高，滿足網絡環境下的輕量化融合數據可視化與交互.

圖7 融合匹配精度Fig.7 Fusion accuracy

融合可視化后，本次實驗選擇點云查詢與標繪量測為例展示場景交互過程：在鼠標滑過全景圖層時，自動選擇點云圖層作為查詢數據源進行點云屬性查詢，在屬性查詢完成后，將查詢結果自動顯示于全景數據圖層，如圖8所示.

圖8 融合場景屬性信息查詢Fig.8 Attribute information query for fusion scene

鼠標在全景數據圖層選取待測量線段，選擇完成后自動根據點云位置信息進行距離量測計算，計算完成后，將結果顯示于全景數據圖層，如圖9所示.不同過程中場景渲染效率如圖10所示.

圖9 量測標繪交互過程Fig.9 Measurement plotting interactive process

圖10 場景渲染幀率、內存使用變化趨勢Fig.10 Variation of scene rendering frame rate and memory usage

從實驗結果可以看出：采用該方法進行點云數據與全景數據的匹配融合可視化，場景渲染過程中主要耗時較長的過程是數據的加載工作，場景中數據的匹配以及數據的融合可視化過程耗時很少，瀏覽器響應速度較快，說明該方法數據匹配與融合可視化效率較高；從圖10可知：若只進行全景數據的可視化與交互，系統性能穩定，畫面渲染幀率能穩定在55幀/s以上，在進行融合數據加載與交互過程之間，場景的渲染幀率能穩定在40幀/s以上，在進行交互過程中，由于點云數據的測量計算過程占據了設備性能資源，導致幀率有所下降，但仍然能穩定在35幀/s以上；采用輕量化處理后，系統內存占用率降低20%左右，效果顯著，性能表現良好，具有較好的用戶體驗.證明該方法有效地結合了全景與點云數據的可視化優勢，進行快速高效的數據融合可視化，并支持用戶進行穩定的交互操作.

3 結 論

面向當今人們在應對網絡環境下數據融合可視化的實際需求，針對當前全景圖與三維點云數據匹配、數據可視化與交互方法存在高成本、步驟復雜、效率較低等問題，本文進行了網絡環境下的全景圖與點云數據快速融合可視化方法的研究.詳細闡述了全景圖與點云數據的快速映射匹配過程，探究數據網絡可視化組織調度方式與跨模態數據交互機制.最后構建原型系統，并以西南交通大學為實驗場景，按照前文的理論與方法進行了數據融合可視化案例實驗.實驗結果表明，在短時間內完成全景圖與點云數據映射匹配，匹配精度良好，支持網絡環境下融合場景的高效可視化及數據的查詢、量測標繪等交互分析，并且整個過程渲染幀數能夠穩定在40幀/s以上，能夠提供效果較好的用戶體驗，滿足網絡環境下的全景與點云數據快速融合可視化的需求.