城市地下管網增強現實系統研究

周 玲，陳 強

上海工程技術大學 電子電氣工程學院，上海201620

1 引言

城市地下管網主要由8種管道組成，其鋪設范圍遍及水下和路面下，起到傳遞信息、輸送能源、減災排澇、排棄廢物等作用，城市地下管網管理系統是智慧城市建設的基礎。隨著城市的高速發展，提高管網建設的信息化和科學化是城市高效運行的必然要求，傳統依靠二維“平面圖+剖面圖”的規劃設計，畫面空間感不強，不利于準確掌握管網詳細信息，可能出現管道鋪設沖突，發生施工事故，甚至導致規劃失敗等問題。

目前，國內有不少學者采用基于計算機的虛擬地理環境（Virtual Geographic Environments，VGE）[1]來解決上述問題并實現管網的可視化，例如，吳學明[2]等基于SuperMap GIS 開發了二維、三維管網智能信息系統和成圖系統；陶迎春等[3]設計了基于場景圖進行三維場景組織管理系統。但基于計算機的VGE無法為決策提供及時和直觀的參考，且需渲染地面建筑的模型數據[4]，這些海量數據的存儲、細節處理、快速顯示等問題，仍然是不可規避的難題，對硬件設備性能也有較高要求。近年來，在地下管網建設方面，國際上的學者對增強現實技術（Augmented Reality，AR）與地理信息系統（Geographic Information System，GIS）相結合的研究較為廣泛，例如，Soria[5]利用AR技術在移動端實現地下管網設施生命周期管理過程中的主要功能，該研究利用增強現實的硬件設備Tango 實現對真實世界的三維注冊和動態跟蹤；Lee[6]開發了檢索并可視化鉆井日志的AR系統，在鋪設地下管線過程中有利于地面打孔的實地工作；Schubert[7]基于地下管網、城市和交通等數據通過定位和AR技術對城市建設進行規劃和設計等。在移動設備中將AR 可視化與GIS 相結合，可滿足地下管網可視化、實時交互、自由導航等需求，將三維模型顯示到現實場景中沉浸感更強，同時為工作者提供了更加直觀的理解。根據上述問題和分析，本文設計了一種城市地下管網增強現實系統，實現管網的虛實融合和實時交互等功能，有效解決VGE決策不靈活、海量數據存儲和顯示的問題。

2 總體設計方案

2.1 硬件平臺總體設計

如圖1 是移動端的地下管道實時定位增強現實系統的硬件架構和整體邏輯結構，主要由微處理器單元、信號采集單元、傳輸單元、通信單元和顯示單元這5 部分組成。系統硬件設備的微處理單元主要是由ARM（Advanced RISC Machine）微處理器組成，用于整個系統協調和控制各個單元的工作。通信單元通過無線網絡和通信協議與遠程服務中心通信，用于手機向服務中心發送包傳輸請求和獲取管道屬性數據。顯示單元主要由手機屏幕組成，用于顯示虛擬管道模型疊加在真實場景中的AR效果。傳輸單元主要由藍牙模塊組成，用于GNSS（Global Navigation Satellite System）接收機在CORS（Continuously Operating Reference Stations）模式下與微處理器單元的連接工作，天線和接收模塊構成了GNSS接收機的主要功能，用于接收導航信息并轉發處理后的導航信號。

手機的位置信息、移動速度、仰俯旋轉等角度信息是管道AR 系統實現實時定位和管道模型跟蹤的關鍵信息，它們由多種傳感器進行采集。信號采集單元主要包括手機攝像頭、陀螺儀、重力加速度計、GPS（Global Positioning System）等多種傳感器，手機攝像頭用于獲取現實環境的影像并渲染成虛擬攝像頭的背景影像，通過視頻處理模塊，管道模型被疊加到攝像頭獲取的影像上；陀螺儀、重力加速度計用于采集手機六軸姿態信息，通常在高頻率下進行平移和旋轉加速；GPS用于獲取手機的經緯度信息進行實時定位。

本設計基于上海地區已有的3個參考站，利用多基站網絡實時動態差分（Real-Time kinematic，RTK）技術建立的連續運行參考站進行位置測量，根據3個已知參考站的坐標可求得移動設備的精確位置坐標，測量精度可達到厘米級甚至毫米級，通過藍牙將測地型GNSS接收機與小米8 智能手機連接，導出精確坐標文件。AR系統讀取定位信息，并通過手機攝像頭識別真實場景的平面和興趣點[8]，確保管道模型疊加到真實世界的確定位置，實現虛實融合效果。

圖1 總體設計方案框圖

表1 AR SDK比較

2.2 軟件平臺總體設計

2.2.1 軟件環境

針對移動端能根據用戶位置實時定位，本設計選擇基于移動端設備進行開發。目前AR設備在移動端的應用主要分為兩類[9]：頭戴式和手持式，實際場景中智能手機要比頭戴式設備更適用，主要是智能手機的普及性、便攜性、移動網絡基礎設施方面等優勢更為突出。因此，采用Android 系統的智能手機作為地下管道實時定位AR系統的應用平臺，采用ARCore SDK（Software Development Kit）進行AR 功能開發，基于Unity3D 和Visual Studio 2017 開發平臺運用C#語言進行AR 系統的邏輯和交互功能開發，服務器選用是Apache Tomcat 7.0，使用MySQL關系型數據庫。

系統的管道增強現實功能通過增強現實軟件開發包進行二次開發，表1比較了市面上應用較廣泛的六款增強現實開發包。其中免費的開源SDK主要是ARCore、ARKit 和ARToolKit，但ARKit 不支持Android 系 統、ARToolKit[10]在環境光預估處理沒有ARCore真實，總體評估后ARCore更適用本系統。

2.2.2 系統的主要軟件設計

系統的功能模塊主要體現在三方面：多方位實時查看管道模型，模型與攝像頭不存在直接關聯，模型可隨用戶位置的變換而實時更新、動態跟蹤；沉浸式體驗，在不同光照條件下，管道模型與現實環境中物體的明暗度、陰影方向和角度保持一致；實時交互，點擊屏幕中的模型，可實時顯示管道存檔時的相關屬性，再次點擊UI界面任意位置則隱藏UI，能為用戶決策提供及時、直觀的參考。軟件設計流程如圖2所示。

圖2 軟件設計流程圖

（1）初始化。用戶開啟地下管道AR系統，系統初始化，主程序自動啟動攝像頭并調用攝像頭接口，將攝像頭拍攝的真實世界渲染為附加的Unity攝像頭組件的背景，保證了現實場景的實時呈現。

（2）實時定位。GPS 探測到手機目前所在位置，羅盤判斷攝像頭對準的方向，將兩者相結合實現跟蹤配準，程序獲取相關傳感器接口的數據進行處理和轉換，讀取GNSS接收機導出的手機定位數據文件，通過微處理器的數據計算將兩部分數據建立連接，利用七參數坐標變換法得到Unity3D所需數據。

（3）虛實融合。OpenGL實現管道模型繪制，根據讀取的定位數據查詢MySQL 數據庫，檢索出經緯度小數點后第5 位數值的變化幅度在3～4 之間的管線測量數據，即檢索出用戶周圍10 m左右的管線數據，將平面坐標和高程轉換成Unity3D的數據，進而將管線數據利用Unity3D引擎進行可視化處理，并呈現在手機屏幕上，利用VIO算法來計算位置變化并實現對管線模型的跟蹤。

（4）實時交互。為增加沉浸式體驗、實時交互等功能，還設計了用戶與管線模型的交互方案，通過Unity3D在每個管線模型上都添加了碰撞器組件，在Update方法中每幀監測觸發事件是否發生，若檢測到屏幕被點擊，則從屏幕點擊處發出射線并指向管線模型，觸發事件并顯示UI界面。

3 關鍵技術

3.1 高精度差分定位

3.1.1 基于RTK的定位設計

本文設計是基于位置的增強現實的[11]，利用GPS、加速度計等傳感器獲取的信息在真實場景顯示AR 對象，即管線模型。現有移動端定位方式[12-13]主要有移動基站、A-GPS、Wi-Fi 等定位方式，但移動基站和A-GPS定位精度在百米級和十米級，Wi-Fi 適用于室內定位。由于本系統對定位精度要求較高，故采用北斗衛星導航系統（BeiDou navigation Satellite system，BDS）和網絡傳輸獲得手機的精確位置，定位精度可達到厘米級甚至毫米級。圖3 簡單示意了高精度實時定位[14]的架構，衛星為全球定位導航系統的空間部分，用于發送導航定位的衛星信號；地面增強系統為CORS 系統的地面參考站，負責采集和處理導航衛星觀測數據，實時向用戶提供載波相位、偽距、改正數等信息；GNSS接收機用于測量所在位置點的高精度位置坐標，可依據精確位置通過服務器在數據庫中檢索附近管道信息。

圖3 高精度實時定位示意圖

定位信息的傳輸流程是首先將接收機的數據輸出方式設置為GGA（Global Positioning System Fix Data）數據，然后登錄CORS賬號，接入CORS網開始測量，通過接收到的衛星星歷及CORS 網解算的差分改正信息解算出高精度坐標，最后接收機通過串口將精確坐標傳輸到藍牙模塊，并導出到已經配對的手機端。通過此方法，提高了手機的定位精度。

3.1.2 基于七參數坐標變換的管道數據設計

通過網絡傳輸從GIS（Geographic Information System）服務器[15]輸出到客戶端的管道位置的測量數據主要包括空間數據和屬性數據。空間數據用于Unity3D 中對象坐標、角度、比例和紋理的轉換，屬性數據用于數據檢索。如表2體現了管道的空間數據結構。

表2 管道的空間數據結構

利用七參數坐標變換方法[16]，將管道的經緯度坐標(B,L,H)先轉換成空間直角坐標系下的坐標(X,Y,Z)，然后將(X,Y,Z)轉換成世界坐標(X1,Y1,Z1)。七參數坐標轉換方法采用至少3個點來計算7個參數，分別是3個平移參數即世界坐標系和空間直角坐標系的坐標原點(X1,Y1,Z1)和(X,Y,Z)之間差值，3個旋轉參數為兩個坐標系的XYZ 軸重合在一起的角度，1 個尺度變化參數m 可實現管道尺度的比例轉換。通過測試得知，ARCore 初始化時，世界坐標系和攝像機坐標系具有相同的原點和軸，攝像頭的當前位置和旋轉都為（0，0，0）。添加C#腳本可通過手機的傳感器獲取位置O1(X0,Y0,Z0)和滾動、仰俯、方位角這3個姿態參數，姿態參數可表示為(rx,ry,rz)。若將世界坐標視為現實世界中的局部坐標，則要求O1是世界坐標的原點并且其坐標軸與空間直角坐標系的坐標軸大致平行，所以在初始化導出的ARCore 項目時，需要保持智能手機屏幕的垂直方向與北方平行，然后根據七參數坐標轉換將空間直角坐標系中的管道坐標數據轉換為世界坐標。等式（1）～（4）是從空間直角坐標系中的(X,Y,Z)到世界坐標中的(X1,Y1,Z1)的轉換。

依據公式（1）～（4）對原始數據進行計算，得到管道起始點(X1b,Y1b,Z1b)和終點(X1e,Y1e,Z1e)的世界坐標，對象渲染由網格的樞軸位置、旋轉、尺度變化和材質決定。其中，樞軸點即管道的中點，樞軸點、長度和直徑是Unity3D中管道模型的3個組成部分，如等式（5）～（8）所示，Unity3D 中對象的樞軸坐標為(X1p，Y1p，Z1p)，由管道世界坐標下的起點和終點計算得到，管道長度為R，管道直徑即數據庫中Diameter參數，可直接讀取。

3.2 基于ARCore的虛實融合

增強現實技術[17]是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術。ARCore SDK 無須任何額外的硬件，就可擴展到Android 生態系統，其中，ARCore 主要通過構建地圖實現對模型的動態跟蹤。它可將現實世界的環境信息存儲在內存中實現地圖構建，追蹤器根據已存儲的部分圖中的“關鍵幀”進行現實世界與圖的匹配，利用VIO算法和追蹤器完成環境感知。當移動設備位置變化越大，則構建的地圖越大，易產生內容丟失等情況，導致追蹤效果變差。但利用ARCore 創建錨點可將地圖內容進行固定，且可多次設定錨點以擴大地圖覆蓋的物理面積，保證環境內容不被丟棄，從而提高了系統動態跟蹤的魯棒性。

通過ARCore SDK 進行C#編程開發時，利用不同的API（Application Programming Interface）讓手機感知其周圍環境、管道模型虛實融合以及交互等功能。例如，通過ARCoreBackgroundRenderer接口將手機攝像頭拍攝的現實環境渲染為附加的Unity 攝像頭組件的背景，Anchor 接口將管道模型附加到現實環境中，并將該點的環境信息存儲到內存中，DetectedPlane接口用來檢測和跟蹤現實環境中的平面，完成平面識別。ARCore將虛擬管道模型與手機攝像頭看到的真實世界融合，通過以下3 個主要功能構建對周圍環境的理解：運動跟蹤，手機通過攝像頭標識興趣點，將這些點的移動與手機慣性傳感器的讀數進行組合，讓手機可以確定它的位置和姿態，并保持管道模型在確定位置；環境理解，讓手機可以檢測平坦的表面（例如地面）的大小和位置，放置醒目的標記，作為觀察管道模型的參照點；光估測，讓手機估測環境當前的光照條件，使得管道模型的明暗程度與真實世界相協調，增強管道模型的沉浸感。

4 實驗測試與結果分析

4.1 虛實融合可視化測試

為了測試虛擬管道在現實環境中的可視化效果，做了以下兩組對比實驗。

（1）評估管道模型漂移情況。在世界坐標系中（1，-1.5，1）處放置一個醒目的標記模型，記錄標記模型的平移距離來定量的評估管道模型漂移長度。實驗過程是手持移動設備在5 m×5 m的區域中走動，保持移動設備的攝像頭高度距離地面1.5 m，實驗時長為10分鐘，分別在第1分鐘、4分鐘、7分鐘、10分鐘記錄標記模型的位置。由于手機長時間運行會發熱，影響位置數據的精準度，因此將實驗時長定為10分鐘。以標記模型為中心，從標記模型的前后左右4個角度進行觀察，前方和后方兩個視角的測試圖如圖4 所示。由于現實環境光線的存在入射傾角，標記模型在前后視角下呈現明暗程度不同的效果且漂移范圍較小。

圖4 前方和后方視角的漂移測試圖

上述4 組實驗，每組實驗做了20 次，每組實驗結束后，退出AR程序并關閉后臺運行程序，等到手機冷卻下來再進行下次實驗。實驗時長越長，X 軸和Y 軸坐標產生的漂移越大，10 分鐘內產生的漂移值在0.1 m 左右。實驗結果如表3所示，該偏差主要由VIO算法產生的漂移誤差造成，統計20次實驗的X 軸和Y 軸位置的偏差范圍是0.01～0.02 m。

表3 標記模型15 min內的漂移長度

（2）測試對管道模型的跟蹤情況。圖5展示了每天同一時刻測試的從左前方、右后方、正視、俯視4個不同角度觀察的管道模型，管道位置和軸向基本符合實際情況。手持移動設備可在管網中穿行，能夠清楚知道管道之間的空間關系。

4.2 交互測試結果

本設計根據城市地下管網的管理需求設計了用戶與管道模型之間的交互方式，用戶通過移動設備的屏幕可看到虛擬管道疊加在現實環境中，用戶需了解附近管道的詳細信息時，可點擊手機屏幕中的管道模型，在被點擊的管道旁邊會出現一個虛擬的UI 界面，顯示了從服務器獲取到的管道屬性數據，通過添加C#腳本可控制UI 界面始終正對著用戶屏幕，當用戶從不同角度觀察管道模型時，可清楚看到UI 界面的內容。可點擊UI界面的其他按鈕來實現更多交互，點擊界面的任意位置即可關閉UI界面。交互測試結果如圖6所示。

圖5 管道模型的空間關系

圖6 交互界面

5 結束語

本設計利用AR 技術，提出了新的地下管道可視化管理方式，并且是一種基于智能手機的實時定位系統，通過采用虛實融合的設計，極大提高了沉浸感和交互體驗，且提供了管網管理的空間決策支持能力。通過ARCore SDK開發管道虛實融合的功能，提高了管道模型渲染和跟蹤的魯棒性；采用基于BDS 的定位服務和七參數坐標轉換法，實時獲取用戶的高精度位置坐標；采用人機交互設計理念實現管道模型的交互方式，可靈活觀察管道的空間和屬性信息。本設計有效解決了用戶依靠傳統管道圖紙和VGE進行城市地下管道設計和施工過程中，決策不靈活、管道數據查詢不便捷、管道空間感不強等問題，為城市地下管道智慧化管理提供了技術方案探索，可更好地服務于智慧城市建設。