HoloLens混合現實技術在建筑行業中的應用研究

摘 要：虛擬現實技術的不斷發展，衍生出增強現實技術和混合現實技術。HoloLens是混合現實的代表設備。隨著BIM技術越來越多地應用于建筑行業，結合最新的HoloLens混合現實技術，給建筑行業帶來許多新的應用研究領域：建筑方案可視化、模型設計協同化、施工過程信息化以及運營維護高效化。

關鍵詞：混合現實；HoloLens；建筑行業；虛擬現實；增強現實

中圖分類號：TP391.9；TU204 文獻標識碼：A 文章編號：2096-4706（2019）04-0147-03

Application Research of HoloLens Mixed Reality Technology in

Construction Industry

GONG Chibing

（Guangdong Polytechnic of Water Resources and Electric Engineering，Guangzhou 510925，China）

Abstract：The continuous development of virtual reality technology has spawned augmented reality technology and mixed reality technology. HoloLens is a representative device for mixed reality. With the increasing application of BIM technology in the construction industry，combined with the latest HoloLens mixed reality technology，it brings many new application research fields to the construction industry：architectural solution visualization，model design collaboration，construction process informatization as well as operation and maintenance with high efficiency.

Keywords：mixed reality；HoloLens；construction industry；virtual reality；augment reality

0 引 言

虛擬現實（Virtual Reality，VR）是通過計算機技術生成逼真的三維虛擬對象，構成包括聽覺、視覺和觸覺等集成的虛擬環境。用戶在此虛擬環境之中，借助手柄等設備，與虛擬對象形成交互，從而產生親臨其境的感受。在VR之中，用戶所感知的對象或者環境，都是計算機生成的“虛擬現實”。目前，虛擬現實技術已經廣泛運用到許多領域。

VR技術在各項應用之中，主要包括建模、模擬和人機交互等過程。其中建模的工作量大、成本較高，虛擬對象或者環境的可信度有待加強等，因此，增強現實（Augmented Reality，AR）技術應運而生。AR技術，將計算機生成的虛擬物體或者信息，添加到真實的物理世界之中，從而實現對真實物理世界的增強。在AR技術中，由于虛擬對象只是用來增強現實，因此有效降低了三維建模的工作量。

混合現實（Mixed reality，MR），則是一種將真實世界和虛擬對象融合在同一視覺空間中，顯示和交互的計算機增強現實技術。如果將真實環境和虛擬環境，分別位于一維坐標空間橫軸的左端點和右端點，那么，AR位于橫軸的左端區域，VR則位于橫軸的右端區域，MR則位于除去左、右端點之外的中間連續區域[1]，因此，MR包含AR和VR，AR和VR均是MR的子集。

2015年1月，微軟公司發布了一款名稱為HoloLens的MR設備。HoloLens運行在Windows 10操作系統之上，包含一個中央處理單元（CPU），一個定制設計的全息處理單元（HPU），以及各種類型的傳感器、光學透鏡等，是全球第一個無線纜約束的全息計算機設備，用戶可以與物理世界中的虛擬影像進行交互，具有更好的用戶體驗。HoloLens具有不受線纜限制、佩戴方便、便于使用等特點。用戶在頭戴HoloLens之后，首先需要掃描識別所在的真實空間，然后將虛擬場景融合到被掃描的真實空間之中。并通過手勢、目光和語音與虛擬對象進行交互。

2016年8月，日本航空公司使用HoloLens培訓飛機的發動機是如何工作的。將全息的發動機放置在被培訓的人員面前，從而讓被培訓人員可以進入和研究發動機的不同部件。可以調整發動機的顯示大小，甚至與實際大小一樣。可以看到飛機的機械運轉。最終減少培訓成本。基于HoloLens的MR技術還應用于國外的許多其他行業，如游戲娛樂、醫療、汽車設計和培訓等。

國內某些行業已經開始運用基于HoloLens的MR技術。在核電站的設備維修中[2]，采用HoloLens的MR設備，開發了包括交互、仿真、分析、指導和監督五個功能模塊的核電站設備維修輔助系統。該系統可以指導維修人員行走到正確的位置維修操作，并實時監控，如果維修人員有錯誤操作，系統就會發出警告并指引如何改正錯誤，有效提高維修效率。在軌道交通行業的新產品設計過程中[3]，通過MR技術，可以數字化呈現完整或者部分的新產品，設計人員可以進入系統內部，分析、體驗產品的結構是否合理，是否符合人性化的使用需求等，從而減少變更周期，降低成本，有效提高企業競爭力。

在肝臟切除手術中初步應用HoloLens[4]，在手術前獲得磁共振檢查數據，構建肝臟的三維模型，并在手術前利用HoloLens仔細查看肝臟的三維模型，完善術前的評估。在手術期間，將HoloLens中的三維肝臟模型與靶器官的肝臟精確匹配，便于指導肝臟的切除手術。

MR技術結合BIM技術，在建筑行業具有廣泛的應用前景，對其中的應用領域進行研究具有重要意義。

1 虛擬現實、增強現實和混合現實技術概述

1.1 虛擬現實技術

VR技術具有3個特征，分別是沉浸（Immersion）、交互（Interaction）和構想（Imagination）。沉浸，指的是用戶在虛擬的環境之中所感受到的真實程度；交互，指的是用戶對虛擬對象的可操作性以及從虛擬環境得到的反饋程度；構想，則指的是用戶在虛擬環境之中沉浸，獲取新知識，啟發思維。

VR的關鍵技術是：建模方法、表現技術和交互方式及設備。

在建模方法中，包括基于深度圖像的建模。還包括材質光照建模法、體積光照模型、場的建模方法、基于物理的建模以及行為建模法等。

在表現技術上，包括視覺表現技術，如真實感光照計算、復 雜紋理映射、自然景物繪制、基于圖像的繪制；聽覺表現技術；力、觸覺表現技術；嗅、味覺表現技術等。

在交互方式及設備上，包括場景顯示方式及設備，如頭盔式顯示、桌面式顯示、投影式顯示、手持式顯示、自由立體顯示；力、觸覺交互方式及設備，如力反饋操作桿、觸覺數據手套；跟蹤定位方式及設備：如有源跟蹤定位、無緣跟蹤定位；行走交互方式及設備，如踏板行走式交互、地面行走式交互、傳動平臺式行走交互等。

1.2 增強現實技術

AR技術是在真實環境中的正確位置，實時顯示虛擬對象，包括文字、圖片等三維對象信息，讓用戶感知。AR的關鍵技術是顯示技術、跟蹤和定位技術以及人機交互可視化技術。

目前AR的顯示技術主要有三種，分別為頭盔顯示器、手持式顯示器和投影顯示器。投影顯示器將虛擬對象投影到真實環境中，讓用戶感知對真實環境的增強。

跟蹤和定位技術，指的是對使用者頭部的跟蹤和定位。對于頭戴式頭盔顯示器而言，跟蹤方式分為基于傳感器的跟蹤和基于視覺的跟蹤。

人機交互和可視化技術，指的是用戶與AR技術之間的交互方式、用戶界面和虛擬對象的可視化。目前的交互方式分為手勢、語音、數據手套等。

1.3 混合現實技術

MR技術將所需要的虛擬對象附加在真實世界中，融合真實世界和虛擬世界，是一種新的可視化環境。通過空間映射、全息投影技術、人機交互技術和傳感技術，MR技術為用戶提供半沉浸的環境體驗，用戶既能感知真實環境中的現實對象，又能感知虛擬對象，并與虛擬對象形成交互，有效增強了用戶對真實世界的感知能力。

一般認為，MR技術與AR技術基本無差別。事實上，MR技術既包括AR技術，又包括VR技術，AR技術和VR技術是MR技術的子集。

在MR技術中，虛擬對象可以在整個用戶的場景之中占少量部分，也就是說，真實世界的場景占主要部分，此時的MR與AR差別不大，隨著虛擬對象的占比越來越大，此時的MR就會向VR過渡，最終成為VR。

2 混合現實技術在建筑行業中的應用

BIM技術越來越多地運用到建筑行業，結合MR技術，為建筑行業帶來新的應用研究領域：建筑方案可視化、模型設計協同化、施工過程信息化以及運營維護高效化。

2.1 建筑方案可視化

基于HoloLens的MR技術運用于建筑行業，最大量、最容易的應用就是建筑方案的可視化演示。在工程投標之時，投標人與評標方可以佩戴HoloLens全息眼鏡，瀏覽三維建筑方案，實現對選擇部分的縮放、平移和旋轉等操作[5]。以真實的尺寸呈現該建筑方案，業主可以瀏覽建筑內部的結構和細節，以及周邊環境、光照效果等，可以更加全面地感受并了解物理環境中的建筑方案，對相關區域的建筑方案有整體的認知，以便正確評估該方案的優缺點。

具體實現的過程是：將通過BIM技術創建的Revit模型導出為FBX格式，然后將該FBX格式的文件導入到3D Max軟件中，設置相關的材質和貼圖，再通過導出的FBX格式文件，導入到Unity3D，在Unity3D中開發相關的交互功能，最后發布到HoloLens全息眼鏡之中實現建筑方案的可視化演示。

有時建筑方案的可視化還需要在工地現場演示，這就需要實現虛擬的建筑方案與現場的實體構建準確匹配。可以在工地現場放置待識別的圖像，利用Vuforia平臺識別該圖像，從而獲得虛擬建筑方案的準確定位，在工地現場較為逼真地呈現將要實現的建筑方案。這種可視化方案，將傳統的電腦屏幕轉變到工地現場，可以更好地在真實環境之中，對建筑方案進行充分的交流和完善的評估。

2.2 模型設計協同化

目前一般是通過數字化的計算機圖紙來實現建筑模型的設計，在傳統設計過程中的許多交流通過文字和二維的圖像來表達，不直觀，讓人費解，影響了設計人員之間的有效溝通。BIM技術的應用，讓設計人員之間的交流，可以采用三維模型來呈現，信息表達充分，非常直觀、容易理解。

對建筑結構的檢查是高強度的、耗費時間的并且易受人為錯誤的影響。通過可視化的三維模型，設計人員能夠直觀地看到所有數字信息和物理信息，能夠更快地交叉引用、報告和檢查相關方面。

采用HoloLens的MR技術，多名設計人員佩戴HoloLens全息眼鏡，在同一位置空間中，通過可視化的三維模型來交流模型的設計，通過對三維模型的交互操作，在沉浸式的環境中充分表達模型的設計理念。基于統一的后臺BIM模型數據庫，設計人員可以在線完成模型的創建、修改、刪除等相關操作，實時更新BIM模型數據庫，實現模型設計的協同化，極大提高模型的設計效率。

2.3 施工過程信息化

通過BIM與MR技術在施工過程中的信息化管理，能夠持續改進施工過程的質量。

在施工過程中可以巡檢工地現場，通過調用BIM數據庫中的相關施工信息，與工地現場相比較，從而發現問題，以便做出正確、合理的決策，監督施工過程。另外，技術人員基于現場的施工數據，可以對BIM數據庫中的相關施工信息進行修改、刪除等操作，實時更新相關數據，實現施工過程管理與BIM數據庫同步，相關人員能夠及時發現和處理施工過程中出現的質量問題。這樣就實現了施工過程信息的雙向流通，通過BIM數據庫中的相關施工信息，指導現場施工；通過HoloLens采集施工數據，反饋到BIM數據庫中，使建筑模型不斷優化，實現對施工過程的有效監控。

在施工現場，施工人員通過佩戴HoloLens全息眼鏡，預先瀏覽管線等安裝位置，可以比較容易地發現管道的碰撞問題以及布置的不合理等問題，以便及時修改施工方案。

在施工現場，施工人員通過佩戴HoloLens全息眼鏡，親身感受BIM模型交底，幫助施工人員理解施工工藝和施工方案，提高施工質量。

2.4 運營維護高效化

在項目竣工交付之后的試運行階段，通過MR技術可以模擬項目的運行場景，培訓相關員工的運營和維護。如消防應急演練的培訓等。

在項目的運營維護階段，BIM技術雖然讓管理人員擺脫了繁雜的運營維護手冊，相關數據通過直觀的模型來呈現，有效提高了維護運營的效率[6]。但是這些數據沒有進一步的交互功能，需要進一步挖掘利用。

基于HoloLens的MR技術，為BIM模型的數據和真實世界的交互提供了一個橋梁式的連接通道。如管道維修人員在維修過程中，佩戴HoloLens全息眼鏡，通過查看BIM數據庫中的模型數據，可以獲得相關隱蔽的管道信息，并將這些隱蔽的管道以三維的形式較為準確地放置在真實空間中，方便維修人員進行維修。如電梯維修人員在電梯現場，通過HoloLens全息眼鏡，瀏覽待維修的電梯設備信息和故障狀態，就可以得到需要維修的詳細步驟和指導建議，如遇到不能解決的問題之時，可以通過遠程協助，將現場維修等畫面實時傳送到后臺的工作人員，后臺工作人員引導現場人員最終解決復雜的現場問題。

另外，維修人員通過HoloLens，可以移動巡檢，采集相關傳感器的數據，獲得設備運行的狀態數據，從而實時監控設備的運行狀態。

參考文獻：

[1] Milgram，Paul，Kishino，Fumio. Taxonomy of mixed reality visual displays [J].IEICE Transactions on Information and Systems，1994（12）：1321-1329.

[2] 李喆，陳佳寧，張林鍹.核電站設備維修中混合現實技術的應用研究 [J].計算機仿真，2018，35（5）：340-345.

[3] 湯卓慧，朱培毅.虛擬現實、增強現實和混合現實及其在軌道交通行業中的應用 [J].鐵路通信信號工程技術，2016，13（5）：79-82.

[4] 石磊，羅濤，張理，等.HoloLens眼鏡在肝癌切除手術中的初步應用 [J].中南大學學報（醫學版），2018，43（5）：500-504.

[5] 邵兆通，何兵，初毅.混合現實技術在建筑工程中的應用研究 [J].土木建筑工程信息技術，2017，9（3）：43-46.

[6] 初毅，邵兆通，武濤.基于MR+BIM技術的信息化建筑工程應用探討 [J].土木建筑工程信息技術，2017，9（5）：94-97.

作者簡介：龔赤兵（1964-），男，漢族，湖北武漢人，副教授，研究方向：計算機應用。