基于混合現實技術的室內設計應用研究*

王 麗

（湖南環境生物職業技術學院，湖南 衡陽 421000）

混合現實（Mixed Reality，MR）技術作為虛擬現實技術的進一步發展，和人工智能、量子計算并稱為三大未來顯著提高生產率和體驗感的主要技術，是當下各領域重點關注的焦點。MR 技術應用于室內設計行業中，憑借其沉浸性和強交互性的特點，能實現真實世界和虛擬世界融合的三維可視化，更加直觀地展示室內設計的各空間效果和細節工藝。在建筑、室內領域，借助全息MR 設備，從業者可以看到3D 設計模型在真實環境中的全貌[1]，為優化設計方案和提高工作效率提供了有力支撐。在當前積極推動室內設計創新發展的背景下，越來越多設計師將MR 作為技術創新的重要切入點，以期更好地挖掘室內設計的潛能。

1 混合現實技術概述

1.1 泛虛擬現實技術的發展現狀

我國的虛擬現實（Virtual Reality，VR）技術起步于20 世紀80 年代，相較于國外起步晚，但這些年發展迅速，目前VR 技術已成熟應用于游戲娛樂領域，在軍事領域和醫療領域等都有卓越的貢獻。增強現實（Augmented Reality，AR）技術的應用非常廣泛，從社交、娛樂到電商、旅游，都能看到AR 技術身影的存在。諸如在電商領域，應用AR技術進行帽子、眼鏡的試戴，方便消費者挑選合適的產品。而混合現實（Mixed Reality，MR）技術雖晚于前兩者，在工業領域、教育領域、醫療領域、娛樂領域等領域，都擁有了諸多成功的落地案例。諸如湖南首例MR 骨科手術的實施——該手術應用MR 技術，在手術過程中將患者的全息影像疊加到患者真實的髖部和現實手術環境中，實現現實和數字化匹配，醫生戴上MR 眼鏡，就如同變成透視眼，精準地定位和切除患者的病灶部位。在建筑領域，利用MR 技術具有的現實與虛擬融合的特性，可將建筑設計的模型疊加到施工人員的視覺場景中，與建筑施工圖紙等傳統的方式相比，MR 呈現的方式直觀易理解，可更好地提高施工效率。

1.2 混合現實與虛擬現實、增強現實的關系

VR，顧名思義，就是在虛擬環境中發生的交互式體驗，虛擬現實技術。

主要是通過計算機技術，逼真模擬真實世界的虛擬環境，通過使用一些交互設備，能使人產生沉浸感和臨場感。用戶可以帶上VR 頭盔，里面的畫面隨著頭腦的擺動而相應呈現出不同畫面，仿若置身于真實世界一般，但它是利用電腦技術構筑而成的虛擬世界（見圖1）。

圖1 虛擬現實技術的應用

AR 技術是通過將真實的環境和虛擬的信息實時疊加在一起，不僅同時展示了現實世界的信息，而且將虛擬的信息展示出來，以達到增強現實的效果。因為需要將現實場景和虛擬信息進行結合，所以要通過圖像識別技術來進行現實世界的識別（通常包括環境識別、物體識別、人臉識別），進而在現實世界中疊加虛擬信息。近年來，隨著AR 技術的快速發展，其已廣泛應用于醫學、虛擬訓練、武器研制、娛樂藝術等領域。

三“R”被業內統稱為泛虛擬現實技術，其相同之處都是以計算機技術為核心。VR 技術和AR技術的區別在于，VR 是通過計算機技術創建逼真的三維虛擬環境；而AR 技術是將虛擬信息疊加到真實世界以達到增強現實的效果，其特點是將虛擬信息帶入現實世界；MR 技術是在AR 技術和VR技術的基礎上發展而來，既包括VR 技術，又包括AR 技術，是將虛擬信息和現實世界進行完美融合從而產生新的可視化環境，其最大的特點是在虛擬中保留現實，將現實轉化為虛擬，從而生成交互式逼真場景并實現實時互動。

1.3 混合現實技術的特點

MR 技術，業內常認為其是升級版的AR 技術，具有結合虛擬和現實、3D 注冊、實時運行3 個特點[2]。虛擬和現實結合指的是使虛實融合于一體顯示在同一視線中，在MR 技術所展示的現實和虛擬合并的新可視化環境中，物理和數字化對象能同時存在，且數字化對象能以非常逼真的存在方式融入現實世界中，打破真實空間和虛擬空間的隔離性，并就此達成交互，給人渾然一體的真實體驗感；3D 注冊，是對現場場景中的物體進行跟蹤和定位，其中虛擬場景準確定位到真實環境中的過程稱之為注冊，三維注冊就是實現虛擬物體可與現實世界的精確對準；實時運行，將虛擬世界、現實世界與用戶通過觸摸、體感、語音、手勢等方式進行實時交互，形成現實、虛擬和用戶間構建信息交互反饋的回路，用戶與虛擬現實系統之間可以進行溝通和交流[3]。

2 混合現實技術應用于室內設計中的優勢

室內設計是一門綜合性很強的學科，它對設計從業人員的設計能力和實踐操作能力都有較高的要求，從設計表達、燈光照明、工藝技術到裝修選材，每一處細節的變化都影響著室內設計的最終效果。傳統室內設計常存在落地現場圖與設計效果圖差距大、空間的展示具有局限性、工藝結構復雜難表達等難題，這些問題在一定程度上影響了室內從業人員的專業能力的提升和最終落地的設計方案的效果。MR 技術應用于室內設計中，是在其傳統模式的基礎上使用先進技術手段進行輔助，從而一方面滿足客戶的多元化需求和沉浸式體驗需求，另一方面MR 技術應用于室內設計中，也提升了設計師的設計水平和工作效率。

2.1 形成深度沉浸效果，優化室內空間體驗感

應用MR 技術可將原本圖像化、文字形態的設計轉變為立體化、可視化的設計，將原本復雜的設計表達手法和工藝內容通過全息技術轉化為真實可視的三維逼真環境效果，并將真實空間和模擬出的逼真室內模型進行融合，生成虛擬和現實難以區分的MR 環境。將其用于室內設計洽談階段中，能夠實現客戶移動終端的直觀展示和深度沉浸效果。客戶通過佩戴MR 頭顯設備，可以360°直觀感受室內設計的最終效果，隨著客戶視線的移動變化，追蹤裝置跟蹤客戶視線并快速實現客戶真實空間坐標和虛擬場景坐標間的匹配關系，將真實場景和虛擬場景完美融合并反饋給客戶，從而為客戶創造深度的空間沉浸式體驗，促進快速成單。

2.2 強交互性，大幅度提升設計水平和工作效率

室內設計涉及的專業門類多樣復雜，且在實際的設計過程中需結合室內設計的具體要求和特點，因而對設計從業者的技術和實操能力要求較高，對缺少經驗的設計人員而言，無形中增加了難度。MR 技術可根據室內設計職業的訴求，就其所具備的真實性、實時交互性強的特點進行虛擬和現實的深度融合，并就室內設計的各個階段進行模擬可視化和互動性操作，這能讓設計人員更好地參與到各階段的具體操作和實施中去。沉浸式的模擬與實踐能夠使設計人員快速進入工作狀態，并及時發現問題、解決問題，促進建筑室內設計人員水平的進一步提高[4]。從而大幅提升設計人員的工作效率，便于設計人員進行室內設計與實施，并就施工效果進行階段性對比和驗收。MR 技術作為一項新興技術，對于提升設計水平、優化設計過程以及改善設計環境等方面具有重要意義，但還需進行進一步完善與發展，增強此項技術的現實意義[5]。

3 基于混合現實技術的室內設計應用研究

MR 技術應用于室內設計中，主要體現在虛擬素材資源庫的構建、沉浸式的效果體驗和強互動性操作3 個方面。

3.1 室內三維影像模型資源庫的建立與整合

MR 技術能夠以真實環境和虛擬信息為基礎，構建出虛實結合的室內空間。因而為了更好地進行現實和虛擬的融合與互動，在室內設計中，虛擬資源庫的建立和豐富顯得尤為重要。虛擬資源庫主要由三維影像模型所組成，進行三維影像模型制作的第一步是通過常規三維建模軟件進行建模，其模型在設計時需具備基本的移動、縮放、旋轉等功能，三維影像模型可通過FBX 格式導出，導出的模型能在常規的三維軟件如3Ds Max 或CAD、Sketch UP 中進行材質的更換調整，修改調整的模型通過FBX 格式導出，最后經編程成可實現的三維影像模型。MR 技術借助三維注冊技術將三維影像模型（如天花造型）精確注冊在真實空間環境中，并通過交互技術（眼動交互或手勢交互、語音交互）進行模型的放大縮小和拆卸、組裝，由于室內設計涉及室內空間各界面裝飾和家具、燈飾、布藝軟裝飾品、綠植等方面的搭配設計，在進行三維影像模型建設時需考慮模型資源庫品種的全面性和完整性。

3.2 基于混合現實技術的沉浸式室內設計流程

傳統的室內設計方案通過圖紙和效果圖呈現，具有一定的局限性，以MR 技術作為用戶和環境的導向媒介，通過MR 技術進行全息投影，將室內設計方案進行在線設計和展示，能夠幫助設計人員更快地接觸室內設計的空間設計、各界面設計及設計搭配等，沉浸式的可視化效果可幫助設計人員直觀看到室內空間效果，從而可快速地進行調整和進一步細化。

具體的操作是設計從業者佩戴HoloLens 就能做到將虛擬三維影像模型與真實環境完美融合，佩戴者能根據視覺的變化和走動看到實時更新的動態導向信息，仿佛身臨其境，完全沉浸于當前的空間環境中；室內空間中各界面的設計（地面、立面、天花的設計），采用MR 技術能夠進行全息投影，將真實的空間與虛擬資源模型進行融合，將虛擬界面模型疊加融合到現實的空間界面上，進行在線設計，空間效果快速直觀地呈現在眼前，且虛擬的室內界面模型的各項分部都能夠通過HoloLens 進行滑動、抓取等虛擬觸控手勢來完成交互的操作指令，并通過視動交互技術和語音交互技術進行全屋漫游和模型拆解更換，呈現最終的室內設計效果。MR技術真實的現實視覺效果和強交互性特點能大幅度提升設計人員的新鮮感與自我獲得感，基于這一特點，將MR 技術應用于室內設計中，通過沉浸式設計進行行業的變革突破，加速行業的發展。

3.3 提升交互性，增強目標客戶多感官體驗

皮亞杰指出：人的認知發展源于與所處環境物體交互所發生的動作[6]。傳統室內設計作品因技術的局限性往往只能通過圖片等靜態的形式來展示室內風格和布局、裝飾，客戶只能根據圖片了解一個大概的空間效果，對于室內的大小感受、動線走向、材質肌理、空間氛圍等都難以感同身受，MR 技術打破了傳統室內設計模式，將現實空間與虛擬資源完美融合，滿足客戶想要的視覺沉浸感，同時其優越的交互性可以更加逼真地、生動地傳達室內信息，并達成感官互動，使客戶獲得了傳統室內設計在現實世界無法實現的參與感。現階段，MR 技術的交互技術主要通過HoloLens 來實現，其各個傳感器采集的信息都通過頭戴設備計算并處理。具體操作是客戶佩戴MR 頭顯設備進入其現實的室內空間與虛擬模型融合的場景中，此時客戶的可視范圍為一個以用戶頭部為視點的錐形區域范圍，當佩戴者往前走或移動視線時，其空間的視覺范圍也會根據客戶定位和視覺跟蹤系統進行快速的轉換。若客戶想通過DIY 進行室內家具的更換和移動時，可通過注視、手勢或者語音等方式進行交互。例如，通過手勢進行交互時一般采用直接用手操作，用手抓取、拖動虛擬模型的方式，并在頭顯設備中能夠得到相應的視覺反饋。除視覺體驗外，在室內設計中MR 技術結合觸覺反饋技術，為虛擬模型和人之間建立信息溝通的橋梁，通過觸覺反饋技術能讓客戶感受到室內各種材質的觸感肌理。實際操作中，客戶佩戴力反饋設備如觸覺手套HaptX，就可以感受到虛擬模型的真實存在，感受其軟硬和紋理狀態。MR 技術通過提高客戶的視覺、觸覺等感官體驗，能夠讓客戶直觀地觀看到真實空間通過設計表達所呈現的空間特點，而其交互性又加強了人與室內設計的互動交流，使客戶能夠主動參與到室內設計中來，拉近設計者和用戶之間的距離，真正做到以用戶為中心的設計。

4 結束語

MR 技術作為一種融合現實世界與虛擬世界的新技術，因在教育、醫療、娛樂領域應用前景廣泛而備受關注，在室內設計中，MR 技術所提供的沉浸式和強交互性的體驗，滿足了室內設計想要達到的逼真感和深沉浸式、空間展示與互動的效果，突破了傳統室內設計模式的局限性，很好地解決了室內設計領域存在的問題。隨著MR 技術深度融入室內設計中，未來將給室內設計行業帶來翻天覆地的變化。

目前MR 技術還處于快速發展中，仍然存在一些技術上的問題需要去攻克。例如，設計行業應用MR 技術，存在前期投入成本高、可利用的資源少、MR 技術還不太成熟的問題，在實際的室內設計應用過程中并不能非常完美的實現混合現實效果，還存在一些技術上的問題需要行業慢慢去解決。