基于混合現實技術的中國建筑史教學系統設計與實現

姚陸吉 章立

摘 要：針對傳統中國建筑史教學建筑結構繁雜、局限于二維平面化教學、不易于學生理解等問題，提出構建一種基于混合現實技術的中國建筑史教學系統的實現方法。選取寧波保國寺大殿木構體系作為研究案例，采用混合現實設備微軟HoloLens作為案例的教學平臺。首先，基于收集的數據，在3ds Max中對保國寺大殿木構體系進行三維仿真建模，建立建筑模型庫;然后，在unity3D中構建虛擬教學系統的三維空間操作界面，利用C#腳本，實現環境理解和多種人機交互等關鍵技術，構建以建筑結構識別和文化認知為核心功能的HoloLens教學系統。結果表明，該系統具備良好三維可視化的視覺效果和自然高效的人機交互方式，能有效提高知識的傳遞效率和學生的學習主動性。

關鍵詞：混合現實;交互特征;三維空間界面;教學系統

中圖分類號：TP391.9

文獻標志碼：A

Design and implementation of Chinese architecture history teaching system based on mixed reality technology

YAO Luji， ZHANG Li*

School of Digital Media， Jiangnan University， Wuxi Jiangsu 214122， China

Abstract：

The teaching of Chinese architecture history has building structures too complex， is limited to 2D planar teaching and is not easy for students to master and apply， therefore an implementation method of Chinese architecture history teaching system based on mixed reality technology was proposed. The wooden structure system of Baoguo Temple in Ningbo was taken as an example， and the mixed reality device Microsoft HoloLens was used as the teaching platform. Firstly， 3ds Max was applied to the 3D simulation modeling of the wooden structure system of Baoguo Temple based on the collected data， and a building model library was built. Then， the 3D human-computer interface of the virtual teaching system was constructed in unity3D， the key technologies were used including environment understanding and human-computer interaction based on C# scripts， and a Chinese architectural history teaching system using HoloLens was implemented with core functions of building structure recognition and cultural cognition. The results show that the system has good 3D visual effects and natural effective human-computer interaction， which can improve the efficiency of knowledge transfer and the initiative of students.

Key words：

mixed reality; interactive feature; three-dimensional space interface; teaching system

0 引言

近年來，虛擬現實（Virtual Reality， VR）和增強現實（Augument Reality， AR）日趨成熟，并已經較多地應用于當代信息化教學中，而混合現實（Mixed Reality， MR）技術的出現是隨著2015年微軟的混合現實設備HoloLens的發布而逐漸進入應用領域的。混合現實技術目前更多地應用于航空航天[1]、船舶制造[2]等行業的科研領域，在建筑教學領域的成熟應用還相對較少。在傳統的中國建筑史教學中，往往以教師授課、學生聽講為主，輔之以教材文字、圖片和相關視頻等，中國木構建筑的構造往往比較繁雜，學生對于建筑的體量關系、結構設計方法和比例規則、空間形式和空間組合以及材質紋理等建筑信息[3]，只有理性認識，缺乏感性認知;同時，由于時間的不可逆性，每一個歷史建筑都有其獨特的性格特征，建筑現象背后的藝術思想、社會觀念和歷史文化，都賦予歷史建筑非常重要的意義，針對這部分內容的教學，很難通過單一的文字和圖片來講述[4]。因此，當代人對中國古代建筑研究的匱乏，對建筑文化缺乏真正的理解，是建筑理論薄弱的重要原因。結合MR的教學模式提供了一種全方位的、立體的、多角度的建筑解讀，通過將詳細的文字、影像資料、視頻和三維模型、語音解說等信息對古建筑進行詳盡的詮釋，使枯燥、晦澀難懂的建筑史知識變得清晰、生動而更易掌握，彌補了傳統平面化建筑歷史教學的單一性，解決了學生無法親身到現場觀摩體驗的局限性;通過構建豐富的交互方式和交互反饋，達成多感官沉浸的觀察方式，使學生在與周圍環境自然交互的過程中充分發揮其主觀能動性和自主性，建立知識與交互之間的鏈接，培養學生對歷史建筑的認知和理解能力，了解古代建筑的性格特征和藝術內涵，增強學生在空間和時間層面上對建筑的理解;營造虛實結合的視覺效果場景，讓學生靈活使用肢體動作和各種虛擬道具，以此模擬實際技能的操作，提高學生的思考能力和實踐能力，同時也為學生提供主動探索和互動交流的機會[5]。

混合現實技術是虛擬現實的進一步發展，結合了虛擬現實和增強現實的優勢[6]，通過攝像頭、傳感器和定位器實時獲取真實世界的物理信息，利用位置跟蹤軟件和空間地圖技術，將真實世界的物理環境與計算機生成的虛擬場景信息相疊加，呈現給用戶虛實融合的畫面;同時，具備對環境的感知能力和理解能力，而真實環境中的物理定律仍然對計算機生成的虛擬世界起作用。混合現實通過真實物理世界、增強世界和虛擬世界的深度融合，以及對人類自然行為和動作的理解，構建一個與人類感官相匹配的、虛實結合的、多通道反饋的具身交互空間[7]，是人類、計算機和與環境互動的一個發展趨勢。

隨著互聯網技術的發展和相關技術研究的深入，越來越多的混合現實設備相繼發布，如Magic leap、微軟HoloLens，以及惠普、戴爾、三星和宏碁推出的Windows MR頭戴顯示設備等。同時，對于與混合現實相關的仿真技術研究也是當前的一個熱點，各種虛擬仿真系統不斷被開發利用。這些探索和發展都為新的教學模式提供了技術和設備條件。在教學中引入混合現實技術是互聯網技術和教育相結合必然的發展趨勢，是對主流教學形式的一種豐富和補充。

本文在全面分析混合現實技術交互特征的基礎上，根據當代信息化教學的需求，應用最新的MR技術并結合建模技術、三維動畫及網絡通信等技術，設計并實現一款面向中國建筑史教學的混合現實教學系統。本次開發采用了混合現實設備微軟HoloLens作為案例的教學平臺。

第9期

姚陸吉等：基于混合現實技術的中國建筑史教學系統設計與實現

計算機應用 第39卷

1 混合現實技術及在教學系統中的應用特征

1.1 HoloLens原理和功能介紹

混合現實是一組技術組合，不僅提供了新的輸入方法，還提供了新的虛擬影像的呈現方式，并且將這些方式相結合，提供了新的創新方式和發展方向。混合現實技術對于物理環境空間三維構建主要是通過輸入設備來實現的。攝像頭是最重要的輸入設備，大量的位置跟蹤和對環境的識別和理解都是通過攝像頭獲取的。攝像頭作為采集信息的基本設備，核心技術是對深度信息的獲取，而對于深度信息的感知是人類獲得立體視覺的前提，也是構建三維物理環境空間的基礎。微軟HoloLens在使用四個環境感知相機的基礎上，另配有一個基于TOF原理的深度攝像頭，通過不同角度獲取的深度信息，實現對物理空間的信息感知和實時的三維虛擬模型構建。

研究證明，人的信息獲取主要來源于視覺，人眼是獲取外界信息的最主要的感知通道。通過不同的深度層將計算機生成的數字化信息呈現給用戶，可以模擬人眼所能看到的真實世界效果，讓用戶感受虛實融合場景動態變化的景深。因此，混合現實影像的輸出平臺對于用戶的視覺體驗非常重要。HoloLens是一款視頻透視型HMD設備，采用視頻透視技術，根據頭部的傳感器提供用戶的位置和姿態信息，以確保實時渲染設備鏡片上的用戶視點所對應的場景;根據攝像頭采集用戶所處真實世界的信息并數字化，通過計算機算法實時渲染畫面，生成全息影像并呈現給用戶虛實融合的視覺畫面。

由于HoloLens設備不受線纜和聽筒的控制，且無需手柄等外接設備，學生可以在虛實結合的場景中隨意走動，通過頭部的旋轉控制視點位置，使用自然的交互方式與周圍信息進行互動，全息影像會及時獲取學生的位置、姿態、發出的指令以及所處環境信息的變化，并作出相應的改變。

1.2 混合現實系統的交互方式特征

混合現實場景由于空間維度的不同，導致交互邏輯的不同。混合現實場景交互信息的熱點是分布在物理空間場景中的，由此其信息的組織方式與傳統的基于屏幕的二維空間的信息組織和交互方式有著很大差異。基于混合現實的交互方式使用戶可以用手勢、語音等自然的交流方式，與物理空間的虛擬對象進行交互，在保持人對物理世界感知和交互的基礎上，將人的感知和交互延伸到虛擬世界中，并且符合人類的行為邏輯。結合微軟HoloLens設備的混合現實系統交互方式具有如下特征：

1）交互過程中主體位置和物理世界三維結構信息的實時獲取。HoloLens通過攝像頭實時獲取真實世界的三維物理結構，以及用戶的物理位置和姿態信息，并將該物理信息映射到計算機生成的虛擬空間中，得到一個虛擬世界位置坐標和姿態信息，并根據物理空間的狀態變化實時更新。基于計算機圖形技術和可視化技術產生的虛擬對象，以及對真實世界物理信息的實時感知，在真實環境中相對應的位置生成虛擬物體的三維模型，并通過傳感技術將虛擬對象與真實環境相疊加，以此構建虛實融合的空間作為用戶自然交互的基礎。

2）符合人類行為邏輯的交互指令。由于人類自然知覺感知通道的多樣性，用戶可以通過多種自然交互方式將指令傳遞給HoloLens：包括凝視、手勢、肢體動作以及語音識別等。凝視是交互的基礎，通過設計一個簡單的光標跟隨視線中心，讓用戶感知自身視線方向和位置;手勢交互即用戶用手直接操縱虛擬對象，與虛實融合的空間信息進行高效交互;語音識別即為實時獲取用戶語音指令，并給予相應的反饋[8]。同時設計一些交互引導，輔助交互過程，比如設計虛擬道具，即利用虛擬模型作為交互隱喻模擬與現實層相關的物體，通過改變虛擬道具的狀態，從而改變虛擬層某種數字模型的屬性;通過設計語音引導，利用聲音提供給用戶交互線索，引導用戶在空間中獲取相關信息。不同的交互方式指令之間相互補充，讓交互更加自然高效，以此在真實世界、虛擬世界和用戶之間構建一個多通道交互反饋的信息回路，以增強用戶體驗的真實感。

3）交互過程中的遮擋感知。虛實物體之間的遮擋關系指虛擬物體和真實物體之間的遮擋，以及虛擬物體和虛擬物體之間的遮擋。HoloLens對于物理空間中物體的幾何形態感知是建立在深度信息的基礎上的，而物體的深度關系會根據用戶視點和物體自身位置的變化而發生改變，從而產生更加復雜的遮擋關系[9]。在可視空間中，每一個虛擬物體是否被準確地放置在交互場景中，以及具有不同深度信息的物體是否具備正確的遮擋關系，將直接影響可視空間的真實性和用戶交互操作的自然性。

基于圖片、文字和視頻等收集和整理的數據庫資料，綜合考慮建筑領域現有的斗拱構件模型，對北宋保國寺大殿的整個構件體系進行建模[16]。大殿的大木結構構件包括了斗類構件和拱類構件，在3ds Max軟件中進行三維建模，模型構建時既要保證模型尺寸的精確，也要注意面數的精簡，將繪制的紋理賦予給相對應的模型，并以兩種模型比例分類保存：

1）與真實建筑尺寸比例1∶1的仿真模型：原比例的模型構建便于學生根據虛擬模型與物理環境中真實物體的對比，感知其體量關系，以代替無法進行實地考察的建筑實景;

2）與真實建筑尺寸比例1∶10的沙盤模型：沙盤模型的構建便于學生多角度（如俯視）剖析保國寺大殿木構體系的全貌。

最后，對模型的優化和整合后，將三維模型、貼圖和動畫等虛擬信息分類打包成FBX / OBJ文件，在Unity引擎中對模型資源和三維動畫進行繪制和編排。

3.3 交互式教學模式應用設計

將底層驅動和相關的系統開發軟件構建的教學應用程序發布到HoloLens上后，在HoloLens上打開應用程序，HoloLens通過自身傳感器捕獲物理世界三維結構信息、學生主體位置和姿態信息以及學生的交互指令（凝視、手勢識別和語音），將實時創建的虛實融合場景投影到設備上的全息透視鏡。如圖3為HoloLens教學創設系統的結構[17]。

根據建筑史教學內容和功能的需求，設計了兩種虛實融合的交互式教學模式應用，即引導式構件認知模式和開放式情境任務模式，兩種模式的交互流程如圖4所示。

1）引導式構件認知模式：學生在三維可視空間中的任意位置放置保國寺大殿的沙盤模型，自行切換觀察的視角，多角度剖析建筑外觀;通過凝視、語音識別和手勢的交互方式，選擇想要了解的構件模型，通過移動、縮放和旋轉等方式進一步觀察，從中探索建筑結構上的邏輯;構件在交互的過程中會顯示出詳細名稱和說明文字，構件和構件的搭配方式、交接處理方式以及對斗紋信息規律的解析;學生在觀察的過程中，可以結合使用菜單工具欄中的虛擬道具：放大鏡用于局部放大結構的部分區域，標尺用于測量結構的尺寸，虛擬互聯網用于信息的實時查詢。

2）開放式情境任務模式：系統根據專業知識模擬真實情境，設計動態的敘事情節發展路線以及與教學內容相對應的任務，讓學生在情境中了解和學習木構建筑的相關知識。教學中一些比較抽象的概念，例如建筑結構工藝的教學，可設計相應的虛擬構件組裝環節，以便于學生切身感受建筑的結構和做法;通過設計名稱與構件的組合匹配，讓學生加深對構件信息的記憶;結合相關視頻和語音介紹，引導學生了解木構建筑的建造過程，近距離感受古建筑的歷史演變;同時，人是需要故事去引導記憶、學習的，混合現實的情境敘事設計可以構建體驗式學習的交互空間，生動地呈現某個故事的起源、過程和結果。通過設計虛擬角色與情景對話，讓學生了解某個時代的社會活動，以及從中折射出的民俗、心理結構、禮制、藝術思想和歷史文化。這既是情境化的故事演繹，也是歷史文化的一種視覺化展示方式。

針對上述兩種教學應用模式，進行系統文件的開發。

3.4 系統文件開發

為了實現混合現實技術的應用，Visual Studio和Windows 10 SDK為Microsoft HoloLens和Windows混合現實沉浸式（VR）耳機構建應用程序所需的工具。本文在Windows 10 64位計算機環境下，采用Unity2018.1.0開發引擎和Visual Studio 2017全功能集成開發平臺作為交互原型開發環境，開發一款基于HoloLens的建筑史教學交互系統。

針對在HoloLens平臺上的混合現實技術的應用開發，Microsoft官方網站上提供了相關軟件開發的安裝包。在Unity3D中打開控制平臺，由于相機用于跟蹤用戶頭部位置和畫面的實時渲染，需要對Unity3D主攝像頭進行設置更改，使其與HoloLens設備相匹配。在調整完相關參數適配和基礎設置完成后，利用C#編寫空間掃描數據處理及人機交互方式等控制程序。針對系統開發過程中的環境理解和人機交互的關鍵技術分析如下。

3.4.1 環境理解

若要將全息圖合理地放置在真實世界中，需要具備對周圍環境的充分理解，即正確識別地板、天花板、墻壁和桌椅等三維物理空間信息。本系統需要在Unity3D中使用空間映射API，以此實現對環境的充分認知、虛擬物體的放置以及真實物體與虛擬物體之間的遮擋關系。首先，需要在Unity中啟用spatialPerception功能，針對需要空間映射數據的空間區域初始化一個SurfaceObserver對象，并為每個SurfaceObserver對象指定它們需要獲取數據的具體空間范圍大小和形狀，例如對于天花板、地面和墻面的識別方法：地面即為用戶頭部位置下方的最大水平區域，天花板即為用戶頭部位置上方的最大水平區域，墻面即為用戶視線范圍內最大垂直區域，也可以用于識別球體、桌椅等。系統需要在用戶對空間搜索逐漸完善的過程中，實時更新并迭代數據。最后，將掃描得到的空間網格數據轉換成平面，作為具體虛擬對象生成的基礎空間，也是真實物體與虛擬物體之間產生正確遮擋關系的關鍵所在。

在應用設計上需要提供給用戶良好的空間識別體驗。結合語音或者視覺上的操作引導，提示用戶需要掃描的范圍、所站的位置（比如需要靠近或者后退等）和視線的方向，以此獲得較高的環境掃描質量;同時，將掃描過的區域可視化，通過繪制不同的空間映射網格的掃描特效材質，提供給用戶視覺上的反饋，用于指示用戶某塊具體區域是否完成掃描。如圖5為可視空間的掃描信息，出現可視線框即為完成掃描。

3.4.2 人機交互技術

結合HoloLens自身交互特征，本系統主要的交互方式有三種：凝視、手勢識別和語音控制。用戶頭戴HoloLens設備時，設備中心會發出一條向前的射線，射線的方向即為用戶的視線方向，且射線可以與范圍內的目標物體發生碰撞。在Hololens中相機的位置與用戶的位置是同步的，因此需要對Unity中的相機作出對應的調整。在本次應用設計中，當凝視射線在可交互對象上時光標會變亮，離開時光標變暗，以此告知用戶當前視線位置，以及凝視的物體是否可交互;HoloLens提供的API可以設計不同的手勢，包括單擊、雙擊、長按、拖拽等。使用GestureRecognizer可以創建不同的手勢手勢類型，定義不同手勢的觸發事件;語音識別的腳本編輯主要采用KeywordRecognizer或GrammarRecognize指定需要識別的詞匯，并在識別指定的詞匯后，采用OnPhraseRecognized觸發相對應的事件。例如，在本系統中設置了用語音控制拍照記錄的功能。Hololens設備具備Web攝像頭，可通過在Unity3D調用Web Camera API實現拍照功能。當用戶發出交互命令“PHOTO”時，系統會開啟相機模式并等待用戶的命令，當用戶調整好視角并發出交互命令“TAKE”時，相機會將用戶視線范圍的內容以圖片的方式記錄并保存。

在用戶與全息圖交互的過程中，當重要事件或對象超出用戶當前可視空間范圍，需要結合箭頭、光跡、虛擬角色引導、指針以及空間聲音等引導設計，來提示用戶查看重要內容。

3.5 調試及發布

在unity3D中進行主程序設計時，通過打開Window-XR-Holographic Emulation，連接HoloLens，即可在HoloLens設備中獲取Unity 3D中的畫面，實時預覽演示系統的實際效果。最終程序完成后，將unity3D中的數據處理程序導入VS2017，構建和部署UWP應用程序。通過有線USB或遠程控制將應用加載到HoloLens上，并在設備上進行調試，實現混合現實的最終效果。

HoloLens通過傳感器對環境進行掃描和識別，獲取真實世界的相關物理信息和主體位置信息后，出現系統主界面，選擇“構件認知”，學生可以自行放置保國寺大殿的沙盤模型;在學習的過程中，學生可以自由提取、拆分其想要觀察的構件內部細節，以與真實構件1∶1原比例放置。以保國寺大殿的外檐鋪作的橫拱拱型為例，該鋪作由泥道拱、扶壁瓜子拱和扶壁慢拱等構件組合而成，學生可以通過其三維虛擬模型與周圍環境真實物體之間的對比，主觀感受其體量關系;結合使用測繪工具，測量其拱長;通過拆分和組裝斗拱構件，了解各個構件的名稱，理解構件和構件之間的搭配方式，教學界面如圖6所示。

Hololens可將學習者的可視場景和交互狀況投射到計算機屏幕上，處在同一個學習空間中的老師和其他同學可以實時觀看，有利于互相的交流和協作。學生在課堂中的學習交互過程的視頻也可以保存到計算機上，以便于課后的查看。

4 結語

在每個教學環節結束后，根據學生對課堂內容的反饋，教師在課堂上的記錄以及學生學習狀況的測試結果，對傳統教學模式和混合現實教學模式進行綜合對比分析，如表1所示。

研究發現，混合現實的學習模式將學習從傳統的二維屏幕和書本擴展到整個現實世界的教學可視空間，加深了學生對于木構建筑體量關系和結構特征的理解，使理論學習變得更富于多樣性和實踐性，通過其豐富的動態交互特性帶給學生更多的學習樂趣，有效提高學生學習的主動性和自主學習能力。這種教學方式是在已有建筑史教學體系基礎上的一種新思路，為教育理念與科技和現代信息技術的結合提供了新的方法。隨著技術的完善和研究的深入，混合現實技術在教學領域應用的廣度和深度必將進一步拓展。

參考文獻

[1]李林瞳，王有春，謝曄，等.適用宇航智能交互場景的混合現實技術研究[J].計算機測量與控制， 2017，25（12）：255-258.（LI L T， WANG Y C， XIE Y， et al. A study of mixed reality applied to aerospace intelligent interaction [J]. Computer Measurement and Control， 2017， 25（12）： 255-258.）

[2]衡軍.增強現實技術在船舶行業的應用[J].艦船科學技術，2014，36（12）：103-106.（HENG J. Research on application of augumented reality technology in ship industry [J]. Ship Science and Technology， 2014， 36（12）： 103-106.）

[3]廖嶼荻，張興國，杜源.從傳統建筑到營造傳統——重慶大學中國古典建筑史模型實踐課程體系深化研究[J].高等建筑教育，2017，26（6）： 99-104.（LIAO Y D， ZHANG X G， DU Y. From traditional architecture to inheritance of building tradition：reflecting on the optimization teaching of Chinese classical architecture under the background of the new normal [J]. Journal of Architectural Education in Institutions of Higher Learning， 2017， 26（6）： 99-104.）

[4]周堅.外國建筑史課程教學改革研究[J].高等建筑教育，2014，23（2）：63-65.（ZHOU J. Teaching reform of foreign architectural history course [J]. Journal of Architectural Education in Institutions of Higher Learning， 2014， 23（2）： 63-65.）

[5]李小平，張琳，趙豐年，等.虛擬現實/增強現實下混合形態教學設計研究[J].電化教育研究， 2017， 38（7）： 20-25.（LI X P，ZHANG L，ZHAO F N，et al.Research on AR/VR blended style instructional design [J]. E-Education Research，2017， 38（7）： 20-25.）

[6]Milgram P， Kishino F. A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems， 1994， 77（12）： 1321-1329.

MILGRAM P， KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems， 1994， E77-D（12）： 1321-1329.

[7]黃紅濤，孟紅娟，左明章，等.混合現實環境中具身交互如何促進科學概念理解 [J]. 現代遠程教育研究，2018（6）： 28-36.（HUANG H T， MENG H J， ZUO M Z， et al. How embodied ineraction facliltates the understanding of scientific concepts in mixed reality environment [J]. Modern Distance Education Research， 2018（6）： 28-36.）

[8]陳寶權，秦學英.混合現實中的虛實融合與人機智能交融[J].中國科學：信息科學，2016， 46（12）： 1737-1747.（CHEN B Q，QIN X Y.Composition of virtual-real worlds and intelligence integration of human-computer in mixed reality[J].Scientia Sinica（Informationis），2016， 46（12）： 1737-1747.）

[9]黃進，韓冬奇，陳毅能，等.混合現實中的人機交互綜述[J].計算機輔助設計與圖形學學報，2016，28（6）：869-880.（HUANG J， HAN D Q， CHEN Y N， et al. A survey on human-computer interaction in mixed reality [J]. Journal of Computer-Aided Design and Computer Graphics， 2016， 28（6）： 869-880.）

[10]黃鳴奮.藝術與混合現實[J].東南大學學報（哲學社會科學版）， 2008，10（6）：74-78.（HUANG M F. Art and mixed reality [J]. Journal of Southeast University （Philosophy and Social Science）， 2008， 10（6）： 74-78.）

[11]紀連恩，張鳳軍，付永剛，等.虛擬環境下基于語義的三維交互技術[J].軟件學報，2006，17（7）：1535-1543.（JI L E， ZHANG F J， FU Y G， et al. 3D interaction techniques based on semantics in virtual environments [J]. Journal of Software， 2006，17（7）：1535-1543.）

[12]梁思成.中國建筑史[M].北京：三聯書店，2005：107-207.（LIANG S C. A History of Chinese Architecture [M]. Beijing： SDX Joint Publishing， 2005： 107-207.）

[13]潘谷西，何建中.《營造法式》解讀[M].南京：東南大學出版社，2005：21-165.（PAN G X， HE J Z. Interpretation of Rules of Architecture [M]. Nanjing： Southeast University Press， 2005： 21-165.）

[14]淳慶，孟哲，賈肖虎，等.典型江南傳統木構建筑的構件重要性分析方法[J].華僑大學學報（自然科學版），2019，40（1）：64-71.（CHUN Q， MENG Z， JIA X H， et al. Evaluation methods of component importance of typical traditional timber buildings in yangtze river regions [J]. Journal of Huaqiao University （Natural Science）， 2019， 40（1）： 64-71.）

[15]張十慶.寧波保國寺大殿：勘測分析與基礎研究[M].南京：東南大學出版社，2012：5-128.（ZHANG S Q. Ningbo Baoguo Temple Hall： Survey Analysis and Basic Research [M]. Nanjing： Southeast University Press， 2012： 5-128.）

[16]王丹婷，蔣友燏.古建筑三維虛擬建模與虛實交互軟件實現[J].計算機應用， 2017，37（S2）：186-189.（WANG D T， JIANG Y Y. 3D-virtual modeling for historic architecture and realization of virtual interactive software [J]. Journal of Computer Applications， 2017， 37（S2）： 186-189.）

[17]廖宏建.應用Kinect構建英語課堂虛擬教學情境研究[J]. 現代教育技術，2014，24（3）：64-70.（LIAO H J. Research on construting virtual context in English classroom teaching by Kinect [J]. Modern Educational Technology， 2014， 24（3）： 64-70.）

This work is partially supported by the Ministry of Education Humanities and Social Sciences Research Program （Z2018117009907）.

YAO Luji， born in 1994， M. S. candidate. Her research interests include mixed reality， human-computer interaction.

ZHANG Li， born in 1971， M. S.， associate professor. His research interests include virtual reality， human-computer interaction.