混合現實（MR）技術在機械實踐類課程的全息教學應用研究

劉俊英，梁豐

（河源職業技術學院機電工程學院，廣東河源 517000）

0 引言

《國家教育事業發展“十三五”規劃》中提出要實現中國教育現代化2030遠景目標，目標包括教育質量全面提升。在當前形勢下，國家鼓勵改革創新驅動教育發展、激發學校辦學活力、強化高校創新體系建設、積極發展“互聯網+教育”。“工業4.0”、“制造2025”已成為當代的關鍵詞。

2016年是我國虛擬現實技術的元年，虛擬現實技術簡稱VR，是利用三維圖形生成、多傳感交互、多媒體、人工智能、人機接口、高分辨顯示等高新科技，對現實世界進行全面仿真的一種技術[1-3]。VR技術具有沉浸性（Immersive）、交互性（Interactive）和想象性（Imagination）3種特征[4-5]。混合現實技術簡稱MR，是VR技術的進一步發展[6]，該技術將真實場景和虛擬元素不同程度地融合在一起，形成虛實結合的混合可視化環境,以增強用戶體驗的真實感。MR技術具有虛實結合、交互性和3D注冊等3個基本特征[7]。

隨著時代的不斷進步，將虛擬現實和混合現實技術應用于教育領域已成為必然的發展趨勢。

1 混合現實技術在機械實踐類課程的應用優勢

1.1 搭建理實橋梁并實現教學與產業需求接軌

因為機械實踐類課程的特殊性，學生需要掌握必須的操作技能。為了培養技能型人才，目前很多高職和中職院校開設的實踐類課程占比非常多。但是由于實訓場地不夠大、實訓設備不夠全、教學成本比較高、購買的設備價格比較昂貴且需謹慎使用等原因，機械類專業的實踐課程很難順利開展實訓。即使勉強開展了實訓，在實訓授課中，因為班級人數較多，需要很多人一組才能操作一臺實訓設備，致使只有少數積極動手的學生能得到訓練，大多數學生經常因實訓時間有限、實訓場地不夠大或者因為安全因素考慮，只能掌握片面的實踐技能，不能進行核心、全面和系統化的實踐訓練。另外，有些院校的實訓設備更新換代比較慢，已經不適應企業的新需求，所培養學生的職業技能已跟不上時代的進步。基于以上這些原因，將混合現實技術應用于機械實踐類課程的實踐訓練勢在必行。通過混合現實技術，作為連接“理論”和“實踐”的橋梁，實現維度、真實與交互的升級，能夠提升實訓效果與學習積極性；并且能夠配合學校真實的設備，以虛實結合的方式提供與產業需求相接軌的實訓教學內容。也可以將企業的實際加工設備與混合現實技術相融合，在學校實訓中通過構建虛擬仿真實訓平臺讓學生們理解產業需求，培養實踐技能，實現教學與產業需求接軌。

1.2 開發成本低且安全系數高

傳統的機械實踐類課程需要學生直接在實訓設備上進行操作，由于學生是初學者，很容易發生安全事故，將混合現實技術應用到該類課程中即可完全避免安全事故。通過虛擬仿真軟件教學后再進行真實設備的實踐教學，可以大大減少安全事故的發生。

基于混合現實技術對機械實踐類課程進行虛擬仿真軟件開發完成后，只需進行維護升級即可，不用再購買相關實體設備，可以大大降低學校實訓室的資金投入。

1.3 解決學校實訓資源匱乏、實現“自主造血”的需要

隨著時代與產業的發展，數字化教學資源建設應該緊跟前沿技術、與時俱進。目前許多院校的機械類專業實訓室缺乏基于混合現實技術的虛擬仿真實訓室，學生在實訓的過程中經常出現不按規程操作等行為，使設備嚴重老化、精度下降，致使本來為數不多的實訓資源更加匱乏。通過混合現實技術的應用，可解決實訓資源匱乏的現實問題。同時可以提升專業教師及學生的高質量教學資源個性化開發和持續升級的能力，并且可以根據機械實踐類課程的特色、教學側重點和教學難點，配合自身的教學方法，開發個性化虛實結合的教學資源，并不斷地進行升級改造，從而滿足學生對實訓設備的需求，實現“自主造血”的需要。

2 基于混合現實技術進行全息教學系統應用研究

重點研究MR（混合現實）技術在傳統機械實踐類課程中的應用，將MR技術與機械實踐類課程所涉及的專業技術相結合，基于MR技術將機械實踐類課程所涉及的專業技術以混合現實形式進行呈現，具體研究內容如下。

1）虛擬實訓設備。機械實踐類課程涉及到很多實訓設備（如數控機床、汽車發動機等），要開發全息教學應用系統就需要虛擬相應的實訓設備，包括實訓設備本體和相應的檢測和拆裝工具等。虛擬實訓設備和檢測及拆裝工具需要做到外觀結構及各部分尺寸與真實實訓設備和工具完全相同，需要開發者在建模方面功底較深。目前用于建模的軟件主要有UG、Pro/E、3D MAX、SolidWorks等，為使應用者有更強的體驗感和真實感還需要附以Photoshop等軟件進行建模優化。

2）部件認知介紹。學生新接觸實訓設備可以在基于混合現實研發的虛擬仿真系統中進行部件認知介紹，通常可以通過引出線和部件提示等方式進行。開發的全息教學系統應考慮到應用者位置視角與設備的距離關系進行引出線的顯示，引出線應可以顯示全部設備的名稱，也可以根據使用者的位置進行分級分層顯示，增加真實感和體驗感。當使用者碰觸到某個零部件時，應自動顯示該結構的名稱，亦可以通過語音等進行部件名稱提示。

3）全息教學系統軟件界面定制。軟件界面的定制包括菜單、工具條和界面布局等方面。為保持界面的整潔，使應用者有更好的體驗感，盡量不在界面上顯示菜單，可以采用隱匿式菜單，需要時可以點擊顯示，不需要時可以將其隱藏。軟件界面的整個屏幕盡量不要被切分，都用來顯示實訓場景，可以使用戶有更真實的使用效果。

4）虛擬實訓場景構建。在全息教學系統中構建虛擬實訓場景，應該使學習者可以進行漫游操作，可實現第一人稱漫游，包括前進、后退、左轉、右轉、抬頭、低頭等，這樣可以增加真實感和交互性。

5）運動仿真實現。學習實訓設備（數控機床或汽車發動機等）的工作原理需要進行運動仿真實現。全息教學系統應能夠通過局部顯示、剖切顯示、透視效果、旋轉效果等各種形式，在使用者的各個視角學習和觀察實訓設備運動的整個過程。運動仿真實現是整個全息教學系統開發的難點，需要開發者熟悉整個實訓設備的運動原理并在開發平臺上通過編程、動畫演示等來實現。

6）感知系統與圖像識別研究。感知系統與圖像識別是計算機系統快速和精確地分析圖像并識別其特征的能力。其過程是先用攝像頭捕捉畫面，把現實的東西虛擬化，把二維的圖像通過計算機形成三維的虛擬圖像，形成3D建模，把實訓場景及實訓設備融合進虛擬的3D世界里面，可以大大減少建模工作量，使虛擬實訓設備的建模更加容易實現。

7）拆裝、維修、操作實訓混合現實創建。全息教學系統中可以進行實訓拆裝、維修、操作等混合現實創建。基于MR的全息教學系統可以先讓學生觀看實訓拆裝、維修、操作的正確步驟，對各實訓過程進行仿真演示，同時伴有語音或文字說明，讓學生盡快理解和掌握。為增強交互性，提高學生的動手實踐能力，在觀看拆裝、維修、操作演示之后，可以在系統上進行實訓操作，學生可以按操作步驟完成一系列的操作任務，教學系統可以給予一定的評價，如果學生出現錯誤，可以提示其進行改正，上一步正確后才可以進行下一步操作。拆裝、維修、操作實訓等混合現實創建是一個非常復雜的過程，開發者可以由淺入深、逐步推進，先實現較簡單的功能，再根據實際情況不斷升級和完善。

8）觀察功能實現。全息教學系統中應包括豐富的觀察功能，包括局部觀察、剖視圖觀察、縮放觀察、透視觀察、旋轉觀察等手段。這樣可以使學習者比觀察真實設備還能更真切地熟悉和掌握所學實踐內容。在觀察模式方面，主要有場景觀察和焦點觀察兩種模式。場景觀察模式包括整個場景的顯現，支持學習者的移動和視線轉動，可以根據學習者的要求進行上下、前后、左右、遠近的切換，使學習者更有自主感，更加身臨其境。焦點模式就是將所學相應實訓設備作為主要顯示觀察對象，隱去周圍其他的輔助場景。

9）輔助功能實現。輔助功能有很多，通常最常用的為語音提示學習功能，該功能可以通過語音提示學生進行操作的相關步驟，可以使學生更快地掌握所操作內容，增加整個教學應用系統的趣味性和實用性。

10）同步位置和映射（SLAM）功能實現。SLAM是混合現實技術應用的難點。混合現實既要考慮虛擬世界的位置，又要匹配真實世界的位置，一切都在使用者的操作下不斷地變化中，為了使虛實融合，需要不斷地感知和創建新的環境地圖，定位和跟蹤使用者的實時運動位置。同步位置和映射（SLAM）功能的實現通常需要采用傳感器數據傳遞和圖像識別的SLAM算法來計算使用者在真實物理世界中的位置。

3 擬解決的關鍵技術

1）開放式開發架構。一般虛擬仿真軟件的開發需要開發者必須掌握基本的軟件編程知識，并使用相應的程序開發語言進行開發，對開發人員的技能水平要求較高。混合現實技術開發平臺很多，有很多開發引擎，為了實現開放式開發架構，可以采用文本編譯方式實現文字語音的輸入、運動命令的編輯、觸發的控制、邏輯的判斷、UI界面調整和驅動函數庫的對接等功能。其次，軟件發布后，只要發現有問題，不用重新編譯程序，只需要打開文本進行修改，修改好文本再保存，就可以直接改變相對應功能，降低了開發門檻。

2）符合教學場景的模型創建。虛擬場景的搭建需要模型，建模是整個全息教學系統開發中需要解決的關鍵技術。常用的三維建模軟件有UG、Pro/E、3D MAX、SolidWorks等，建模非常繁雜，一般的機械實訓設備（例如數控機床，零部件模型多達幾百個），需要大量的時間來完成。使用三維軟件建模，導出文件后，可以將模型導入到全息教學系統開發平臺中（目前比較常用的是Unity 3D開發平臺），進行虛擬場景的創建。建模時，須按真實場景的標準化規格進行統一設計，比例要統一，一般是按真實設備的結構和尺寸原值比例來創建，一個模型建好后，通常可以在一個場景中或整個教學系統的多個場景中重復使用，這樣一方面減少了建模的重復性工作，另一方面提高了教學系統的開發效率和運行效率。

3）交互式控制。混合現實技術的優勢是可以進行交互式教學，系統開發要符合教學設計，建立與使用者之間良好的交互控制，增強整個教學系統的體驗感和學習效果。交互控制的原理是操作者通過視覺反饋設備MR眼鏡接收到整個場景中設備構件和操作者的實時變化，精確地響應操作者的交互行為，并產生相對應的交互控制。全息教學系統的交互控制幾乎存在于整個系統的各個環節，主要包括使用者進出系統控制、場景控制和調度、實時渲染和漫游控制、實時操作效果控制等。以發動機構造和檢修全息教學系統為例，交互式控制主要完成虛擬教學場景中發動機模型的動態變化、人機交互檢修實踐、發動機原理展示等。總體來說，交互式控制是混合現實技術的核心關鍵技術[8]。

4）與第三方硬件對接。傳統軟件開發一般只能與某一種MR設備對接。目前市面上MR設備眾多，能夠與多種MR設備兼容可以極大提升全息教學系統的利用效率。開發的全息教學系統要與第三方硬件進行通用對接，需要單獨開發MR兼容模塊，包含市場上主流的虛擬頭盔開發模塊，如HTC Vive虛擬頭盔、Oculus虛擬頭盔等，且該模塊功能支持不斷擴展，后續可以與更多的硬件實現兼容。

4 結語

MR技術是一種新型的信息化數字技術，它可以使應用者在虛擬和現實之間自由切換。將MR技術應用于機械實踐類課程的教學中，開發全息教學應用系統，可以搭建理實橋梁，實現教學與產業需求的接軌，開發成本低、安全系數高，解決學校實訓資源匱乏的問題，滿足“自主造血”的需要。系統開發過程需要解決各項關鍵技術，將各項研究內容與機械實踐類課程的專業技術相結合，應用前景非常廣。