結合“嵌入式系統”和“虛擬現實技術”創新實踐教學探索與研究

王麗 陳亞東

摘要：虛擬現實開發技術實驗課程，存在實驗內容單一、固化等問題，結合虛擬現實硬件與嵌入式系統課程的相關性，展開了以虛擬現實技術為主導，嵌入式系統課程為輔助的創新實踐教學研究。研究設計了兩者相結合的實驗內容，包括基礎性實驗和開放性實驗，不僅鍛煉學生的基礎知識開發能力，又開發了學生自主創新的能力。該套實驗內容結合了學科前沿技術，激發了學生學習興趣和主動性，有效地解決了現有問題，并在畢業設計成果中取得了驗證。

關鍵詞：虛擬現實;嵌入式系統;HTC Vive實驗;實踐教學;創新教學

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）12-0151-02

開放科學（資源服務）標識碼（OSID）：

實踐和創新是工程教育過程中重要的環節之一，因此在教學方法和教學內容方面需要多層次、多融合的實踐探索與研究。隨著醫療保健、教育培訓、文教娛樂等領域對虛擬現實產業的需求不斷增加，虛擬現實技術在遠程醫療、春晚直播、紅色教育、在線旅游等一系列典型應用項目不斷涌現。而5G、人工智能、云計算、大數據、嵌入式等技術的高速發展[1-2]，使得虛擬現實設備的體驗感大大增強，用戶對虛擬現實設備的認可程度也在不斷提高。根據 IDC的數據[3]，2019年第一季度全球 AR/VR頭顯設備出貨量為130萬臺，比去年同期增長了27.2%，其中VR頭戴式顯示器占到了96.6%。

虛擬現實技術課程是一門應用型課程，虛擬現實技術融合了傳感器、三模建模、人機交互、視覺呈現等技術。隨著虛擬現實時代的迅猛發展，高校對虛擬現實技術的課程、實踐、教材等建設方面也在推陳出新[4-7]，以滿足虛擬現實應用型人才的培養。程雷相[4]將虛擬現實技術融入到化工專業實訓教學中，可解決化工實訓教學面臨的一些實際問題。鄧逸鈺[5]認為搭建協同育人實踐平臺、以賽代練跨專業組隊參加學科競賽等方式實現人才培養模式的優化與創新。廖愛華[6]等人利用虛擬現實技術，在城市軌道交通車輛認識實習課程教學方面進行了改革。林宇[7]數字媒體專業在課程教學中，引入虛擬現實技術，提高教學模式的合理性。

虛擬現實系統在追求無限逼真的視覺效果時，融入了大量交互、傳感器等嵌入式系統技術。我院虛擬現實課程團隊，擬將嵌入式實踐內容引入虛擬現實課程，在實踐創新教學環節增設虛擬現實和嵌入式系統實驗，對工程化實踐教學實施方法進行了探索，培養學生工程實踐能力和創新意識。

1 教改目標和內容

1.1 教改主要目標

虛擬現實硬件的發展離不開嵌入式系統的應用，特別是在虛擬現實的交互、頭盔顯示、便攜投影等方面。因此，有必要在虛擬現實課程中拓展嵌入式系統課程實驗，也是工程教育的需要。

目前，一些大場景嵌入式系統的開發成果，僅僅通過小單片機版展示。而虛擬現實技術的應用創新可以彌補大場景的仿真，達到逼真的效果[8]。將虛擬現實開發技術與嵌入式系統開發技術相結合，開發融合實驗，讓學生們掌握用嵌入式的控制信號控制虛擬現實場景中的場景，從而開發自己的虛擬現實應用。

1.2 教改的主要內容

要清楚嵌入式系統技術在虛擬現實領域中的應用和發展，分析新的軟硬件技術，使學生熟悉相關的軟硬件開發工具，培養其開發能力，需要設計以嵌入式系統技術和虛擬現實技術為主題的實驗內容，形成對現有嵌入式系統技術和虛擬現實開發技術實驗體系的擴充與拓展。

編寫融合實驗庫?；A性實驗，對基礎知識點進行實驗練習。開放性實驗，提供一定的實驗指導和實戰項目，為學生提供合適的訓練和實踐機會。

2 教學內容設計

項目組成員結合自身在虛擬現實課程和嵌入式課程的教學經驗，拓展課程實驗庫?；趦烧叩慕Y合主要設計了以虛擬現實技術搭建單片機的虛擬環境、虛擬現實頭顯為中心的教學實驗。

目前比較流行的頭顯設備主要有HTC Vive和三星Gear VR。其中HTC Vive搭載精確的定位系統Lighthouse，通過頭顯顯示立體圖像，手持控制器與虛擬場景的物體進行沉浸式交互，提供了完善的二次開發包。因此，我們選擇HTC Vive頭顯設備作為實驗庫的設備首選。實驗中理論教學內容結構如圖1所示，主要包括基于HTC Vive的虛擬現實系統的開發案例庫構成。

HTC Vive包括一個VR頭戴式顯示眼鏡、兩個用來交互的手柄控制器、兩個空間定位的激光發射裝置。頭顯為AMOLED屏幕，雙眼合成分辨率可以達到20160*1200像素，視場角達到90Hz，內置前置攝像頭和麥克風，內置加速度計、陀螺儀和光電傳感器。手柄內如單片機布局如圖2所示。

HTC Vive頭顯設備中的定位系統Lighthouse技術是利用激光和光敏傳感器來確定空間中物體的位置。在3米×4米×基站高度的空間對角線上安裝兩個激光發射器。激光發射器內部有兩個激光掃描模塊，分別在水平和垂直方向輪流發射激光，每秒發出6次激光束。頭顯上的32個光敏傳感器接收器和兩個手柄上的48個光敏傳感器接收器，通過計算機計算兩束光線到達頭顯或者手柄的角度差，從而實現頭顯或者手柄的空間位置及方向。

3 教學實踐設計

虛擬顯示應用開發軟件主要有Unity3D，Unreal Engine 4等。實驗案例的開發平臺，選擇的是Unity3D軟件，主要是其開發可定制性高，可以根據實驗需求，通過渲染工具、動畫編輯器等，定制出很強邏輯性結果。腳本語言為C#語言，該引擎在渲染方面、多線程計算、內存管理和顯存管理方面比較穩定。

開發HTC Vive應用程序需要下載安裝SteamVR插件，SteamVR是基于OpenVR的虛擬現實開發體驗方案，提供Unity在頭盔環境中的開發框架。Vive的交互實現方式，比如手柄發出的射線、凝視、瞬移、拾取，UI交互等功能。

3.1 基礎性實驗

讓學生了解基于HTC Vive的基本開發流程，SteamVR的使用?；A實驗內容包括：

（1）SteamVR的基礎配置，包括手柄的左右手配置等。

（2）UI控件實驗，HTC Vive需要跟場景中的物體進行交互，需要有一些UI控件作為選擇、切換，是進行交互的重要功能之一。

（3）瞬移實驗，是用來進行場景中的走動，由于人在定位控件中的移動位置是有限的，所以得通過手柄移動到場景中固定位置，利用瞬移實驗可以讓學生實現在場景中的位置更新。

（4）射線交互實驗，利用手柄實現抓、扔、遠距離相應等功能，得需要有射線碰撞檢測功能來實現。通過射線交互實驗，讓學生掌握HTC Vive手柄在場景中基本交互動作。

3.2 開放型實驗

提供了幾個題目供學生自由選擇：

（1）模擬做菜過程：HTC Vive的最大特色就是交互性能強，借助手柄，模擬場景中的雙手，實現洗菜、切菜、炒菜的過程。在模擬場景中，需要學生學會HTCVive頭顯在Unity3D中的顯示原理及交互方法，制作做菜的交互模擬。

（2）化學實驗類設計：虛擬化學實驗系統是一個利用虛擬現實技術實現人機交互的系統。傳統教學中，學生遇到需要進行實驗的時候，只能是在學校的實驗室中，在有老師的指導下進行一項項實驗。虛擬化學實驗系統作為一種新型教學方式，學生可以體驗到如同在真實的實驗室中一樣進行化學實驗。學生可以完成一些在現實生活中不容易實現的試驗，教師則可以在教學中應用模擬實驗，為學生形象地指導各種化學變化、結構精巧的化學儀器，提高教學效率。

（3）計算機系統的仿真教學設計：為了能夠使大部分學生學習計算機硬件知識，模擬了計算機硬件三維模型。利用虛擬的硬件模型，指導學生計算機硬件的組裝。在計算機組成原理課程中，幾乎都是以平面圖標及箭頭演示計算機內部進行加法操作過程，通過VR技術，可以讓這樣的仿真更加逼真，學生們更加直觀地學習內部的硬件工作原理。

（4）智能家居系統：引入ArdUnity插件，可以在Unity的開發環境中，利用Arduino串口通信控制智能家電，比如智能窗簾的閉合、設置智能空調溫度、設置智能熱水器的溫度等。

4 總結

結合“嵌入式系統”和“虛擬現實技術”兩門課程實踐案例是一次新的嘗試，積極調動了學生的學習興趣。在2016級和2017級學生的課程中開展了教學初步嘗試，效果不錯，并且每年都有1～2名學生的相關畢業設計獲得校級優秀畢業設計。目前案例主要還是以虛擬現實技術為主，嵌入式技術為輔助的實踐模式，后期還要注重兩者的結合，開發結合的新形式，提煉技術融合的實踐內容?！靶鹿た啤币蠼徊鎸W科領域，培養能夠服務于技革新、產業結構升級形成的新環境的大量新型人才。作為課程建設者，在課程建設和學課拓展中，緊扣創新，學習前沿科技，加強創新創業實踐，培養復合型、創新型人才。

參考文獻：

[1] 尉糧蘋，馬澤正，王曉晴，等.虛擬現實技術在旅游文化遺產數字化保存中的應用分析[J].中國信息化，2021（7）：94-96.

[2] 錢文君.5G時代下，虛擬現實技術在VR游戲中的應用發展[J].新聞傳播，2021（14）：28-29.

[3] 賽迪智庫電子信息研究所虛擬現實產業聯盟. 虛擬現實產業發展白皮書（2019年）[N]. 中國計算機報，2019-11-25（008）.

[4] 程雷相.虛擬現實技術在化工專業實訓課程中的應用[J].當代化工研究，2021（14）：129-131.

[5] 鄧逸鈺.虛擬現實技術專業人才培養的創新與應用研究[J].科技風，2020（16）：251+255.

[6] 廖愛華，胡定玉，師蔚，等.虛擬現實技術在《城市軌道交通車輛認識實習》中的應用分析[J].產業與科技論壇，2021，20（13）：135-136.

[7] 林宇.虛擬現實技術在數字媒體人才培養中的應用與創新[J].軟件，2021，42（5）：181-183.

[8] 劉肖佑，田立國，張馳宇，等.智能體感虛擬現實交互運動系統[J].科技創新與應用，2019（3）：37-38.

【通聯編輯：王力】