基于MR技術(shù)的計(jì)算機(jī)組裝系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李廣松 佳林 官澤良

DOI：10.19850/j.cnki.2096-4706.2024.02.023

收稿日期：2023-05-18

基金項(xiàng)目：廣東省2022年科技創(chuàng)新戰(zhàn)略專項(xiàng)資金（“攀登計(jì)劃”專項(xiàng)資金）項(xiàng)目（pdjh2022a0825）；2022年度校級(jí)虛擬仿真教育教學(xué)改革專項(xiàng)項(xiàng)目（XNFZ202214）

摘? 要：使用HoloLens2頭盔和混合現(xiàn)實(shí)插件Mixed Reality Feature Tool開發(fā)出一款計(jì)算機(jī)組裝混合現(xiàn)實(shí)交互應(yīng)用。通過HoloLens2凝視、手部跟蹤、UX構(gòu)建基塊、語音和聽寫系統(tǒng)、眼部跟蹤等進(jìn)行輸入交互，并配合Unity3D中的Animation系統(tǒng)與UGUI系統(tǒng)，最終實(shí)現(xiàn)混合現(xiàn)實(shí)虛擬交互。Unity3D工程導(dǎo)出UWP，并生成VS工程，然后部署到HoloLens2中進(jìn)行測試。測試結(jié)果表明，該系統(tǒng)實(shí)現(xiàn)了計(jì)算機(jī)組裝的相關(guān)交互功能。研究為計(jì)算機(jī)組裝的虛擬操作提供了一種混合現(xiàn)實(shí)解決方案。

關(guān)鍵詞：HoloLens2；混合現(xiàn)實(shí)；Unity 3D；計(jì)算機(jī)組裝

中圖分類號(hào)：TP391.9? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2024）02-0108-06

Design and Implementation of Computer Assembly System Based on MR Technology

LI Guangsong， ZHANG Jialin， GUAN Zeliang

（Guangdong Polytechnic， Foshan? 528041， China）

Abstract： This paper uses HoloLens2 helmet and Mixed Reality Feature Tool to develop a computer assembly Mixed Reality interactive application. It carries out input interaction through HoloLens2 staring， hand tracking， UX building blocks， voice and dictation systems， eye tracking， and so on. And it is in cooperation with the Animation system and UGUI system in Unity3D to realize Mixed Reality virtual interaction， finally. The Unity3D project exports the UWP， generates the VS project， and then deploys it to HoloLens2 for testing. The test results show that the system realizes the related interactive functions of computer assembly. The research provides a Mixed Reality solution for virtual operation of computer assembly.

Keywords： HoloLens2; Mixed Reality; Unity 3D; computer assembly

0? 引? 言

混合現(xiàn)實(shí)（Mixed Reality， MR）技術(shù)是一種在現(xiàn)實(shí)場景中呈現(xiàn)虛擬對象的虛實(shí)融合技術(shù)，其通過虛擬世界與物理世界的實(shí)時(shí)計(jì)算，實(shí)現(xiàn)無縫疊加，從而達(dá)到虛實(shí)融合的目的。HoloLens2是微軟公司在HoloLens`基礎(chǔ)上[1]，于2019年推出的第二代混合現(xiàn)實(shí)全息眼鏡，是目前最具代表性的混合現(xiàn)實(shí)設(shè)備[2]。在計(jì)算方面，HoloLens2配備了一塊專用的全息處理單元（Holographic Processing Unit， HPU），主要負(fù)責(zé)眼球跟蹤、運(yùn)動(dòng)跟蹤、手勢交互空間映射等方面的計(jì)算處理。在環(huán)境理解方面，通過飛行時(shí)間（Time of Flight， ToF）深度傳感器獲取場景幾何網(wǎng)格信息后，結(jié)合運(yùn)動(dòng)跟蹤便可智能地辨識(shí)地板、桌面等場景對象。在人機(jī)交互方面，HoloLens2設(shè)備支持凝視、手勢、語音三種交互方式[3]。Unity軟件是一款跨平臺(tái)虛擬開發(fā)引擎，廣泛應(yīng)用于移動(dòng)端、電腦端游戲，以及AR、VR、MR相關(guān)產(chǎn)品的開發(fā)[4]。通過將混合現(xiàn)實(shí)以及目標(biāo)檢測的相關(guān)技術(shù)進(jìn)行整合，能夠提供一種新的人機(jī)交互方式，為學(xué)習(xí)培訓(xùn)、可視化展示等行業(yè)所存在的問題提供了理論與技術(shù)上的支持，從而使得設(shè)計(jì)并開發(fā)出可交付的解決方案成為可能[5]。

1? 系統(tǒng)設(shè)計(jì)

1.1? 系統(tǒng)架構(gòu)

系統(tǒng)以HoloLens2頭盔為硬件平臺(tái)，以Unity3D2019引擎為軟件平臺(tái)進(jìn)行構(gòu)建項(xiàng)目。項(xiàng)目首先導(dǎo)入MRTK2.7，并進(jìn)行配置，配置內(nèi)容包括MR項(xiàng)目、MR攝像機(jī)、遠(yuǎn)近交互和語音控制，最后進(jìn)行MR開發(fā)和內(nèi)容制作。將開發(fā)的MR程序在HoloLens2設(shè)備中進(jìn)行安裝，實(shí)施交互功能與信息反饋。HoloLens2設(shè)備會(huì)實(shí)時(shí)將全息影像映射到現(xiàn)實(shí)世界中，并通過攝像頭和傳感器進(jìn)行實(shí)時(shí)定位和地圖構(gòu)建。在HoloLens2的虛擬場景中，通過手部近交互、射線遠(yuǎn)交互或語音交互，選擇臺(tái)式機(jī)組裝模塊和筆記本組裝模塊。在系統(tǒng)的每個(gè)模塊中，可以通過手勢進(jìn)行動(dòng)畫觀賞、硬件展示、手動(dòng)組裝和考核測評(píng)操作。MR計(jì)算機(jī)組裝系統(tǒng)架構(gòu)如圖1所示。

1.2? 設(shè)計(jì)流程

系統(tǒng)使用Unity編譯器中的Universal Windows Platform環(huán)境進(jìn)行開發(fā)，并輔助使用3Dsmax軟件制作模型和Photoshop軟件制作貼圖和UI進(jìn)行設(shè)計(jì)。首先借助Unity3D提供的工程、對象、組件和場景功能模塊創(chuàng)建項(xiàng)目，然后使用Mixed Reality Feature Tool提供的MRTK，包括配置文件（邊界系統(tǒng)、相機(jī)設(shè)置、傳送和空間感知）、輸入系統(tǒng)（6DoF控制器、關(guān)節(jié)手和語音）和UX構(gòu)建基塊（鉸接式手控、對象操縱器和視覺狀態(tài)交互腳本），進(jìn)行工程的配置、搭建和打包，最后導(dǎo)出UWP工程，并在VS中部署HoloLens2，完成與HoloLens2硬件平臺(tái)的數(shù)據(jù)傳輸，最終實(shí)現(xiàn)計(jì)算機(jī)組裝MR系統(tǒng)。

項(xiàng)目腳本選用C#開發(fā)語言，并實(shí)現(xiàn)了手部遠(yuǎn)距離射線交互、手部近距離交互、凝視、語音識(shí)別四種交互方式。腳本啟動(dòng)后，首先在Awake（）和Start（）方法中通過MRTK（SDK）函數(shù)完成初始化，然后分別通過OnNoteBookScene（）函數(shù)實(shí)現(xiàn)筆記本電腦組裝交互，通過OnDesktopScene（）函數(shù)實(shí)現(xiàn)臺(tái)式機(jī)電腦組裝交互，最后在Update（）和OnMainScene（）方法中實(shí)時(shí)監(jiān)聽交互輸入，并輸出反饋結(jié)果。

2? 交互設(shè)計(jì)

項(xiàng)目中的交互是基于ObjectManipulator類提供的事件和Interactable.cs腳本進(jìn)行設(shè)計(jì)。交互的接口主要有：OnManipulationStarted（），在操控開始時(shí)觸發(fā)；OnManipulationEnded（），在操控結(jié)束時(shí)觸發(fā)；OnHoverStarted（），當(dāng)手部或控制器懸停在近距或遠(yuǎn)距可操控對象上時(shí)觸發(fā)；OnHoverEnded（），當(dāng)手部或控制器未懸停在近距或遠(yuǎn)距可操控對象上時(shí)觸發(fā)。在每個(gè)交互對象身上，項(xiàng)目添加了事件需要調(diào)用的筆記本電腦組裝腳本NotebookAccessories或臺(tái)式機(jī)電腦組裝腳本DesktopAccessories。

2.1? 凝視

基于射線碰撞檢測原理，GazeProvider類提供凝視處理程序，并接收凝視事件。實(shí)現(xiàn)凝視功能，需要在攝像機(jī)上添加GazeProvider腳本組件。獲取眼動(dòng)追蹤數(shù)據(jù)，需要使用CoreServices.InputSystem.EyeGazeProvider類，其中EyeGazeProvider的GazeOrigin返回注視光線原點(diǎn)，GazeDirection返回注視光線方向。獲取凝視目標(biāo)、凝視原點(diǎn)和凝視方向的代碼如下：

//獲取當(dāng)前凝視目標(biāo)的方法

public GameObject GetCurrentGazeTarget（）

{

if（CoreServices.InputSystem.GazeProvider.GazeTarget ！= null）

return CoreServices.InputSystem.GazeProvider.GazeTarget;

else

return null;

}

//獲取當(dāng)前凝視原點(diǎn)的方法

public Vector3 GetGazeOrigin（）

{

if（CoreServices.InputSystem.GazeProvider.GazeTarget）

return CoreServices.InputSystem.GazeProvider.GazeOrigin;

else

return Vector3.zero;

}

//獲取當(dāng)前凝視方向的方法

public Vector3 GetGazeDirection（）

{

if（CoreServices.InputSystem.GazeProvider.GazeTarget）

return CoreServices.InputSystem.GazeProvider.GazeDirection;

else

return Vector3.zero;

}

2.2? 手勢

手勢交互是基于人手的輸入交互，手勢交互的定位機(jī)制是凝視。HoloLens2引發(fā)手勢交互的基本輸入事件包括兩種：空中點(diǎn)擊（Airtap）和Home手勢（Bloom）。空中點(diǎn)擊操作步驟：凝視交互對象，將手輕握成拳，食指向上，向下輕點(diǎn)手指，再快速抬起；Home手勢分單手和雙手兩種，其中單手Home手勢的操作步驟為：伸出一只手，掌心向上，凝視手腕，用伸出那只手的食指和拇指做捏合動(dòng)作；雙手Home手勢的操作步驟為：伸出一只手，掌心向上，凝視手腕，用另一只手的食指觸摸Windows圖標(biāo)。以這兩種核心手勢為基礎(chǔ)，將點(diǎn)擊、保持、釋放以及手的位移進(jìn)行結(jié)合，可以表現(xiàn)出多種復(fù)合手勢。

設(shè)置對象的遠(yuǎn)距離射線交互，需要將ObjectManipulator腳本組件添加到物體對象上，并為交互對象添加一個(gè)與它可抓取邊界匹配的Collider組件。如果設(shè)置對象的近距離抓取交互，還需要添加NearInteractionGrabbable腳本。抓取配件的代碼如下：

public void OnManipulationStarted（）

{

SetAssemblyHint（true）;//抓取開始提示

}

public void OnManipulationEnded（）

{

SetAssemblyHint（false）;//抓取結(jié)束提示

if（isArriveAssemblyPosition）//檢測是否到達(dá)預(yù)定義位置

{

//檢測安裝順序是否正確

if（NotebookManager._instance.CheckAssemblyStep

（this））

{

transform.SetParent（assemblyLocationParent.transform）;//定位掛載

transform.position = assemblyLocation.transform.position;//位置

transform.rotation = assemblyLocation.transform.rotation;//旋轉(zhuǎn)

transform.localScale = assemblyLocation.transform.localScale;//放縮

//配件安裝成功

NotebookManager._instance.HandleAssemblySuccess

（this）;

}

else

{

NotebookManager._instance.ShowErrorTip（）;//顯示錯(cuò)誤提示

ResetPosition（）;//復(fù)位當(dāng)前配件

}

}

}

2.3? 語音

MRTK語音控制程序提供了KeywordRecognizer、GrammarRecognizer和DictationRecognizer類配置文件，以供開發(fā)者設(shè)置需要的識(shí)別關(guān)鍵字。為更好的控制語音識(shí)別的時(shí)機(jī)，項(xiàng)目設(shè)計(jì)開發(fā)了SpeechRecognizer類實(shí)現(xiàn)立即播放和延遲播放兩種模式。首先在編輯器的PlayerSetting中將訪問麥克風(fēng)權(quán)限打開，然后使用KeywordRecognizer指定要偵聽的短語，最后結(jié)合UnityEvent事件和識(shí)別的短語進(jìn)行語音播放操作。語音控制代碼如下：

//創(chuàng)建結(jié)構(gòu)體集合

[System.Serializable]

public struct KeyStructure

{

//被語音識(shí)別的關(guān)鍵字：

public string Keyword;

//被識(shí)別事件的按鍵

public KeyCode KeyCode;

//被語音識(shí)別的事件

public UnityEvent KeyEvent;

}

//向字典中添加綁定事件

keywords = speedRecognizerStructure.ToDictionary

（SpeedResponses => SpeedResponses.Keyword， SpeedResponses => SpeedResponses.KeyEvent）;

//創(chuàng)建關(guān)鍵字識(shí)別器，并告知識(shí)別器我們想要識(shí)別的內(nèi)容

keywordRecognizer = new KeywordRecognizer

（keywords.Keys.ToArray（））;

//注冊SpeechRecognized事件

keywordRecognizer.OnPhraseRecognized += SpeechRecognized;

//開始識(shí)別

keywordRecognizer.Start（）;

//循環(huán)檢測結(jié)構(gòu)體中的按鍵是否被觸發(fā)

foreach （var structure in speedRecognizerStructure）

{

if （Input.GetKeyDown（structure.KeyCode））

{

structure.KeyEvent.Invoke（）;

return;

}

}

//調(diào)用事件

private void SpeechRecognized（PhraseRecognizedEventArgs word）

{

SpeechRecognizedUnityEvent（word）.Invoke（）;

}

//判斷是否滿足調(diào)用條件

UnityEvent SpeechRecognizedUnityEvent（PhraseRecognizedEventArgs word）

{

UnityEvent keywordAction;

if （keywords.TryGetValue（word.text， out keywordAction））

{

return keywordAction;

}

else

{

return null;

}

}

3? 系統(tǒng)實(shí)現(xiàn)

使用HoloLens2設(shè)備進(jìn)入MR計(jì)算機(jī)組裝系統(tǒng)。在混合現(xiàn)實(shí)場景中，有兩個(gè)虛擬按鈕，分別是臺(tái)式機(jī)電腦組裝場景和筆記本電腦組裝場景，如圖2（a）所示。通過手部遠(yuǎn)距離交互（捏手指激發(fā)射線）、近距離交互（觸摸物體）、凝視交互（準(zhǔn)星對準(zhǔn)物體凝視3秒）、語音識(shí)別交互（說“筆記本”或“臺(tái)式機(jī)”）進(jìn)入臺(tái)式機(jī)電腦組裝場景或筆記本電腦組裝場景。

如果選擇臺(tái)式機(jī)電腦組裝模式，則進(jìn)入臺(tái)式機(jī)電腦組裝場景，在臺(tái)式機(jī)電腦組裝場景中有三個(gè)模塊。第一個(gè)模塊是場景右側(cè)的動(dòng)畫模塊，如圖2（c）所示，點(diǎn)擊動(dòng)畫觀賞按鈕瀏覽臺(tái)式機(jī)電腦拆解動(dòng)畫，點(diǎn)擊返回按鈕瀏覽臺(tái)式機(jī)電腦組裝動(dòng)畫。第二個(gè)模塊是場景中間的組裝模塊，點(diǎn)擊開始按鈕開啟手動(dòng)組裝模式，如圖2（e）所示。在手動(dòng)組裝模式中，需要按照正確的順序安裝每一個(gè)部件。如果安裝順序錯(cuò)誤，則會(huì)出現(xiàn)紅色字體提示。如果用戶安裝完成，開始按鈕會(huì)重新打開，以便再次練習(xí)安裝。如果在手動(dòng)組裝時(shí)直接點(diǎn)擊退出按鈕，系統(tǒng)會(huì)自動(dòng)依次安裝每個(gè)部件，完成后，開始按鈕也會(huì)重新打開。第三個(gè)模塊是臺(tái)式機(jī)電腦硬件展示模塊，此模塊展示了臺(tái)式機(jī)電腦各個(gè)硬件，如圖2（g）所示。

如果選擇筆記本電腦組裝模式，則進(jìn)入筆記本電腦組裝場景，在筆記本電腦組裝場景中也有三個(gè)模塊。第一個(gè)模塊是動(dòng)畫模塊，如圖2（d）所示，點(diǎn)擊動(dòng)畫觀賞按鈕即可開始觀看筆記本電腦拆解動(dòng)畫，點(diǎn)擊返回按鈕即可以觀看筆記本電腦組裝動(dòng)畫。第二個(gè)模塊是組裝模塊，點(diǎn)擊開始按鈕，等待筆記本拆解動(dòng)畫播放完成后，即可開始手動(dòng)組裝，如圖2（f）所示。需要按照正確的順序安裝每一個(gè)部件。第三個(gè)模塊是組裝考試模塊，如圖2（h）所示。點(diǎn)擊開始按鈕進(jìn)入考試，包括選擇題和組裝考核。選擇題選對一個(gè)加10分，選錯(cuò)不扣分。完成選擇題后，進(jìn)入組裝考試模塊，用戶需要按照正確的順序進(jìn)行組裝，錯(cuò)一個(gè)步驟，扣10分。考試模塊最高分為100分，最低分為0分。考試模塊主要考核筆記本電腦組裝知識(shí)、技巧和流程。

無論是選擇臺(tái)式機(jī)電腦組裝場景或筆記本電腦組裝場景，操作者身后都有一個(gè)返回主菜單按鈕，如圖2（b）所示，點(diǎn)擊后可返回主菜單，重新選擇場景。

4? 系統(tǒng)測試

4.1? 導(dǎo)出設(shè)置

通過Unity3D打包導(dǎo)出UWP工程到VS中部署HoloLens2中測試。首先在Unity3D中添加Universal Windows Platform Build Support模塊和Windows Build Support（IL2CPP）模塊。然后在File—>BuildSettings窗口中選擇Universal Windows Platform選項(xiàng)，點(diǎn)擊SwitchPlatform按鈕切換打包環(huán)境。然后在Project Settings—>Player面板中，選擇Publishing Settings—>Capabilities并勾選項(xiàng)目對應(yīng)所需權(quán)限。最后在XR Settings屬性中勾選Virtual Reality Supported—>Windows Mixed Reality—>Depth Format，并選擇16-bitdepth，在Stereo Rendering Mode中選擇Single Pass Instanced，以提升項(xiàng)目性能。

4.2? 調(diào)試設(shè)置

項(xiàng)目調(diào)式需要選擇VS環(huán)境進(jìn)行，并在Visual Studio Installer的“通用Windows平臺(tái)開發(fā)”選項(xiàng)中，勾選“USB設(shè)備連接性”和“C++（V142）通用Windows平臺(tái)工具”，最后部署到HoloLens2中進(jìn)行調(diào)試。

4.3? 其他注意事項(xiàng)

在使用混合現(xiàn)實(shí)工具包Mixed Reality Feature Tool導(dǎo)入SDK時(shí)，會(huì)出現(xiàn)彈不出Mixed Reality Toolkit設(shè)置面板的問題。解決方法：在Window—>Package Manager中搜索并更新Text Mesh Pro包。

在工程搭建時(shí)，需要修改系統(tǒng)參數(shù)或?qū)崿F(xiàn)系統(tǒng)功能，但對Mixed Reality Toolkit組件進(jìn)行修改時(shí)，會(huì)出現(xiàn)不允許修改MRTK默認(rèn)值的問題。解決方法：

1）開始項(xiàng)目搭建時(shí)，點(diǎn)擊Unity菜單欄—>MixedReality按鈕（這個(gè)按鈕導(dǎo)入SDK后會(huì)自動(dòng)顯示在Unity菜單欄）—>Toolkit—>Add to Scene and Configure，創(chuàng)建主配置文件。

2）在Mixed Reality Toolkit組件的第一行，點(diǎn)擊Clone按鈕，則會(huì)克隆一個(gè)預(yù)設(shè)并彈出CloneProfile窗口（在窗口中可以為該預(yù)設(shè)重命名、修改存放位置），點(diǎn)擊窗口中的Clone按鈕。

4.4? 結(jié)果分析

經(jīng)過打包并在HoloLens2中部署安裝測試。分別使用手部遠(yuǎn)距離指針交互、手部近距離觸摸交互、凝視和語音識(shí)別交互進(jìn)行測試，實(shí)現(xiàn)了系統(tǒng)中的各功能模塊。經(jīng)過反復(fù)測試，系統(tǒng)功能穩(wěn)定。測試結(jié)果表明：系統(tǒng)實(shí)現(xiàn)了真實(shí)世界和虛擬世界的實(shí)時(shí)交互融合。系統(tǒng)不僅可以讓對計(jì)算機(jī)組裝感興趣的人學(xué)習(xí)計(jì)算機(jī)組裝知識(shí)，還可以讓他們更加真實(shí)的體驗(yàn)到計(jì)算機(jī)組裝的流程。測試效果圖如圖3所示。

5? 結(jié)? 論

系統(tǒng)使用Unity3D 2019.4.40f1c1 LTS引擎、MRTK2插件和HoloLens2設(shè)備進(jìn)行開發(fā)，并運(yùn)用C#編寫交互腳本，設(shè)計(jì)和實(shí)現(xiàn)了一款基于MR混合現(xiàn)實(shí)技術(shù)的計(jì)算機(jī)組裝系統(tǒng)。系統(tǒng)通過手部遠(yuǎn)距離指針、手部近距離觸摸、凝視和語音識(shí)別來進(jìn)行交互，并測試成功。團(tuán)隊(duì)下一步的研究方向是：運(yùn)用Anchor實(shí)現(xiàn)真實(shí)空間錨點(diǎn)功能；顯示HoloLens2中的第一視角全息視頻；多臺(tái)HoloLens2中系統(tǒng)協(xié)同運(yùn)行。

參考文獻(xiàn)：

[1] 龔赤兵.HoloLens增強(qiáng)現(xiàn)實(shí)技術(shù)的變革和性能評(píng)估 [J].科技創(chuàng)新導(dǎo)報(bào)，2018，15（36）：217-219.

[2] 呂秀琴，張生海.基于HoloLens2的DEM空間分析實(shí)驗(yàn)教學(xué)混合現(xiàn)實(shí)環(huán)境研究 [J].實(shí)驗(yàn)技術(shù)與管理，2021，38（10）：124-129.

[3] 付超.基于HoloLens2的醫(yī)學(xué)影像輔助治療系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [D].沈陽：中國科學(xué)院大學(xué)（中國科學(xué)院沈陽計(jì)算技術(shù)研究所），2022.

[4] 梁巨宏，王殊軼，胡忞仁，等.混合現(xiàn)實(shí)技術(shù)引導(dǎo)放療擺位 [J].軟件導(dǎo)刊，2021，20（11）：106-112.

[5] 曾笑.基于HoloLens2的目標(biāo)檢測技術(shù)研究 [J].現(xiàn)代計(jì)算機(jī)，2021（14）：92-95.

作者簡介：李廣松（1980—），男，漢族，河南林州人，副教授，碩士研究生，研究方向：游戲開發(fā)、XR技術(shù)。