基于HoloLens的虛擬交互寵物貓的設計與研究

王功利

摘要：針對虛擬寵物交互體驗不佳的問題，本文研究利用混合現實技術的相關應用開發技術與方法。利用Unity3D引擎作為開發環境，創建基于HoloLens設備的虛擬寵物貓交互應用，并在其中完成一些與寵物貓的簡單互動行為。該項目應用目前處于研究階段，實驗測試表明該項目可以在未來投入到互動娛樂類的應用推廣當中，同時可以用于HoloLens設備應用領域。

關鍵詞：混合現實技術；HoloLens；虛擬交互

中圖分類號：TP391.9 文獻標識碼：A 文章編號：1007-9416（2018）06-0172-01

1 引言

微軟公司研制的HoloLens全息眼鏡運用了混合現實技術，它是一種對虛擬現實技術的拓展與改進，不僅結合虛擬現實技術的優勢，而且克服VR設備的不足之處。其交互性與沉浸感要比虛擬現實帶來的效果更高。用戶在接觸真實世界的同時，也可接觸到虛擬的信息內容，通過真實與虛擬產生的疊加效果，獲得更逼真的交互體驗[1]。如今在MR領域代表性的設備有HoloLens全息眼鏡、Magic Leap等等。HoloLens在游戲領域等應用也逐步普及，吸引不少游戲玩家的注意[2]。虛擬現實展示手段和過去實物展示技術進行融合，用戶行走于虛擬與現實環境中間。從而可以優化以往的靜態展示的信息傳遞的單調性，使交互更加自由[3]。

2 相關工作

HoloLens使用Windows10 Holographic操作系統。這種系統與計算機使用的Windows10系統具有通用的API接口和NT內核。此外HoloLens增加了人機交互組件。如視線控制，手勢控制以及聲音控制等[4]。使用HoloLens運行測試只需連接設備和電腦，將HoloLens調節為開發者模式，并在微軟官網中注冊這臺實體設備即可。

3 算法

3.1 視線識別

視線在此也稱作為“凝視”，是用戶正在看到的某個位置中心。在場景中添加一個紅色圓環作為用戶視角中心，并固定它運行中與攝像機的相對位置，使得用戶無論看哪里，圓環始終保持中心位置。

在腳本中創建MeshRenderer，Update（）功能中獲取用戶相機實時位置，測試時該位置應與佩戴設備后用戶眼睛位置一致。獲取相機位置向量并反饋給RayCast。RayCast獲取相機朝向賦予到光標圓環的位置中。圓環就會固定于用戶視線中心。用戶視線若與場景中某一物體“相交”，則圓環出現在物體表面，直觀地告訴用戶自己是否正在面向場景中的某個物體。

3.2 虛實環境結合

Unity初始化的相機屬性中，默認背景如果不做調節，在運行中背景也會投射到用戶的運行場景，與真實環境發生了疊加干擾，因此需要消除相機的背景。調節相機背景屬性為黑色，黑色場景將會變成透明的，從而達到虛擬物體與現實環境結合。

3.3 碰撞檢測

用戶觀察時，以相機位置作為原點，發出一條“射線”。如果射線被遮擋，就與第一個遮擋它的物體產生“碰撞”行為。RayCast中擊中參數值變為True，此時紅色圓環就會出現，并且旋轉圓環使之與“碰撞”物體表面進行貼合。這樣既表示產生碰撞，又能告知用戶正在注視的位置在哪里。使碰撞結果可視化。

3.4 交互動作檢測

如果用戶要做出點擊手勢動作，需要將食指和大拇指進行觸碰，系統就會向這一瞬間用戶“注視”的物體發送指令。通過被選中的物體將要調用Onselect（）方法，另一腳本中將會實例化OnSelect（）方法，從而讓物體做出相應動作。

4 測試與分析

4.1 測試環境

計算機開發環境：Windows 10，Visual Studio 2015，Unity5.5.2f1，8GB內存。

測試用HoloLens全息眼鏡：Windows 10操作系統，64GB內存。

4.2 測試結果分析

用戶注視著貓的前方，紅色圓環會與根據貓附著的邊界球體的碰撞關系進行旋轉，因此圓環在正前方顯現，并且與貓的邊界體表面進行位置關系計算，旋轉一定的角度。對貓進行不同視角觀察，發現在以現實環境建立為空間坐標系下，貓在其中有固定的空間坐標。下圖為界面交互過程，用戶做出點擊動作，進行界面跳轉，與貓進行互動等操作。圖中貓吃魚的動作是用戶“點擊”貓之后觸發貓的動作腳本，使得站立動作轉換成吃魚的動作。

5 結語

本文主要探討了基于HoloLens設備的混合現實寵物貓應用的設計流程與關鍵功能的實現。首先準備開發環境和相關SDK包，然后在Unity引擎下進行環境搭建與交互算法等腳本的編輯；最后在實體HoloLens設備上進行互動展示。上述實驗證明了利用HoloLens設備下的寵物互動行為。根據測試分析結果，證明本項目能夠有效實現具有趣味性的寵物貓交互。目前本項目仍在進一步研究，將會拓寬其交互功能與添加場景互動等環節，繼續完善這個娛樂應用。

參考文獻

[1]陳瀟瀟.淺談混合現實技術的發展趨勢[J].大眾文藝，2016，（15）：264.

[2].微軟黑科技HoloLens 虛擬成像走進未來[J].信息技術與信息化，2015，（06）：16.

[3]尹火嬌.數字科技館中混合現實技術的應用[J].無線互聯科技，2016，（09）：135-136+138.

[4]高韻.虛擬現實技術發展與啟示——以微軟HOLOLENS為例[J].互聯網經濟，2017，（12）：50-55.

Abstract：Aiming at the problem of virtual pet interaction experience， this paper studies the technology and method of application of hybrid reality technology. Using the Unity3d engine as a development environment， create virtual pet cat interactive applications based on HoloLens devices， and do some simple interactions with it. The application of the project is currently in the research phase， and the experimental results show that the project can be applied to the interactive entertainment class in the future， and it can be used in the field of HoloLens equipment application.

Key words：mixed reality technology； HoloLens； virtual interaction