HoloLens 2混合現實新特性探究

摘? 要：微軟公司于2019年11月7日開始向全球發售最新的混合現實設備HoloLens 2。針對HoloLens 2所具備的新特性進行探討，認為該混合現實設備可以提高用戶的佩戴舒適度、增強用戶的沉浸感、提供最新的眼動追蹤功能以及更加自然的多種手勢操作，并且集成了先進的人工智能技術，可以加速為用戶實現商業價值。

關鍵詞：混合現實;HoloLens 2;新特性;虛擬現實;增強現實

中圖分類號：TP316.7? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）02-0121-03

Abstract：Microsoft Corporation launched the latest hybrid reality device HoloLens 2 on November 7，2019. This paper discusses the new features of HoloLens 2，and considers that the hybrid reality device can improve the users wearing comfort，enhance the users immersion，provide the latest eye tracking function and more natural multi gesture operation，and integrate advanced artificial intelligence technology，which can accelerate the realization of commercial value for users. artificial intelligence technology，which can accelerate the realization of commercial value for users.

Keywords：mixed reality;HoloLens 2;new characteristics;virtual reality;augment reality

0? 引? 言

混合現實（Mixed Reality，MR）是一種新的計算機技術，它使人們可以觀察添加到現實世界中的虛擬對象并與之交互。在一個水平的坐標軸上，當把現實對象放置在其最左邊端點，把虛擬對象放置在其最右邊端點，此時，增強現實（Augmented Reality，AR）位于不包含最左邊端點的左端區域，而虛擬現實（Virtual Reality，VR）則位于最右邊端點。而MR則包含了該水平軸上中間及右端區域[1]。因此，MR在特殊情況下，既可以是AR，也可以是VR，AR和VR只是MR的特例。

2015年1月，微軟公司發布了HoloLens頭盔，這是世界上第一臺無電纜全息計算機設備。HoloLens具有內置的Windows 10操作系統。它具有中央處理單元（CPU）、全息處理單元（HPU）、4個可識別環境的相機和深度相機等傳感器。用戶使用特定手勢、凝視和語音來操縱虛擬世界，可以得到良好的用戶體驗。

基于HoloLens的MR技術，為業界帶來了5個方面的重要變革，它們分別是新交互性的方式、新可視化的方法、新可視化的分析方法、新協作的方式以及新的決策方法[2]。

2016年8月，日本航空公司為培訓維修飛機發動機的機械師和機組人員，使用HoloLens設備開發了新的培訓應用程序。機組人員在虛擬環境之中，體驗飛機的駕駛艙內部。機械師則可以在虛擬的發動機上進行學習和培訓，可以選取重要的發動機零件學習其結構，以及如何對其進行維修等。

國外的許多行業已經開始使用基于HoloLens的MR技術，例如汽車設計、游戲和娛樂、醫療和培訓等。

國內也開始運用基于HoloLens的MR技術。對于核電站中的設備維修[3]，借助HoloLens的MR設備，開發了核電站設備的維修輔助系統，包括5個功能模塊：交互、仿真、分析、指導和監督。MR技術也運用于軌道交通領域中新產品的設計[4]。將MR技術結合BIM技術運用到建筑行業，可以為建筑行業帶來許多機遇，如：可視化建筑方案、協同化模型設計、信息化施工過程的以及高效運營維護[5]。

在巴塞羅那舉行的2019年世界移動通信大會上，微軟公司向世界宣布HoloLens 2面世。2019年11月7日，微軟公司宣布發售最新的第二代MR設備——HoloLens 2。HoloLens 2與HoloLens相比較，重量更輕，用戶佩戴更加舒適，視野從以前的34°增加到了52°，搭載驍龍850處理器，實現了眼動追蹤功能，交互的手勢操作更加精細，可以實現美輪美奐的混合現實交互體驗。

1? 提高了佩戴舒適度

為提高HoloLens 2的佩戴舒適性，微軟公司對數千個不同人種、不同性別、不同年齡的人體頭部，進行了細微的3D掃描，采用了符合人體工程學的設計，機身材料使用了碳纖維，將電池后置，重心后移58 mm，更好地平衡了HoloLens 2的重量，雖然整體重量只減輕了10 g，但用戶體驗的舒適度大大提高[6]。在設計時由于考慮到頭部的形狀、尺寸、，因此HoloLens 2可以調節，適用于任何人。頭部前、后都設計了靠墊，佩戴時就像戴帽子一樣便捷、簡單，原有的HoloLens壓迫鼻梁的問題也得到了改善。與原有的HoloLens相比佩戴舒適度提高了3倍，用戶持續佩戴HoloLens 2到感覺不舒服的時間，也延長了3倍。

對于戴眼鏡的人來說，可調整HoloLens 2到眼鏡正前方。向上翻轉遮陽板即可退出混合現實。HoloLens 2的透鏡并不是完全透明的，而是帶有少許顏色，當裸眼直視或者跟人說話的時候，透過眼鏡也能有良好的視野，開發者甚至能夠佩戴著該設備編寫代碼，這個功能獲得了非常多的正面反饋。

2? 增強了沉浸感

HoloLens 2從提高視場角和光學掃描部件兩個方面，來增強沉浸感。

2.1? 視場角

HoloLens 2與第一代相比較，不僅分辨率有所提高，而且視場角也增加到原有的2倍。原有的HoloLens單眼為720P，而HoloLens 2單眼則達到了2K的分辨率，平均1°的像素從23 px提高到了47 px，顯示區域的比例也從原有的16：9提高到了4：3，用戶縱向的視野大幅提升。

需要說明的是，視場角增加到2倍的這個數值并不嚴格，實際上HoloLens的對角視場角為34.0°（垂直17.5°，水平30.0°），HoloLens 2對角為52.0°（垂直28.5°，水平43.0°）。

用戶佩戴上HoloLens 2之后，馬上會感覺到視野是原始大小的2倍。所看到的區域要大得多。此時只需用眼球轉動，就可以跟蹤周圍的用戶界面中的虛擬對象，而不需要像從前那樣轉過頭來。更大的視野有助于用戶體驗更加真實的虛擬對象。

在用戶佩戴HoloLens時，由于視野較小，虛擬對象很容易從用戶的視野中被剪切掉，此時，迫使用戶移動甚至退后一步。佩戴現有的HoloLens 2設備，可以在任何位置揮動手勢，非常自然、舒適，也不必像佩戴HoloLens時，手勢需要進入狹小的視野，令人煩擾。

2.2? 新的光學部件

HoloLens 2的體積、重量與HoloLens相比較，幾乎沒有太大變化。但是視場角擴大到了2倍。一般來講，隨著屏幕的擴大，設備的體積、重量、耗電量就會增加，但HoloLens 2采用了微軟研發的MEMS光學部件——激光掃描屏幕有效地解決了問題。通過MEMS的高速微小震動，實現每秒54000次的激光掃描。

原有的HoloLens使用了一個基于LED的小顯示器。HoloLens 2使用基于鏡面的激光系統，對顯示器進行蝕刻，該激光系統使用3個激光來創建每秒120幀的圖像，高速繪制圖像。

3? 眼動追蹤功能

眼動追蹤是最新的HoloLens 2所提供的一項重要功能，它通過內置攝像頭識別用戶凝視的地方，能夠準確地知道用戶在看什么，并實現與虛擬對象的交互。即使在用戶佩戴普通眼鏡的情況下，仍然可以使用該功能。

眼動追蹤的真正價值可以體現在用戶的閱讀方面。在用戶佩戴原有的HoloLens時，在閱讀一篇較長的文章時，用戶需要通過手勢的點擊操作，實現內容向下或向上滾動，或通過語音，控制內容的向下滾動或向上滾動，但是HoloLens用戶可能處于嘈雜的環境之中，耳機無法清楚地接收到語音命令。通過HoloLens 2所提供的眼動追蹤功能，當用戶閱讀到文章的底部時，由于用戶的眼睛凝視文章的底部可以被識別到，此時將自動向下滾動。如果用戶需要返回查看已經閱讀的先前內容，用眼睛凝視文本的頂部，此時它就會向上滾動，而不再需要移動頭部。通過用戶的眼睛凝視方位的變化快慢，就可以調整移動文本的速度。

實現上述的眼動追蹤算法具有一定的難度。因為此時的頭部沒有任何參照物，頭部可以朝向任意一個方向，而在頭部移動的時候，則希望圖像能夠穩定地顯示在用戶頭部的正前方。而微軟公司開發的這種與投影相關的算法，則根據頭部的運動，來判斷頭部的將來位置，然后在指定的時間發射激光，確保在正確的位置渲染圖像。

4? 多種手勢操作

HoloLens 2的手勢操作與原有的HoloLens相比較，更加自然、直觀和方便。HoloLens 2不再配備物理控制器，完全依賴于手勢識別和語音控制。微軟公司通過機器學習算法，可以準確識別單只手的25個關節點以及手掌的方向，從而很好地識別用戶的雙手，如手指彎曲、手勢運動、較精確的手指定位等。同時手勢操作也有所增加，比如對摘、抓、捏這種細微的差別都能進行識別，從而可以移動物體、旋轉物體，更改物體尺寸等。可以用一只手或兩只手移動虛擬對象，并使用更直觀的夾點來移動物體或調整物體大小。

在操控較遠處的虛擬物體時，還可以通過指定手部所伸展出的光線來對物體進行操控。伸出手指時如果會看到一條光線，則可以將該光線附加到指定的虛擬對象之上，然后將手指向后拉，則物體會自動用戶靠近。用兩只手的手指可以旋轉、縮小或放大對象。還可以通過組合手勢，用手指將物體靠近，然后用手抓住它。

要移動某些東西，用戶還可以將手伸到虛擬對象的中心，并握緊拳頭，然后移動拳頭就可以移動虛擬物體。用戶也可以將兩個拳頭都放進虛擬對象之中去，將拳頭拉開，此時虛擬對象就會被放大。

HoloLens 2還可以定位手的上面和背面。如在蜂鳥的演示應用中，虛擬的蜂鳥首先在整個房間里自由地飛來飛去，如果用戶張開手掌，則蜂鳥就會飛到用戶的手中，并盤旋在手掌之上，非常逼真。如果此時用戶向上、向下、向左或者向右移動手掌，那么這只蜂鳥會移動并始終停留在用戶的手掌上方。當用戶把手移開或合上拳頭時，這只蜂鳥就會飛走并在房間里四處移動。

需要說明的時，如果用戶已經掌握了原有的HoloLens的手勢，仍然可以在HoloLens 2中使用。

5? 集成先進的AI技術

當用戶第一次戴上新的HoloLens 2設備時，該設備會自動識別用戶手的真實形狀，以及兩眼之間的準確距離。

為了構建手部識別和跟蹤系統，微軟公司的AI團隊，通過一個向內指向的半球形攝像機，拍攝、記錄各種各樣人手的形狀，然后通過使用云來處理、構建能夠表示人類手形和動作的3D模型。

通過上述建立的手形3D模型，該團隊再使用計算機繪制逼真的虛擬手部圖像以及相對應的標簽，使得該手形模型在今后各種各樣的手形、姿勢和運動中具有穩健性。

該團隊使用上述數據，訓練一種緊湊的AI深度神經網絡，然后將訓練獲得的AI模型部署到HoloLens 2上，并可以在深度傳感器所發出的每一幀上高效運行。

當新用戶佩戴HoloLens 2的時候，該手部識別和跟蹤系統使用部署在設備上的AI模型，將個性化的手形3D模型實時匹配到用戶手中，實現所需的手勢精確跟蹤和與虛擬對象的本能交互。

該團隊還采用上述類似的方法，構建、訓練眼動追蹤模型。其中需要測量眼睛瞳孔中心之間的距離，即瞳孔間距。由于瞳孔間距會因人而異，并會影響近視或遠視用戶觀看虛擬對象，因此，同樣需要訓練一種緊湊的AI深度神經網絡，形成一個眼動跟蹤模型，最終部署到HoloLens 2之上，所以用戶就可以使用眼動追蹤功能。

還有新的定位和映射功能，同樣也使用了AI技術。這些智能功能，都被嵌入全息處理的第二代定制芯片HPU 2.0之中。

6? 加速實現商業價值

微軟公司為助力混合現實應用，還發布了相關的應用，如Dynamics 365 Guides、Dynamics 365 Layout和Dynamics 365 Remote Assist等應用，加速為混合現實用戶實現商業價值。

微軟公司還通過云端，提供兩項全新的混合現實服務，幫助開發人員和企業打造跨平臺、適合各種行業領域的企業級混合現實應用：

云端空間錨這種新的技術，方便開發人員在混合現實的應用中，比較容易地實現混合現實的分享、協作。

云端遠程渲染，為方便用戶更快、更好地決策，在不降低圖像質量的情況下，可以讓用戶能夠體驗3D虛擬場景。通過對3D模型進行減面或簡化，可以渲染較高質量的3D虛擬場景。對于設計等領域來說，細節至關重要，因此，需要通過云端呈現高質量的虛擬對象，然后傳輸到HoloLens 2設備。

7? 結? 論

HoloLens 2提高了用戶佩戴舒適度，視場角擴大到了2倍，并提供了最新的眼動追蹤功能以及精細的手勢操作，相信不久的將來，會不斷應用到相關企業領域，為用戶實現商業價值。

參考文獻：

[1] MILGRAM P，KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems，1994，77（12）：1321-1329.

[2] 龔赤兵.HoloLens增強現實技術的變革和性能評估 [J].科技創新導報，2018，15（36）：217-219.

[3] 李喆，陳佳寧，張林鍹.核電站設備維修中混合現實技術的應用研究 [J].計算機仿真，2018，35（5）：340-345.

[4] 湯卓慧，朱培毅.虛擬現實、增強現實和混合現實及其在軌道交通行業中的應用 [J].鐵路通信信號工程技術，2016，13（5）：79-82.

[5] 龔赤兵.HoloLens混合現實技術在建筑行業中的應用研究 [J].現代信息科技，2019，3（4）：147-149.

[6] PALMER D. Hands-on with Microsoft HoloLens 2：More comfortable，more intuitive and more potential [EB/OL].（2019-03-01）.https：//www.zdnet.com/article/hands-on-with-microsoft-hololens-2-more-comfortable-more-intuitive-and-more-potential/.

作者簡介：龔赤兵（1964-），男，漢族，湖北武漢人，教師，副教授，碩士研究生，研究方向：計算機應用。