新冠疫情期間增強現實與虛擬現實技術加速發展

編譯 李軍平

自兩年前新冠疫情暴發以來，全球經濟受到了重大沖擊，各行各業都被影響，運用增強現實（AR）與虛擬現實（VR）等技術，通過數字仿真來創建或模擬現實世界的沉浸式媒體行業也不例外。

在沉浸式技術和媒體領域，具備跨學科思維的領導者們成立了世界經濟論壇（WEF）增強現實和虛擬現實全球未來理事會，并評估了新冠疫情對相關技術的影響。結果表明，疫情將沉浸式技術的發展進程提早了好幾年，并且對各行各業帶來變革。此外，全球管理咨詢麥肯錫公司最近的一項調查顯示，新冠疫情加速了實現客戶互動的數字化的發展。例如，某些曾不愿使用相關沉浸式技術的行業、組織和機構（如博物館），為應對當下全球封控的情況，不得不重新考慮其數字化發展。

本文重點介紹了加速沉浸式技術應用的行業和部門，對新冠疫情期間這些技術在教育、醫療培訓、線上活動以及藝術與娛樂中的運用進行了概述。

在教育領域，這些技術使人際交往得以通過數字媒介實現，填補了線下教學方面存在的巨大缺口。事實上，以高等教育為例，美國凱斯西儲大學85%的醫學新生表示，混合現實技術在解剖學課程中的運用，使線上課程的體驗與線下課程“一樣好”，甚至“更好”。外科醫生通過采用在線VR/AR技術，可以使學生和同事觀摩復雜的手術場景并提供協助。此外，在過去兩年中，許多采用沉浸式技術的教育活動的用戶參與度也有所增加。

除了在教育方面提供諸多便利之外，應用沉浸式技術還有利于為許多感到孤獨的人提供一個可以共享、相聚和社交的平臺。除了各類視頻會議工具激增以外，擴展現實平臺還可以將生活虛擬化，為人們提供視頻通話所無法比擬的共存感。VR技術的應用有利于加強人與人之間的聯系，這一點在疫情隔離時代尤為重要。

沉浸式技術也正在向藝術和娛樂領域滲透。在疫情封鎖期間，由于觀眾無法出席線下體育賽事，體育行業不得不想辦法讓粉絲在線上觀看比賽。這項技術可以將粉絲帶到體育活動的中心，并為他們提供前所未有的獨特視角。

此外，本文也考慮到了沉浸式技術發展進程中關于安全與隱私的重要性。全球未來理事會承諾，將持續對相關技術的潛在不良后果予以重視，同時鼓勵新型工具的開發，實踐證明，這些工具在全球疫情期間起到了極大的作用。在過去兩年中，這些技術的早期應用領域不斷擴大，并且證明其應用能夠使人與人之間的聯系更為緊密。

1 教育

在過去，學業上的成功依賴于學生與教師或導師之間的交流。這次疫情使得師生間的互動變得既危險又困難。

異步（即“獨立”）學習是許多教育計劃的核心部分。而在過去兩年中，世界各地學生所接受的異步教育比以往任何時候都要多。幾年前，人們很難想象學生會在家中，僅通過信息技術便可實現與老師和其他同學同步學習。而AR和VR技術由于可通過數字媒介在人們之間建立聯系，如今在教育中變得尤為必要，尤其是需要實際操作或現場學習的教育領域，例如學徒培訓等。

因此，提供VR培訓的公司，如TransfrVR，在疫情期間獲得了1 200萬美元的A輪融資。這次的成功融資是基于其能夠為制造業提供高效的虛擬培訓體驗，從而使學徒擁有高水平的學習和工作表現。

沉浸式技術（如AR和VR）通過數字仿真創建或模擬現實世界，為用戶提供獨特的方式以體驗并理解相關概念。這些技術還將虛擬內容融入現實環境，并允許用戶參與到這種混合現實中來。AR和VR技術在縮小由新冠疫情導致的教育缺口上起了積極作用，我們對此應持積極樂觀的態度。這些技術通過提供一系列相關服務，力爭將遠程教育轉變為更具沉浸感的學習體驗。

通過運用混合現實技術，投影出患者人體器官的3D渲染圖，使人變得“透明”，讓臨床醫生和學生能夠“透視”人體。

2 醫療培訓和相關程序

疫情也對醫療培訓造成了嚴重影響。美國凱斯西儲大學和斯坦福大學成功使用AR/VR技術教授解剖學。斯坦福大學在肯尼亞開辦了一個項目，利用新技術向醫學生傳授核心知識以及與患者溝通和評估病情的關鍵技能。凱斯西儲大學185名醫學新生的解剖學課程都采用混合現實技術進行授課，其中85%的學生表示這種授課方式與線下課程相比效果“一致”或“更好”。

由于新冠疫情的限制，醫學生無法到現場參與患者病情評估工作。為了給他們提供更多的參與機會，美國密歇根大學和英國倫敦帝國理工學院舉辦了首次VR查房活動，醫生通過使用微軟混合現實頭戴式智能眼鏡HoloLens和視頻會議軟件Zoom，把學生們帶到患者床邊，與患者進行互動，查看病理圖像，討論實驗室工作并觀摩體檢過程。

外科醫生通過采用在線VR/AR技術，可以使學生和同事觀摩手術并提供協助。在疫情早期，第一波新冠肺炎患者對醫療衛生系統造成了沖擊。位于特拉維夫舍巴醫療中心康復醫院的以色列醫學模擬中心（MSR）使用相關技術代替教師，培訓員工使用新的呼吸機和設備。通過微軟Guides交互式混合現實模擬培訓，MSR教會了約60名醫生、生物醫學工程師和護士為新冠肺炎患者使用呼吸機。MSR并不是個例，自2020年1月以來，通過在主要的企業用戶群中推廣使用HoloLens，微軟的遠程協助案例較以往增加了13倍。

斯坦福大學吳蔡神經科學研究所可視化技術實驗室的聯合主任克里斯托夫·魯茲（Christoph Leuze）表示，通過運用混合現實技術投影出患者人體器官的3D渲染圖，可使人變“透明”，并讓臨床醫生和學生能夠“透視”人體。這樣一來，醫生可以在數字化層面查看和分析人體結構，且效果與實際解剖基本一致，從而使醫護人員和醫學生能夠更加準確地看到并定位重要的部位。該技術在醫療領域中得以廣泛應用的又一個重要原因正是混合現實技術可以滿足醫護人員的這一基本需要。

在魯茲看來，混合現實技術的應用也是完善與醫學界合作的一個機遇。多個遠程操作的醫護人員可在不看其他屏幕的情況下查看同一現實情況和虛擬內容，這有利于當地醫護人員和遠程專家之間進行更加自然的交流和互動。這一點在最近的一場微軟24小時在線手術中得到了最好的證明。當時，來自世界各地的外科醫生戴著微軟HoloLens 2混合現實頭顯進行了13場手術。外科醫生可以“通過全息影像進行可視化操作，共享手術中的實時視圖，借鑒同行的專業知識，以及進行遠程指導”。這樣的合作和知識傳播方式是前所未有的。

3 線上活動

在過去，舉辦會議活動牽涉許多費用，如注冊費、差旅費和住宿費等。而涉及婚禮、畢業和小孩出生等的社會活動時，通常意味著要預訂航班、酒店以及宴席。然而，在2020年，這些線下活動統統被取消了。即便是移動通信行業最重要的展會，2020年世界移動通信大會（MWC）也在最后一刻被取消。很快，展覽、會議、音樂節、婚禮、畢業典禮和迎嬰派對也都被取消了。

令人鼓舞的是，人類很快運用自己的智慧和技術讓這類活動得以繼續舉辦。除了各類視頻會議工具激增以外，擴展現實平臺還創作了一個將生活虛擬化的創意維度。在過去兩年中，VR技術在各類會議中的應用都有所增加，例如電氣電子工程師學會（IEEE）虛擬現實會議、IEEE混合與增強現實國際研討會、人工現實國際會議以及Telexistence公司和歐洲計算機圖形協會虛擬環境研討會，都為全球各地的人們提供了學習機會和獲取教育資源的途徑。

虛擬現實活動也越來越受歡迎。宏達國際電子股份有限公司和微軟等公司的大型企業活動已通過虛擬現實和混合現實技術進行了虛擬化，得到了有趣的效果：線上與線下互動出乎意料的類似。即便是黑巖城一年一度的火人節，現在也有了VR版本。這使得更多的人能夠觀賞和體驗數字藝術裝置。

當人們可以在虛擬現實中以虛擬形象見面時，將感受到一種共存感，而這一點正是視頻通話無法實現的。人們可以即刻創造共同的經歷和回憶，就像在現實中一樣。

沉浸式媒體可以為粉絲們提供多重的視角，來探索和觀看一場活動，改善觀看體驗。

4 藝術與娛樂

面對新冠疫情的挑戰，許多充滿創意的線下活動都必須借助技術轉為線上活動。例如，威尼斯電影節中的“沉浸式觀影單元”完全在虛擬現實中進行。只要戴上VR頭顯，就能欣賞到獨特的威尼斯小艇和世界級的展覽。

音樂產業也利用了VR技術的特性。例如約翰·傳奇（John Legend）、特拉維斯·斯科特（Travis Scott）、威肯（The Weeknd）和利爾·納斯（Lil Nas）等頂級音樂人才的虛擬演出，所有表演都是在交互式虛擬環境中進行的，觀看人數達到數千萬，遠超線下演出的場地限制。

娛樂領域面臨的最大難題之一是無法讓人們聚集在體育場館觀看體育賽事。在美國，2020年美國男子職業籃球聯賽（NBA）、美國女子職業籃球聯賽（WNBA）和美國職業棒球大聯盟（MLB）賽季暫停。在印第安納州的印第安納波利斯賽車場舉行的大型汽車比賽，印第安納波利斯500英里大獎賽也被推遲。此外，2020年夏季奧運會也被延遲到2021年舉行。由于疫情帶來的嚴重影響，體育行業不得不想辦法讓粉絲以線上形式觀看比賽。體積視頻是該行業用到的新興技術之一。這項技術將粉絲帶到體育活動的中心，并為他們提供前所未有的獨特視角，包括空中視角和裁判視角。聯賽和廣播公司通過使用“真實視角”來為觀眾提供新鮮、細致的體驗，在與粉絲保持聯系的同時，突出比賽的故事性，并對此進行深入分析。

沉浸式療法的臨床試驗結果顯示，通過一邊觀看與其創傷有關的圖像，一邊在跑步機上行走，40%的PTSD患者的病情有所改善。

5 未來的應用程序和技術突破

五年前，人們對VR和AR頭顯銷售額過于樂觀的預測是當前實際銷售額的三倍。不過，其早期成功依然有目共睹，近期第三方研究預測，VR和AR技術的應用速度將會加快。例如，《福布斯》引用的研究表明，根據消費者數據和趨勢，2020年全球VR市場規模為61億美元，全球AR市場規模為153億美元，預計到2025年，全球VR和AR市場規模將分別增長到209億美元和770億美元。

在過去幾年中，AR/VR頭顯確實取得了長足進步，技術得以改進（例如波導/OLED顯示器、傳感器/空間映射、圖形渲染），設計也更多地考慮到了消費者的需求，如開發無線和價格便宜的設備。通過使用Unity和Unreal等高端游戲引擎，“VR暈動癥”的問題已經顯著減少，對交互內容創作者的支持也在迅速增加。此外，針對使用者面部與手部的實時追蹤技術在幾年前還只是研究雛形，而現在正成為商業解決方案中不可或缺的一部分。

在過去幾年中，汽車制造業、國防和醫療衛生部門是消費級AR/VR設備的最大受益者，2020年全球范圍內的相關支出達到190億美元。例如，汽車的設計可在VR系統的協助下進行，汽車制造商也越來越多地通過AR/VR解決方案來進行遠程裝配和培訓。VR技術已廣泛應用于軍事訓練系統，如飛行模擬器。此外，美國陸軍正在迅速裝備商用AR/VR頭顯，以進行沉浸式作戰訓練（如美國陸軍的合成訓練環境），因為在虛擬戰場中能夠進行規模可控且可重復的模擬訓練，并且這一訓練更為安全、更具成本效益。

在醫療部門，除了前面提到的外科醫生使用AR頭顯的案例外，VR模擬技術也已成功用于治療創傷后應激障礙（PTSD）。沉浸式療法的臨床試驗結果顯示，通過一邊觀看與其創傷有關的圖像，一邊在跑步機上行走，40%的PTSD患者的病情有所改善。

早期VR技術在消費者應用程序方面取得的成功包括一系列VR和3A級電子游戲，其總收入超過100萬美元（如《半條命:艾利克斯》和《節奏光劍》）。實際上,《節奏光劍》官方于2021年10月宣布其收入突破1億美元，這反映了該行業的收入增長軌跡。VRChat等社交類VR應用程序以及Supernatural等健身類應用程序也越來越受歡迎。

研究型數據統計公司Statista收集的數據顯示，無須配備頭顯且應用于智能手機平臺上的AR應用程序得到了更廣泛的應用，預計到2023年，全球用戶數量將達到14億。最流行的AR應用程序為相機濾鏡和視頻特效（如社交拍照軟件Snapchat和抖音），以及AR游戲（如《精靈寶可夢 GO》）。截至2021年第三季度，Snapchat的日活躍用戶量高達3.06億，《精靈寶可夢 GO》也在其面世的前五年中創造了50億美元的收入。

目前AR/VR設備的價格仍然居高不下，且不便于佩戴，而無線設備的性能相對比較有限。不過，科技公司以及工業界和學術界的研究人員每年都在對硬件和軟件進行優化升級，使其具備新的功能。此外，內容開發商、媒體公司和初創企業正在研發新型沉浸式體驗和交互式應用程序，以豐富虛擬內容。除了游戲和模擬之外，創新體驗還包括取代傳統視頻會議的遙現（即臨場感）應用程序、VR繪畫應用程序（如Tilt Brush和Quill）以及沉浸式紀錄片。

硬件開發方面，沉浸式技術預計將在以下領域取得關鍵進展：更輕薄的外形、更高的分辨率（8K顯示器，如Pimax顯示器）、更寬闊的視野、前置/眼球追蹤攝像頭、更長的電池壽命、更好的防暈動癥能力以及更先進的無線連接技術。微型OLED（可能在2023年面世）等前景廣闊的技術，將有助于研發智能眼鏡等小型顯示器，屆時無須借助玻璃基板，可將其直接安裝在硅晶片上，減少透鏡厚度并提高能效。

高端游戲引擎，如Epic Games的Unreal 5引擎,將為許多含有超現實內容的次時代交互式應用程序提供動力，但無線AR/VR顯示器需要更強大的圖形處理器。神經渲染技術中的數字人物真實感已經通過測試，以解決其關鍵應用領域（如虛擬遙現和沉浸式現場活動）中虛擬人物的“恐怖谷效應”。最近元宇宙（Meta）的現實實驗室展示了其名為Codec Avatar的虛擬形象技術，該技術可使用戶與虛擬現實中的仿真人物進行實時、面對面的對話，但需要一個復雜的捕捉系統來數字化人物形象。此外，臉部追蹤解決方案提供商Pinscreen展示了如何使用一張照片來創建完整的3D形象，以及如何借助其神經面部渲染引擎paGAN來生成仿真表情。

其他的重要進展包括，在沒有配備深度傳感器或多個攝像頭的情況下，對人物動作進行實時體積捕捉。一份歐洲計算機視覺國際會議（ ECCV ）報告的作者們提出了一種基于單個網絡攝像機的實時體積遠程傳輸系統，可以從單個視圖對整個人物進行實時數字化。這種技術的潛在應用：在未來無須使用多個攝像頭即可實現遠程實時3D視頻，而且僅通過一個網絡攝像頭就足以預測一個人包括其背部在內的整體3D形象。

對于VR內容，市場上有兩種主流解決方案：一種是6-DOF（自由度）方案，人們可以在沉浸式體驗中自由行走和旋轉頭部；另一種是3-DOF體驗，人們可以看到360度全景。通常，6-DOF方案使用游戲引擎進行渲染，并需要大量的成本和時間來生成內容，而3-DOF的內容可以使用360度全景攝像頭來進行捕捉。

2019年推出的神經輻射場（NerFs）等具有廣闊前景的人工智能（AI）技術使用深度神經網絡對整個場景和復雜對象進行編碼，并使用體積采樣的方法進行渲染。近期提出的實時變體展現出其實現6-DOF內容數字化和在現實圖像中進行查看的潛力。

下一代頭顯和沉浸式技術將基于體積更小、功能更強大的頭顯設備、人工智能的進步以及5G和邊緣計算的創新。預計在不久的將來，圖形功能、計算機視覺系統、內容創建工具和捕捉技術將得到進一步改進。

6 隱私和安全

盡管疫情依舊肆虐全球，隱私和安全仍是沉浸式技術應用討論中的首要和中心問題。大多數電子設備可以（并正在）獲取用戶的行為數據。然而，AR和VR系統涉及的隱私和安全問題是獨特的。例如，大多數VR系統會對身體活動、目光和其他第一人稱動作的詳細信息進行捕捉。而這些信息可被第三方用于識別個人身份和特征。

對用戶本人及其周圍的人來說，AR和VR系統在互動的真實性和私密性上也是獨一無二的。例如，AR系統的用戶在使用時可能會無意中詆毀周圍的人，甚至對其施加傷害。對現實世界中的人做出虛擬世界中真實、私密的行為可能會導致現實后果。因此，在強調技術優勢的同時，也必須考慮到所涉及的隱私和安全問題，并納入相關機制以保護用戶和社會。

如上所述，使用沉浸式媒體進行可視化展示、協作和培訓，為多個行業帶來了前所未有的體驗，這也是一個具有巨大價值的正在快速發展的領域。由于人類感知到的世界是三維的，因此空間計算和沉浸式技術在各個方面都為更好的學習、生產和創造提供了無限的可能性。不過，同社交媒體等技術一樣，任何技術都可能被不當使用。因此，一定要充分了解新興技術帶來的潛在后果，并在其成為主流前消除這類隱患。

總結

在新冠疫情對人們的生活產生顯著影響的同時，其也對全球經濟中的各個企業、機構、組織、行業和部門帶來嚴重損失或致其完全停業，而且疫情傳播的速度之快、持續的時間之久，是所有人都始料未及的。

然而，這場疫情也意外帶來了技術投資機遇，這些技術有助于以數字和虛擬這些新型手段完成許多之前需要人們親自到場才能進行的事。特別是長久以來，AR和VR技術都有望提供豐富且有益的個人和群體體驗，而這場疫情大大加快了此類技術在許多領域中的發展和應用，其中包括商業、教育、醫療培訓以及實踐、現場活動和文化體驗。技術的加速應用除了推動技術的改進外，也逐漸提高了人們對這類技術的普遍接受度，尤其是將其作為一種替代現場互動的新型方式，因為現場互動會帶來更多的成本、不便或不良的環境影響。

新技術的應用往往會產生意想不到的負面后果，例如使用社交媒體所帶來的一部分社會問題。隨著AR和VR技術的快速發展和應用，人們已經注意到其可能會帶來一些始料未及且獨特的隱私和安全問題。世界經濟論壇增強現實和虛擬現實全球未來理事會承諾，將時刻保持警惕，并繼續努力解決由技術帶來的隱患，同時鼓勵各類新型工具的開發。實踐證明，新型沉浸式工具在全球疫情期間起到了極大的作用。在過去的兩年中，這些技術的早期應用領域得以擴大，并且證明，其應用能夠使人與人之間的聯系更為緊密。

資料來源 WEF