元宇宙沉浸式交互技術發展現狀及趨勢

◎ 傅云瑾 魏雨含

提 要:

一、元宇宙關鍵技術組成

元宇宙持續成為人們關注的熱點，應用場景不斷擴充。2022年9月1日，在以“智聯世界 元生無界”為主題的第五屆世界人工智能大會（WAIC）上，元宇宙龍頭企業Meta 大中華區總裁梁幼莓發表演講，稱元宇宙是互聯網的下一篇章，Meta 的愿景是通過元宇宙讓世界聯系得更加緊密。隨著信息技術的蓬勃發展，人們對于元宇宙這一熱點的關注仍在持續，各個行業和領域也正處于對元宇宙技術的積極探索階段，全球最大辦公空間運營商之一的IWG 集團在其最新發布的《元宇宙：辦公的未來？》白皮書中表示，半數企業正在尋找元宇宙空間賦能混合辦公，元宇宙辦公在未來將是混合辦公的必然常態；2022年6月，天貓618 購物節打造了一次元宇宙數字大秀，把品牌特質融入虛擬服飾，在虛擬空間展示了一場數字人T 臺走秀；2022年9月，世界人工智能大會開幕式對外發布了數字孿生之城、數字紀念館、智慧制造、智慧交通等六大元宇宙應用場景，可見，元宇宙技術正在諸如教育、辦公、娛樂、電商、城市建設等愈加多元的領域中落地應用。

元宇宙的目標是實現萬物的信息化和智能化，創造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態。元宇宙產業的潛在市場無疑需求巨大，這也是其成為熱點的關鍵，但其何時能夠有效形成現實需求，與相關數智化技術的發展進程是密切相關的。元宇宙技術本質是交互、電子游戲、人工智能、區塊鏈、物聯網、算力網絡、數字孿生等關鍵數智化技術的集成。

交互技術是實現元宇宙沉浸感、交互性體驗的核心技術。交互技術被稱為元宇宙技術的關鍵入口，為元宇宙的真正落地提供了重要硬件載體，是解決人機之間信息傳播的最后一厘米的技術，直接影響著元宇宙用戶的沉浸感體驗。因此，近幾年交互設備市場迎來熱潮，國內外各大企業爭先開拓元宇宙的新市場藍海。有報告顯示，2021年全球VR/AR 行業融資并購金額556 億元，同比增長128%，中國VR/AR 行業融資并購金額達181.9 億元，同比增長788%。2022年8月，騰訊申請注冊XR 商標，小米、聯想、英偉達（NVIDIA）等分別公布新型XR 眼鏡產品，谷歌、蘋果、Meta公布多項XR 智能設備相關專利。可見，隨著元宇宙的加速普及，交互技術相關產業也獲得了國內外巨頭企業的大量關注，得以迅速發展。

可以把電子游戲理解為元宇宙的雛形，相關技術是元宇宙關鍵支撐技術之一。電子游戲技術的核心是游戲引擎，包含3D 建模和圖像渲染等。游戲引擎是為開發者服務的游戲高效開發工具，目前技術相對成熟，能創建諸如三維視頻游戲、建筑可視化視頻、實時三維動畫等類型互動內容的多平臺的綜合型游戲。該類開發工具不局限于游戲市場，已拓展到影視制作、工業設計等多市場領域。全球知名度比較高的游戲引擎有虛幻引擎（Unreal Engine）、Unity、寒霜引擎（Frostbite Engine）、尖叫引擎（Cry-Engine）、起源（Source）、IW Engine 等。《王者榮耀》等一些廣為人知的游戲就是用Unity 工具開發的。

人工智能為元宇宙大量的應用場景提供技術支撐。人工智能技術包含計算機視覺、機器學習、自然語言處理、智能語音等，它的基礎是芯片、大數據、算法系統，目前逐步向金融、安防、智能家居、醫療、機器人、智能駕駛、新零售等以及元宇宙各類應用場景滲透。

區塊鏈是元宇宙能夠創造可信資產和身份認證的技術基礎，也是元宇宙經濟體系構建的重要技術基礎。區塊鏈的哈希算法和時間戳技術為“元宇宙”提供了底層數據的可追溯性和保密性。而共識機制則可以解決信任問題，使用分布式模型實現網絡中每個節點的自我認證。區塊鏈網絡里的DeFi、NFT、智能合約等通證技術構成了整個元宇宙底層經濟運行的核心基礎和支撐。

元宇宙的目標是實現萬物的信息化和智能化，創造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態。圖/中新社

物聯網技術為元宇宙萬物鏈接和虛實共生提供技術保障。物聯網技術主要分為傳感器技術、網絡接入和平臺應用層技術。物聯網技術已經在智能家居、智能樓宇、智慧城市、智慧農業、智慧車輛等各領域得到廣泛應用。

算力網絡是算力和網絡深度融合的新型信息基礎設施，相關技術包含5/6G 移動通信網絡技術、云計算和邊緣計算技術等。預計2030年左右商用的6G 時代將獲得更高的帶寬、更短的時延，也將更好地適配于元宇宙等場景。云計算和邊緣計算技術相對成熟，已被廣泛應用。算力網絡是國家、企業和社會數字化轉型包括元宇宙發展的重要基礎，但以前算力和網絡相對獨立發展，難以滿足自動駕駛、工業元宇宙等對算力的快速高效使用需求。2021年中國移動開創性提出：打造以算為中心、網為根基，多種信息技術深度融合的算力網絡，推動算力成為與水、電一樣，可“一點接入、即取即用”的社會級服務。隨著中國移動等運營商算網大腦等算網融合技術的攻關和快速發展，算力網絡將有效支撐未來元宇宙的發展。

二、元宇宙主要交互技術類型

（一）沉浸式XR 技術

擴展虛擬現實（XR）是一個包含了虛擬現實（VR）、增強現實（AR）、混合現實（MR）及其他因科技進展而可能產生的全新沉浸型技術的高度涵蓋性術語。XR 技術利用計算機及網絡技術生成畫面、聲音、觸感等信息，使得用戶能夠體驗模擬的或加強化的視覺、聽覺、觸覺等感知，從而感受完全沉浸的情境，讓用戶可以忽略技術而直接沉浸于身臨其境般的內容體驗中。XR 技術作為實現元宇宙的主要技術之一，為用戶提供了走進元宇宙的入口，是解決信息傳播的最后一厘米問題的技術。

擴展現實技術主要通過多種視覺交互技術的集成與融合，生成一個虛實兼具的可視化環境，為體驗者提供沉浸式的體驗與感受。其中，虛擬現實技術的幾種關鍵技術包括環境建模技術、立體聲合成和立體顯示技術、觸覺反饋技術、交互技術等等，分別支撐用戶在與虛擬世界交互過程中不同感知部分的形成，最終再通過系統集成構建完整的虛擬現實模型，實現用戶通過設備獲得與真實世界中一樣的感受。

目前，XR 技術已在各個垂直應用領域具有非常廣闊的產業應用場景與增長空間。例如在虛擬世界中，用戶可以利用XR 設備生成虛擬形象，模擬實際場景中的互動，不受限于時間和地點，實現遠程協作、工作會議及社交活動等；在傳統文化娛樂產業中，諸如展覽策劃、藝術演出等諸多場景也能夠通過XR 技術實現，為參與者提供場景導航等功能、幾近真實的環境、大規模的多人互動與沉浸式的觀賞體驗。

由于5G 技術的不斷推進與建設，以及人工智能、超高清顯示、云計算等技術的發展，基于5G的云XR 技術（Cloud XR）已逐漸成為XR 技術的研發主流。云XR 技術將繁雜的渲染計算任務從終端用戶側轉移至云端，并發揮了智能終端-高速網絡-云資源池間的協同效應，其中高速網絡極大地依靠了5G 技術高帶寬與端到端低時延的特性，結合云資源池較強的圖像渲染能力，使得各類終端設備能夠直接遠距離呈現云服務器上的XR內容，從而使得終端用戶獲得沉浸式、高質量的享受體驗。

云XR 技術是將網絡技術、云技術及沉浸式體驗技術有效集成為一體的系統?；谠朴嬎闾峁┑膹姶蟮挠嬎隳芰?，XR 內容可以在云端運行并渲染，并將所有功能移至云端，滿足了XR 大存儲和海量計算的功能需求，輕量化客戶端功能，降低了XR 終端設備的計算負荷和能耗。同時5G網絡提供的切片技術與移動邊緣計算技術可以為XR 應用程序提供良好的網絡質量保障，有效降低了內容匯聚的同時節約帶寬，并實現了高數據量、低延時的信息傳送，結合XR 技術及相關設備通過各種不同的交互方式將沉浸式XR 內容傳送至終端用戶，為用戶提供了更輕便、更智能、更卓越、更沉浸的XR 體驗。

（二）全息通信技術

隨著無線網絡技術、渲染云技術與終端顯示設備的進一步發展，全息技術的應用范圍與發展趨勢均形成上升態勢，全息通信的實現也將逐漸走向可能。

全息顯示技術主要基于光的干涉與衍射現象，通過記錄物體表面散射的光信號，使得物體能夠以三維圖像的方式呈現出來。全息通信則指通過全息顯示技術，采集距離較遠的人或物體的光波信號，通過網絡傳送至終端設備進行激光投影，以全息圖的方式投射出真實還原、實時動態的三維影像，實現一種基于立體視覺環境的新型通信方式。

全息術的發展一共經歷了3 個階段——傳統光學全息、數字全息和計算全息。數字全息的概念于20 世紀中期提出，在理論上實現了從物理光學到電子技術的跨越，但礙于當時信息科技發展的限制，有關數字全息的研究一度停滯不前。直到21 世紀初，由于計算機技術的飛速發展，將光場建模技術與數字建模技術相結合，計算全息應運而生，成為了當下的研究熱點。

全息通信的實現同樣需要多種技術的集成，其關鍵技術包括全息顯示技術、高帶寬頻譜技術、全息編碼技術及網絡技術等，其中，全息顯示技術已經普遍應用于虛擬現實與增強現實等領域；全息編碼技術主要負責全息圖陣列在傳輸過程中數據與信號的編解碼；網絡技術旨在提供低時延與算力，在通信過程中，確保網絡帶寬足以承載并處理全息圖的相關數據，同時保證通信的同步性與穩定性。

全息通信技術的基本實現流程可以簡要總結為數據采集、信息處理及編碼、數據流傳輸、數據解碼及重渲染、全息再現5 個步驟。其中，數據采集與全息投影主要通過各類終端設備完成，對其三維空間顯示能力具有較高的要求，從而在較大區域中呈現出高清晰度的實時交互影像。與常規的媒體通信不同，在前期的信息處理及編碼過程中，由于處理的信息包括視、聽、觸等多種感官的數據流，因此壓縮編碼技術需要保證更加高效；在進行傳輸、解碼和重渲染后，數據信號以全息圖的方式呈現，其中將包括人、實物以及周邊環境等大量復雜的數據。

全息通信相比于擴展現實技術最大的不同點在于，理想的全息交互脫離了穿戴設備及屏幕的限制，直接實現在空氣中的3D 成像

全息通信相比于擴展現實技術最大的不同點在于，理想的全息交互脫離了穿戴設備及屏幕的限制，直接實現在空氣中的3D 成像。依據目前的科技水平，由于在技術與設備等方面的限制，全息通信的普及應用暫時還不能實現，但是在未來，隨著信息與科技的發展，全息通信技術將能夠實現對于萬物的映射成像，不僅能夠真實還原人與物體，還能夠將周圍環境自然地呈現在三維空間中，使得人們能夠充分體驗整個逼真的場景，并展開溝通、互動等活動。

這也奠定了全息通信技術在未來元宇宙構建過程中的關鍵地位，整個元宇宙的虛擬環境均圍繞全息構建、全息模擬、虛實融合出發，全息技術結合互聯網技術、云技術、XR 技術等新型科技的應用，將為元宇宙構建與真實世界相連通的虛擬世界提供技術支撐，并通過終端顯示設備呈現于用戶。例如，利用三維重建技術與全息技術構造線下商店的虛擬環境和商品模型，用戶將能夠看到商品的詳情信息并完成購物，進而給用戶帶來完全沉浸式的感受體驗；或將全息與仿真技術相結合，在元宇宙世界中構建生動逼真的虛擬人物，再利用全息技術使得虛擬世界能夠像真實世界一樣，呈現出各種不同的場景，虛擬人能夠在其中進行交互、娛樂、觀賞等活動。

（三）感官互聯技術

互聯網技術已實現基于網絡遠程交互的信息載體從文字、圖片、語音、視頻演變到新型VR等顯示設備。面向2030年及未來，感官互聯技術將使不同終端之間傳遞的數據承載更多感官信號，比如嗅覺、味覺與觸覺等等，穿戴式電子設備也將使人們能夠以數字的形式感受氣味、味道、質地和溫度，實現感官互聯網。

感官互聯將通過人工智能、擴展現實、網絡和自動化等技術來實現，感官互聯網的實現將使處于虛擬世界中的用戶獲得多維感知，從而獲得更加真實自然、聯系緊密的沉浸體驗。在未來，感官互聯可以廣泛應用在醫療、教育培訓、生活娛樂、道路交通與情感交互等諸多領域及行業。例如近期熱度高漲的元宇宙，感官互聯能夠使得在元宇宙虛擬世界中相隔異地的情侶真切地感受到對方，甚至是一個溫暖的擁抱；或使得成群好友在元宇宙中能夠隨意漫游世界，體驗沙灘、海風、峽谷、森林等各種奇異風景。

近年來，腦機接口（BCI）作為一項變革性的新興人機交互技術引發了研究熱潮，與感官互聯有著密切的聯系。迄今為止腦機接口技術主要分為輸入式BCI 與輸出式BCI 兩類，輸入式BCI 能夠將人類大腦的中樞神經系統產生的感知、認知轉化為指令信號，提供給外部機器設備進行通信和控制；輸出式BCI 則指從外部設備或機器向大腦輸入電、磁、光等刺激或神經反饋。目前，有關負責大腦向外部輸出信號的輸出式BCI 在應用與研究中占主導地位。

目前，醫學領域是BCI 技術首要也是最重要的應用領域之一。輸入式BCI 能夠用于對大腦狀態的監測與評估，在神經系統相關疾病治療全周期中具有潛在卻重要的應用價值；還可以用于腦結構異常等疾病的治療與腦功能的正向發展，調控創傷后應激障礙、認知及情緒障礙、藥物依賴性等神經疾病，從而提高療效，促進康復；BCI 技術還能夠為肌萎縮硬化癥、肌無力或失語癥等患者提供輔助性的工具以幫助其日常生活，如腦控假肢、腦控輪椅和腦機通信系統等等。

在非醫學領域，BCI 技術僅小規模地應用于娛樂游戲或專注度訓練等方面，主要面向消費級。目前腦機接口技術無論是在醫學或非醫學領域的應用均處于初級的研發階段，未來一段時間，其發展方向將聚焦于從研究試驗階段過渡至實際應用階段。這需要研究人員不斷的探索與開發，使得腦機接口技術在醫學或非醫學領域初步實現能夠舒適、安全地普及應用，再進一步探索BCI 技術基于更多領域存在的可能性與發展性。

三、元宇宙交互技術發展現狀與問題

（一）XR 技術的應用現狀及存在問題

XR 設備是將通過云XR 技術生成的沉浸式情景帶給用戶的硬件設備。近年來由于新型科技的蓬勃發展，人們開始在愈加大量的應用與場景中探索沉浸式體驗，同時元宇宙概念熱度自2021年空前升溫，國內外的科技巨頭公司也在競相開拓元宇宙產業，因此，XR 技術與相關設備已成為了實現元宇宙的核心所在，在近年獲得了大力推動。

微顯示器作為XR 技術設備內容展示、與人類自然交互的主要載體，是輕便化、高沉浸感XR技術設備的核心零件。目前，主流的微顯示器工藝技術主要包括高速響應液晶（Fast-LCD）、硅基液晶顯示（LCoS）、硅基有機發光二極管（Micro OLED）以及微型發光二極管（Micro LED）等等。其中，Fast-LCD 微顯示器在市面上已經實現了穩定量產，具有較高的性價比；LCoS 與Micro OLED均為增強現實終端的主要顯示器解決方案，其中Micro OLED 微顯示器近年來被廣泛應用于XR 設備中，是各大廠商研究應用的熱門方向；而Micro LED 目前則是另一個具有極強前沿性與發展性的顯示技術，具備芯片尺寸小、集成度高和自發光等特性，與LCD、OLED 相比在顯示亮度、分辨率、對比度、能耗、使用壽命、響應速度和熱穩定性等方面具有更大優勢。

目前，各個廠商均在針對不同的功能特性不斷研發新型XR 設備，以提升用戶的體驗感知。2022年8月，聯想推出的拯救者VR700 VR 一體機以市場零售價3299 元正式發售，采用高通驍龍XR2 芯片組，配備8GRAM、256GROM、LCD顯示屏，分辨率達3664×1920，支持72/90Hz 刷新率。而后，聯想在9月宣布推出全新的Lenovo Glasses T1 可穿戴私人顯示器，用于移動內容消費，定位場景包含觀影、游戲娛樂和辦公，配備Micro OLED 顯示技術，可提供優質的色彩豐富度和10000:1 的對比度，同時具備高光學效率和低功耗設計，實現長達數小時待機。

2022年8月，全球消費級AR 眼鏡品牌Nreal面向中國市場正式推出兩款AR 眼鏡Nreal X 與Nreal Air，零售價分別為4299 元與2299 元。兩款AR 眼鏡外形設計方面均具備流行元素，Nreal X采用流體科幻主義的美學設計，結合輕量化設計，整機重量為106g，基于自研的即時定位與地圖構建的6DoF 空間定位智能算法，以最小成本及數量的傳感器組合實現高精度與穩定性，為用戶提供AR 游戲、AR 教育等多元應用；Nreal Air 配備130英寸空中投屏和201 英寸AR 銳彩天幕，支持多種設備連接，被稱為隨時隨地、即插即用的“口袋巨幕”，整機重量僅為79g，搭載自主研發的光學引擎2.0，采用全新一代Sony Micro OLED 作為圖像源，實現了圖像源的高清晰、高對比度、低畸變呈現，擁有100000:1 的超高對比度，可帶來逼真的AR 視覺體驗。

2022年8月，索尼公布將于2023年發布新款VR 頭顯PSVR 2，搭載單眼2000×2040 分辨率和90/120Hz 刷新率的OLED 屏幕，提供4K HDR、110 度視場角和注視點渲染的高保真視覺體驗，同時PSVR 2 還整合了PS5 的3D 音頻功能，配合耳機反饋、眼動追蹤，從而實現更貼近真實的觸覺體驗，增強玩家在游戲中的沉浸感。

小米生態鏈企業于2022年8月發布一款新型AR 眼鏡“米家眼鏡相機”，售價2699 元。 米家眼鏡相機搭載了高通驍龍8 核SoC、索尼新一代Micro OLED 屏幕、自由曲面光機、高密度電池等核心器件，整機重量在100g 左右，可降低光線在傳導過程中的亮度損失，光效比達60%，支持拍照和攝像、小愛翻譯、3D 使用引導等功能，面向演唱會、露營、手工、寵物互動等多個使用場景。

近年來，蘋果的一系列專注于XR 的收購和專利申請都表明了蘋果對于XR 產品行業的關注和野心。2022年8月，蘋果公布了一項手勢追蹤手環專利，該指環可以操控AR、VR 頭顯，識別手指按壓、橫向運動、敲擊輸入等3D 空中手勢，還能夠提供觸覺反饋、追蹤定位功能，與頭顯設備交互。2022年9月，蘋果再次曝光一項涉及XR 環境中關節骨骼變形的VR/AR 技術專利，主要用于在XR 環境中虛擬化身中骨骼、關節和人體網格狀模型的運動過程，由此，虛擬物體可以更加逼真地模擬真實物體的形狀變化和移動軌跡。

作為蘋果在這一領域的主要競爭對手，Meta也在2022年8月公布了兩項與AR、VR 相關的配件專利，是一種用于交互和輸入的指環手套方案，與一種頭環式增強現實音頻系統。AR 頭環系統配備了相機模組、音頻傳感器陣列，而體感手套和腕帶支持觸覺感知、體感反饋功能用于控制AR頭環系統。除了手套、腕帶外，這種體感技術還可用于體感服、手柄等其他類型的設備同時兼容AR 眼鏡或VR 頭顯。

可見，XR 設備已經實現了一定的應用與普及，但XR 技術整體還處于研究發展的前期階段。市面上已有的VR 設備功能及水平不一，各廠商通過設備、芯片、技術創新研發新功能，旨在提供更高的精度與體感、觸覺感知功能，從而幫助用戶獲得更清晰、更真實的體驗并實現XR 眼鏡的輕量化，使得用戶在佩戴時更加輕便。在接下來的發展階段，XR 眼鏡在畫面成像清晰度與設備自重方面應當會有進一步的提升和改善，以滿足用戶的常態化需求；另一方面，則會在觸覺方面提升真實現實和虛擬現實的融合體驗，通過功能擴展進一步開發XR設備的多場景使用，給用戶提供在不同場景下的多元化應用功能，與場景形成更深度的融合。

在未來，當云 XR 技術能夠與云技術、邊緣技術等成功融合，實現云 XR 平臺后，云XR 平臺系統將能夠應用于商業購物中心、沉浸式游戲等更加大型的應用場景。圖/中新社

有關云XR 技術的應用在現階段較為少量，尚處于設計實現階段，大量的研究者能夠提出不同場景下基于云XR 技術與其他技術結合的平臺設計方案，但由于涉及的技術種類較多、接口與層次間的連接比較繁雜，平臺的實現還比較困難。目前已有企業推出的云XR 技術解決方案大多集中于遠程會議、指導示教、互動教育等領域，少量解決方案覆蓋到汽車、房地產等行業，為用戶提供遠程3D 可視化展示服務。在未來，當云XR 技術能夠與云技術、邊緣技術等成功融合，實現云XR 平臺后，云XR 平臺系統將能夠應用于商業購物中心、沉浸式游戲等更加大型的應用場景，在為用戶提供3D 的可視化效果的同時，通過云平臺及整個系統實現用戶的認證與管理、支付、交互與相關的平臺運營、數據分析等功能，從而為用戶及企業、商家等多種角色提供全方位的便捷服務。

當前，云XR 技術及其產業還遠未成熟，在XR 硬件設備、系統軟件的創新研發、XR 內容的生產與制作、XR 產品產業發展等諸多方面還存在一定的困難與制約。國內針對微顯示器、交互設備等硬件技術的元器件開發還相對薄弱，對于XR 操作系統、三維建模等系統軟件與開發工具的研究也面臨瓶頸與障礙，總體上對其他國家科技的依賴程度較高，需要更長期的發展、科研人員的投入與經費支持。這也導致了目前在終端用戶層面，輕量化應用的顯示設備關鍵技術仍不完善，頭顯的高分辨率設計、紗窗效應的解決程度與佩戴舒適性都亟待進一步提高；在平臺服務層面，云端服務資源建設成本高昂、渲染能力不足，基于云端的計算處理能力與終端之間仍存在大量的數據傳輸，需要在有效提高云端計算能力的同時減少基礎建設成本。

因此，云XR 技術與相關產業需要在多個方面尋求突破與創新。首先要規范基于XR 技術的產業建設標準，制定云XR 技術的標準體系，并根據云XR 在不同行業領域中的應用對終端用戶、云服務和管理運營等方面提出具體規范要求，以規范并推動XR 技術的發展與應用；其次，網絡是云XR 技術的基礎，要做好5G+云XR 的基礎建設與部署，積極推進網絡技術的研發，為云XR產業提供網絡保障；同時，對于終端用戶方面，XR 終端設備的功耗、重量、圖像呈現、人機交互等使用體驗特性是重點需要解決的問題，要改善體驗從而擴大XR 終端設備的普及應用；最后，云XR 產業的進一步發展需要所有參與者的相互溝通與合作，分享經驗及想法，一起開拓云XR的先鋒行業，再向更豐富的領域擴展。

（二）全息技術的應用現狀及存在問題

XR 技術的相關應用已經走進了人們的生活，AR 眼鏡、VR 頭顯等設備在游戲、辦公、觀影等活動中得以應用。不同于XR 技術，全息技術目前的應用主要在大型的舞臺表演、高端產品展示、廣告傳媒等領域，由于技術水平以及制作成本的限制，全息技術相關的應用更多地為大型廠商與全息供應商共同承辦，人們主要扮演了觀看者與體驗者的角色。

在全息產業鏈中，一些零件商與供應商已經推出了自研發的全息零件或產品。Raytrix 品牌推出了一款應用了四維光場技術的3D 光場相機，相比于常見的相機只能記錄平面二維投影的場景，Raytrix 的3D 相機可以計算出包含許多不同的二維圖像的4D光場，適用于許多實時圖像處理應用，例如人臉識別、光場電影與導航等等。達斯琪全息推出了一款全息屏，利用人類視覺暫留技術，實現裸眼全息3D 展示，搭配手柄等外接設備，使得用戶能夠與圖像交互，應用于商場、影院、展廳等場景的展示。

微軟于2021年正式推出了一個用于多人遠程通信協作的混合現實平臺Mesh。Mesh 平臺允許處于不同物理位置的人們通過不同類型的設備，以虛擬形象或全息投影的方式協作、共享。Mesh 平臺基于云計算平臺Azure、人工智能以及XR 等技術集成，實現全息傳送以及高精度的面部及動作追蹤，將涉及的內容存儲在云端，再借助XR 設備或3D 物理模型使得用戶的虛擬形象或是全息投影形象出現在共享的虛擬空間中，在全息模型上進行多人協作。

近年來，國內對于全息技術的研究與發展也正在持續進行。騰訊、小米均于2021年取得了“全息投影設備、方法、裝置、計算機設備和介質”的專利。全球首個全息AR 上市公司微美全息推出了結合5G+AR 多模態的全息通訊，應用于教育領域，利用全息投影捕捉和三維全息模型，通過5G 技術及邊緣云算力打造智慧課堂，實現了全息老師、三維全息課件等全息教學場景，不僅為教學提供了極大便利，同時使得課堂充滿技術性與未來感。

微美全息作為國內領先的AR 全息云服務企業，提出了多個基于全息云平臺在廣告、娛樂、教育、影院等場景的解決方案，實現了全息化場景植入廣告與線下全息廣告、WiMi 全息云娛樂等平臺服務，能夠為用戶提供全息辦公會議、全息KTV 包房、全息音樂茶座、全息云未來課堂等立體化視覺體驗。同時，微美全息也推出了多項與元宇宙相關的核心技術及平臺，例如基于動態識別、智能化訓練邊界識別、區塊識別、機器學習、AI 拼接算法自動合成、全息立體合成等技術，將全息AR 內容呈現在虛擬應用中。此外，微美全息還將虛擬現實全息內容打造為3D 模型、全息虛擬產品等形式，為全息動漫、虛擬直播、虛擬偶像等行業提供了多種解決方案。

目前，全息技術距離普及應用還存在較遠距離，一方面，由于其實現成本較高，更多的是因為目前的技術在實現全息通信等應用時會產生較多的困難與限制。由于全息通信在數據傳輸過程中涉及交互環境與影像的多個維度與方位，網絡需要承載千萬個隸屬不同種類的并發數據流，在多用戶的情景下，用戶吞吐量的要求可能將達到Tbps 量級，并且在整個傳輸過程中可能受到噪聲、抖動和丟包等多種因素的影響與干擾，終端設備需要實時感知捕捉使用者的狀態及動作，對接收的信息作出快速處理和響應反饋，保證各個維度的信息同步且成像清晰，因此對網絡技術和計算能力要求較高。目前的5G 網絡技術還不能滿足全息通信對于低時延、承載超高清影像數據的需求，同時也需要研發更加高效先進的編解碼技術來實現大量數據的壓縮及解碼處理。

另一方面，由于全息通信會涉及諸如用戶的面部特征識別等重要的隱私信息，因此數據傳輸過程中的安全性與保密性也格外重要，需要信息技術的進一步發展完善，才能實現全息通信在醫療等專業領域中的普及應用。

令人高興的是，6G 技術概念的提出為全息通信等應用的實現提供了強有力的支持。6G 技術在未來可以實現更高質量的帶寬、同步及靈活性，進而實現更精確的數字建模、運算及實時交互。可見，隨著科技的不斷進步與發展，全息通信終將在娛樂、醫療、教育、制造等眾多領域形成廣泛應用的局面。一方面，在生活、娛樂等領域，將全息通信與移動設備相結合，可使全息通信成為人們常態化的遠程交流模式，或結合體感等交互方式在娛樂領域研發沉浸式體驗項目，開拓新型市場；另一方面，在工作、交通、醫療等專業領域，利用全息通信幫助遠距離排障的技術人員與遠處物品的全息效果圖進行交互，或進一步融合物聯網技術、虛擬現實等技術構建超能交通，實現大規模交通工具與環境的全息連接，為城市在道路交通環境模擬推演、刑偵支持、城市交通運維管理等方面創造價值。

總的來說，目前的技術雖然還不能實現全息通信所需要的高帶寬、低時延、網絡計算能力、實時性與安全性等指標，但面向未來，隨著各項科技的發展與進步，全息技術將能夠在不同領域提供全息會議、全息商業綜合體、遠程全息手術等解決方案，實現虛擬場景自然真實的視覺呈現；同時，在元宇宙產業發展過程中，結合人工智能、數字孿生、區塊鏈等技術，構建與現實相連接的、能夠為人們提供更加豐富精彩活動的元宇宙世界。

（三）感官互聯技術的應用現狀及存在問題

目前，感官互聯技術尚處于概念研究階段，但在技術實現層面將有著與全息通信相似的要求。對于網絡技術，需要高帶寬與低時延來承載多維感官信號的數據流以及確保傳送的一致性和實時性；同時，對于各項感官信息的捕捉與傳輸，涉及設備端的信號采集與數據的編譯方式，不同感知都應具備獨特的表述維度及描述方法，需要研究其單獨的編譯碼規范與統一的聯合編譯碼方式，使得所有感知信號都能被有效地編碼，并進行傳輸；在安全方面，由于感官互聯網絡的核心是基于多維感官的傳輸通信，因此在通訊過程中需要對使用者隱私提供更強有力的保護，以避免發生諸如侵權等事件。

腦機接口技術能夠將人腦與計算機相連，是目前與感官互聯最為密切的技術之一。目前，該技術應用在醫學領域處于初期發展階段。大部分輸出式BCI 處于臨床效果測試階段，僅有少量初步用于患者的運動功能障礙康復訓練等。輸入式BCI 雖然在臨床已有一定規模的應用，但仍然處于初級階段，目前能夠應用于神經疾病的調控治療及抑郁癥、阿爾茨海默癥、帕金森病、睡眠障礙等疾病的治療和康復。一些醫療級的BCI 產品諸如BCI 芯片、新型信號傳感器、新型腦刺激或神經調控等裝置正處于研發中?？梢?，BCI 技術在醫學領域具有潛在的、巨大的應用價值，未來將會在臨床、特定疾病的診療和康復方面實現更加廣泛的應用。

腦機接口技術的整體成熟度較低，導致其暫時難以實現從實驗研究到具體應用的跨越，這也是當前研發亟需解決的重要問題。由于腦機接口技術實現的條件、環境及應用場景的特殊性，使得對于腦機接口技術相關產品的安全性、舒適性、易用性具有更高的要求與標準。例如，基于BCI技術的微創手術應用場景中，傳感器植入過程的安全性至關重要。由于植入程序的危險度與難度較高，因此，在傳感器設備方面，對能夠長期安全植入并具備較高信號采集質量等性能提出了更嚴格的要求。

腦機接口技術的另一個研究突破重點是BCI 的編碼及范式，通過正確規范的編碼與范式對傳輸信號進行讀寫也是腦機接口的關鍵技術問題。與目前其他人機交互技術相比，BCI 技術存在反映速度慢、信號噪聲大、易出錯，并缺乏人體感覺反饋等問題，使得腦機接口系統的穩定性、準確性、快速性以及自適應性較差。因此，腦機接口技術需要與共享控制、虛擬現實、機器視覺、人工智能等技術相結合，以彌補其現存的技術缺陷與不足，從而提升BCI 技術的實用性與用戶體驗感。

未來，感官互聯技術的實現與應用是必然趨勢，其不僅在醫療領域有望實現納米級傳感、信息采集、健康狀況監測等功能，為患者提供更加先進、安全、便捷的治療方案，還將進一步把感官互聯技術的應用普及到人們日常生活的各個領域與元宇宙產業中，為人們的美好生活提供更加智慧且多元的方案。

四、總結

元宇宙產業的研究熱潮明顯地帶動了其交互技術的發展，其中XR 技術尤為突出，國內外大型廠商均在XR 設備研發中投入了大量的資源與精力，旨在占據XR 市場的份額與競爭力，同時5G+云XR 平臺、全息通信的應用也在快速發展，多家供應商針對辦公、教學、娛樂等生活領域提出解決方案，將各種交互技術帶入人們的視野。但基于當下時代的設備及技術發展現狀，在網絡帶寬、算力、系統集成、終端設備等方面仍然存在較大的問題與制約，導致云XR、全息技術與感官互聯的應用普及程度有限，需要加強對于設備零件、關鍵技術的研發突破。

值得高興的是，元宇宙概念的出現為各項相關技術明確了發展方向，展示了各項技術的未來應用場景，使得下一步的技術研發有了更加明確的目標。隨著科學技術的更新迭代，在未來，網絡技術、交互技術、人工智能等技術的精進與集成將推動人類社會走向沉浸化時代，全息技術、XR 技術和感官互聯與邊緣計算、大數據等技術的結合應用將覆蓋商業、制造業、文化娛樂、教育、醫療等人類生活的各個領域，在生活中通過遠程全息通信、實現感官互聯等場景，可帶給人們全方位的沉浸式體驗與數字化、智能化的便利，同時實現元宇宙產業的普及，構建與真實世界相連通的虛擬世界，幫助人類向“萬物智聯、數字孿生”的美好愿景步步靠近，進入智慧化時代。