觸覺通信技術發展的若干思考

陳鳴鍇 周亮

摘要：觸覺通信技術被視為下一代移動通信中的殺手級應用。通過對觸覺通信的發展背景、技術實質、應用服務，以及技術難題與挑戰的分析，指出了觸覺通信技術與通信網絡建設相結合的應用價值。認為觸覺技術與現有的多媒體技術的融合將給信號處理技術帶來技術革新。

關鍵詞：觸覺通信;B5G;信號處理;數據傳輸

Abstract：Hapticcommunicationisconsideredasoneofthemostpromisingtechnologiesinthenextgenerationofmobilecommunications.Thebackground，technicalessence，applicationservices，andthetechnicalproblemsandchallengesinhapticcommunicationsareanalyzed.Andtheapplicationvalueofcombiningthedevelopmentoftactilecommunicationtechnologyandcommunicationnetworkconstructionisindicated.Itisbelievedthatthefusionofhapticsandmultimediatechnologywillbringanovelinnovationtosignalprocessing.

Keywords：hapticcommunication;B5G;signalprocessing;datatransmission

1觸覺通信的發展

人在出生伊始，聽力、視力等感知體系尚未發育完全，只有觸覺感觀神經系統已發育健全，能夠實現神經元與周身皮膚點對點的信息傳遞，完成丘腦與外部信息的交互[1]。因此，觸覺神經感知又被稱為人類感知外界多元信息的第一入口。1988年，朱利葉斯教授和帕塔博蒂安教授從基因層面揭示了人體對溫度和機械觸覺感知的生物科學原理[2-3]。該項研究不僅獲得了2021年諾貝爾生物醫學獎，還引發了觸覺生物學的研究熱潮。隨著觸覺生物學研究的不斷深入，以電子仿生皮膚或智能織物為首的電子仿生材料研究也突飛猛進，這將使由冰冷電子元器件堆砌出來的機器人轉型成為具有溫度和觸感交互的“普通人”。

隨著觸覺生物學和仿生電子材料研究的不斷發展，人們開始思考如何讓目前仍處于本地孵化的觸覺感知與交互技術向中遠程邁進。特別是如何在現有以音視頻為主的移動通信業務中加入觸覺維度，細化用戶服務感受，多層次化地刺激用戶感觀，從而為用戶帶來更極致的互動體驗和更豐富的場景體驗。試想一下，當你的汽車在行駛過程中出現故障時，技術人員在4S店即可遠程進行故障診斷甚至在線維修，及時為你解決問題;一位經驗豐富的外科醫生能給地球另一端的病人實施精準的醫療診斷甚至手術，使得優質醫療資源的惠及面更廣。更加實用的是，我們在網上下單前就能摸到衣服的質地;遠在千里之外的奶奶在視頻聊天時能輕撫孫女的頭發，甚至送上一個有溫度的吻。

要實現上述場景，就意味著需要閉合數據周期，并利用比特和字節構建的數據網絡精確傳遞等同于人類觸覺的感受。為此，早在2012年，德國德累斯頓技術大學GERHARDFETTWEIS教授就提出了“觸覺互聯網”的概念[4]。這個概念雖然更多關注的是觸覺信號的感知、傳輸等問題，不能兼顧海量音視頻的承載需求，但卻很好地展現了觸覺通信和音視頻通信之間的本質區別。這個區別體現在控制層面和傳輸層面：

（1）控制層面。由于觸覺是通過對環境施加運動，并通過扭曲或反作用力來感知環境的，因而觸覺控制中的觸覺反饋（動覺或振動-觸覺）形成全局控制回路，而非觸覺控制中的只能是音頻/視頻的反饋，并無控制回路的概念。

（2）傳輸層面。觸覺需要依靠膚覺的即時性和力覺的反饋性，因此，觸覺信號的傳輸不僅是雙向的，而且對時延和可靠性都有著很高要求。否則，會造成觸覺臨場感系統的不穩定、觸覺信息交互應用的服務水平大幅度降低等問題。由此可見，融入觸覺數據的移動通信業務雖然能激發B5G與6G的現象級新應用，但同時也對觸覺通信的服務保障能力提出了很高要求。這使得觸覺通信的服務質量預測和管控成為難題[5]。

2觸覺通信的技術挑戰

從觸覺信號的本源、特點和需求出發，同時參照觸覺信號的相關研究[4]，我們認為觸覺信號具有三大特點：

（1）多維度。神經生理組織、交互方式等多方面的影響導致觸覺感知的信號刻畫涉及摩擦力、溫度、濕度等諸多特征參量。這些特征參量之間相互耦合，但還缺乏明確的映射模型。

（2）交互性。一方面，觸覺控制中的觸覺反饋形成了全局控制回路;另一方面，觸覺信號是雙向反饋的，因此對傳輸時延和可靠性都有著非常高的要求。過大的延遲和丟包會給觸覺系統帶來不穩定的臨場感，這使得觸覺服務的用戶體驗直線下降。

（3）上下文關聯性。觸覺信號在時間和空間上具有連續性，前后數據呈現出因果變化。其中，力學數據接收時的時空尺度關聯特性更不能被忽視。另外，多維數據之間的突變過程也存在聯動關系，這使得數據復原與處理技術難上加難。

目前，觸覺通信主要面臨3個主要的技術挑戰：

（1）多維信號采集與交織。受到神經生理組織、交互方式等多方面的影響，觸覺感知的機理較為復雜。如圖1所示，多種觸覺屬性共存導致觸覺信號包含物體材質、軟硬度和形變效果、表面粗糙程度、溫度和濕度、力鉅、力度大小等多維信息。各維數據中會摻雜大量噪聲信號，并會互相干擾。如何完成這樣復雜的多維數據的采集和處理，尤其是如何利用精準的電信號去衡量、描述多維力或非力屬性的變化，是以往音視頻編碼研究中從未遇到過的情況。

（2）交互信號傳輸與協同。依照采樣面積、信號采集器件的精度，實時的觸覺信號傳輸速率一般為20kbit/s～10Mbit/s。相較于音視頻數據量，雖然觸覺數據量有較大幅度的下降，但觸覺數據的產生呈現出突發性。例如，人體的突然運動會使待傳輸的觸覺數據量大幅增加;但當人體或肢體保持靜止時，數據傳輸又呈現出靜默性[5]。不僅如此，人體對觸覺感知的靈敏度會遠高于音頻和視頻信號，且觸覺信號攜帶的多維信息要求傳輸具有協同一致性。因此，高突發、主從交互的觸覺信號在傳輸過程中會對網絡提出超低延遲和超高可靠性的要求，即要求延遲小于10ms，而可靠性高于99.99999%[6]。

（3）層次數據處理與重構。觸覺信號在接收端如何無失真重構是觸覺通信中的又一難點。從信號處理的角度看，多層次數據重構需要從同步、聯動、效率等方面出發，而待處理的信號由于觸覺信號的多維性呈現出多樣化的表達形式，如矩陣形式、常數形式等[7]。這意味著復原技術需要采用多層次解決方法，將這些多信號表征融合重構出原有的信號質感。

3觸覺通信的技術思考

從通信理論研究的角度出發，基于觸覺通信傳輸的特殊性，我們需要重新思考通信的架構和理論，并圍繞觸覺通信需求完成網絡結構與編碼的設計。

3.1觸覺編解碼技術

觸覺數據有著多維度的特性，因此觸覺編碼多被設計成為多通道編碼。從編碼角度看，多通道建模又可劃分為以下3個主要部分：

（1）物體材質識別。一般而言，物體材質包括物體內部及表面的材料組成、粗糙程度、軟硬程度等。正確識別這些屬性是確定觸感信號變化基調的前提，這對觸覺信號的編碼性能有著至關重要的影響。物體材質的識別首先需要組建包含圖像、人工標注、觸感力學信號、敲擊聲音等大量材質數據的數據庫，進而通過確定、優化機器學習或深度學習分類方法，區分觸摸到的物體信號。

（2）力信號采樣編碼。在觸覺編碼的過程中，力信號的電平轉化與編碼是重要環節，且與傳統圖像、語音數據采樣有著本質的區別。一方面，力學信號的頻譜范圍是0～1.5kHz，采樣頻率一般為4～5kHz，這可能會導致觸覺數據量較大。因此，我們需要對采集到觸覺數據進行壓縮。那么，如何設計壓縮算法才能權衡壓縮率與抗干擾性成為核心問題之一。另一方面，由于人體觸感的著力點位置、角度、移動力道、速度等不斷變化，摩擦力信號也隨之變化，這對力學傳感器的靈敏度和精度也提出更高要求[7]。

（3）恒定參量編碼。雖然溫度、濕度等恒定參量的感知與采樣技術相對成熟，但信號在觸覺編碼過程中的突發變化要求恒定參量及時響應，且需要與其他信號的變化保持一致，避免帶給用戶遲滯感。這樣一來，如何在數據突變態與靜默態之間切換、如何確保多維信號編譯碼的同頻同步，以及如何確保此類參量解碼后實現小型化和無感化的重構終端設計，均是研究難題。

3.2觸覺通信傳輸技術

面對實時觸覺信號的低延遲、低丟包率、低抖動，以及多維信號的協同一致性等問題，人們希望借助B5G和未來6G中的新型通信技術來推動觸覺信息交互應用的發展。

（1）面向網絡切片的虛擬資源管理技術。面向網絡切片的虛擬資源管理技術重塑了面向網絡切片的虛擬資源管理體系化框架，能夠在確保原有海量音視頻數據流質量的前提下，為突發的小數據觸覺信號流提供低延遲、高可靠的穩定鏈路。以保障跨媒體業務的按需傳輸和資源高效利用為目的，該技術對虛擬化網絡功能（VNF）進行編排、部署和調度：在編排階段，提出面向兼容性和聚類需求的VNF實例聚類方法，以實現簇數目未知情況下的多維、高階VNF實例聚類;在部署階段，用服務功能鏈部署問題替換具有動態資源需求的VNF部署問題，以降低業務處理和傳輸時延，實現業務和部署同步;在調度階段，提出資源和業務時延等多重約束條件下VNF最優調度，以將虛擬機選擇和調度相分離[8]。

（2）基于通信、計算與存儲協同的計算卸載與邊緣緩存。對于遠距離跨區域的觸覺信號傳輸，為了確保主從設備之間交互信息的透明化、無感化，可發揮通信、計算與存儲的協同優勢，需要尋求路徑上的邊緣計算服務器來完成代理加速輔助[7]。一方面，以最小化任務時延、最大化傳輸可靠性為出發點，通過研究要不要卸載、卸載多少、卸載什么、卸載到哪里等問題，提出基于移動性管理的協作式卸載策略;另一方面，以提升數據緩存利用率為出發點，將被動式緩存和主動式緩存相融合，提出一種混合式觸覺數據緩存與更新方法[9]。

3.3觸覺信號復原技術

觸覺信號如何復原是提升用戶沉浸式體驗的關鍵。受觸覺反饋方式和系統的限制，觸覺交互應用開發成本高，而其增強效果大多停留在振動碰撞模擬階段，觸覺再現技術帶來的交互體驗和效率優化價值難以評判。因此，觸覺復原的評價體系需要繼續沿用圖像中峰值信噪比（PSNR）或像素準確度判決等機制，但這些機制是否能達到觸覺信號的重構效果，還有待考究。同時，人們開始嘗試從生物神經學或是行為心理學的角度對多維數據信號的融合效果進行深層次研究。

此外，網絡的不確定性使得觸覺信號到用戶端的傳輸過程中，數據包隨機出現甚至丟失。特別是當觸覺信號不完整時，接收設備如何恢復將成為一個難題。為此，一般可利用觸覺信號的上下文、時序因果等特性，來完成矩陣填充、上下文關聯、計算差值補全等操作。對于大面積的力學信號缺失問題，我們還可以采用卷積神經網絡（CNN）或生成式對抗網絡（GAN）等人工智能算法來進行數據補全，并采用遷移學習和聯邦學習等方法對數據進行協同的融合復原。同時，根據多維觸覺信號的工作原理，可對觸覺信號進行超分辨率增強、噪聲消除處理、觸覺信號切割、語義分析與處理等更加先進的信號處理與重構操作，并可與行為心理學、機器人工程學、柔性材料等形成學科交叉，共同推動觸覺信號的處理和復現技術的工程示范落地。

為改善觸覺信號單一模態信息的局限性，我們可通過挖掘音視觸不同模態信號在數據與語義上的關聯性，構建音視觸多模態信號特征數據庫和跨模態語義匹配數據庫;通過挖掘本地信息的語義特征與上述數據庫中信息的關聯關系，提出多模態信號的超分辨率重建方法[8];通過學習基本圖形和一般圖像的特征，提出基于圖形和圖像的多參量觸覺渲染方法，解決音視觸信號跨模態中不連續的問題，提升觸覺展現的沉浸感。

4觸覺通信的應用場景

觸覺技術將遠距離感知控制增加了一個新的維度。觸覺技術賦能的應用體系將是未來信息通信技術（ICT）領域一個重要研究方向。從應用場景的角度來看，觸覺通信應用主要可分為虛擬場景與現實場景，即在真實環境下的遠程精準控制技術、在虛擬場景下的內容感知技術，如圖2所示。

4.1現實場景中的觸覺應用

在真實場景中，包含觸覺反饋的遠距離控制技術可以實現工業遠程精細化控制、高精度遠程醫療手術、遠程教育、電子商務等服務應用。

（1）工業控制。雖然基于視頻、音頻信號的遠距離工業控制應用已有一定規模的應用，例如，礦山開采、危險區域探索等對于操作精確度和時延要求不高的工程。這類工業控制不存在觸覺反饋，因而交互形式單一。如果控制終端能夠更加類人化，并能加入觸覺信號，那么不僅遠程終端控制的過程更加人性化，整個勞動效率可以得到提高，同時工業成本有所降低。

（2）網絡診療。2019年初，華為通過5G網絡實現了首例遠程的動物外科手術實驗，但手術完全依賴于視頻和音頻信號，醫生無法獲取真實的手術觸覺感受，從而花費了幾倍于線下外科手術的時間。如果在醫生端加入動觸覺信號的捕捉和處理，加速手術交互感知的速度，就可以實現真正的沉浸式遠程診療。如果在中醫的診療過程中，加入動覺和觸覺捕捉，那么針灸、推拿等中醫療法也有望通過網絡實現。

（3）遠程教育。觸覺信號也能應用于教育產業與電子商務。例如，培訓過程中如果使用觸覺信號，將會使學生們得到更加沉浸式的體驗：學生可以設身處地地感受書法或繪畫中筆鋒、筆觸的力道變化，無須老師們線下手把手教學，就能心領神會。

（4）電子商務。在網絡購物的環境下，消費者如果能直接觸摸到所購買的商品，直觀感受到商品的性能，便能減少商品的退換率，間接提升產品銷量。

4.2虛擬場景中的觸覺應用

在虛擬空間中，觸覺信號的引入將給虛擬現實增強、數字孿生、網絡游戲等產業帶來革命性的變化。特別地，觸覺信號技術可與3D建模、圖形渲染、虛擬仿真等技術結合，賦予虛擬建模以生命，讓其感知起來更加具有真實感[10]。我們認為目前觸覺通信可應用于以下幾類虛擬場景中：

（1）網絡游戲產業。傳統的方法主要通過算力和渲染效果的迭代來提升游戲玩家的視聽享受。游戲廠商也嘗試過加入觸覺來增加游戲的真實感，但僅依靠游戲手柄中馬達震動模擬出的部分觸覺反饋是遠遠不夠的。一旦加入觸感的真實模擬，可以讓玩家更身臨其境地感受到游戲中的虛擬世界，這會讓用戶獲得更多的帶入感、沉浸感。

（2）虛擬現實增強。目前的虛擬現實增強技術所面臨的最大問題就是用戶對虛擬后的圖形、圖像的感知不夠真實和直觀。為了讓用戶盡最大程度地感受虛擬圖形、圖像，添加物體的各項屬性必不可少，如材質感受、回彈、擊打感，乃至氣味、味道等。這樣能夠多維度增加人對虛擬世界探索的代入感。

（3）元宇宙建設。2021年10月，Facebook重組改名為Metauniverse，致力于元宇宙建設，力圖打造現實世界孿生的網絡虛擬世界，建立虛擬現實交互的移動社交網絡。元宇宙的建設離不開觸覺通信、區塊鏈、云計算、虛擬現實等技術的強力支撐。這些技術可以將用戶與虛擬角色都將囊括進一個特征關聯永續的、廣覆蓋的虛擬現實世界中。

5結束語

觸覺通信技術正處于發展的萌芽期。由于能顯著提升諸如遠程醫療、“全感知”實戰實訓、臨場感辦公等新范式服務的沉浸式體驗，觸覺通信技術被視為B5G和6G時代的殺手級應用。不僅如此，隨著“數字中國”建設的加快，超前布局以觸覺信號為代表的新業態戰略性技術已成必然。由于多維、交互、關聯等特點，觸覺信號要求通信系統更加靈活、智能、高效與開放。隨著觸覺通信技術研究的深入，編碼技術、通信傳輸技術、信號復原技術等方面的技術革新將會是顛覆式的，并將會開啟通信智能的新時代。

參考文獻

[1]ANT?N-BOLA?OSN，SEMPERE-FERR?NDEZA，GUILLAM?N-VIVANCOST，etal.Prenatalactivityfromthalamicneuronsgovernstheemergenceoffunctionalcorticalmapsinmice[J].Science，2019，364（6444）：987-990.DOI：10.1126/science.aav7617

[2]JULIUSD，MACDERMOTTAB，AXELR，etal.MolecularcharacterizationofafunctionalcDNAencodingtheserotonin1creceptor[J].Science，1988，241（4865）：558-564.DOI：10.1126/science.3399891

[3]COSTEB，MATHURJ，SCHMIDTM，etal.Piezo1 and Piezo2 are essential components of distinct mechanically activated cation channels[J].Science，2010，330（6000）：55-60.DOI：10.1126/science.1193270

[4]STEINBACH E，STRESE M，EID M，et al.Haptic codecs for the tactile Internet[J].Proceedings of the IEEE，2019，107（2）：447-470.DOI：10.1109/JPROC.2018.2867835

[5]SIMSEK M，AIJAZ A，DOHLER M，et al.5G-enabled tactile Internet[J].IEEE journal on selected areas in communications，2016，34（3）：460-473.DOI：10.1109/JSAC.2016.2525398

[6]MUMTAZ S，AI B，Al-DULAIMI A，et al.Guest editorial 5G tactile Internet：an application for industrial automation[J].IEEE transactions on industrial informatics，2019，15（5）：2992-2994.DOI：10.1109/TII.2019.2904202

[7]ANTONAKOGLOU K，XU X，STEINBACH E，et al.Toward haptic communications over the 5G tactile Internet[J].IEEE communications surveys & tutorials，2018，20（4）：3034-3059.DOI：10.1109/COMST.2018.2851452

[8]ZHOU L，WU D，CHEN J X，et al.Cross-modal collaborative communications[J].IEEE wireless communications，2020，27（2）：112-117.DOI：10.1109/MWC.001.1900201

[9]ZHOU L，WU D，WEI X，et al.Cross-modal stream scheduling for eHealth[J].IEEE journal on selected areas in communications，2021，39（2）：426-437.DOI：10.1109/JSAC.2020.3021543

[10]WEI X，ZHOU L.AI-enabled cross-modal communications[J].IEEE wireless communications，2021，28（4）：182-189.DOI：10.1109/MWC.001.2000448

作者簡介

陳鳴鍇，南京郵電大學通信與信息工程學院講師;主要從事無線多媒體通信、無線資源分配、觸覺通信、跨模態通信等科學研究工作。

周亮，南京郵電大學教授、博士生導師、通信與信息工程學院院長，教育部寬帶無線通信與傳感網技術重點實驗室主任;先后獲教育部“長江學者獎勵計劃”特聘教授、中共中央組織部“海外高層次青年專家”等榮譽稱號，獲國家自然科學基金委員會“優秀青年基金”資助;作為項目負責人和主要完成人，主持并參與了多項國家級重點科技攻關項目;發表論文多篇，擁有授權專利25項。