觸覺通信中的信號獲取與恢復關鍵技術

劉恒發 魏昕

摘要：面向未來以低時延、高可靠、雙向互動為目標的觸覺通信，從觸覺感受以及觸覺信號特性出發，描述了觸覺信號的采集與表征方法;針對以遠程工業控制、遠程醫療、沉浸式游戲等為代表的典型觸覺業務、多模態業務中存在的觸覺信號受損或丟失問題，分別從同模態和跨模態兩個角度提出了觸覺信號的恢復架構。所提出的觸覺通信原型系統，能夠實現遠程觸覺信息的精準感知和反饋，增強用戶的沉浸式體驗。

關鍵詞：觸覺通信;信號采集;信號恢復;人工智能

Abstract：Aimingatfuturehapticcommunicationwithlowtimedelay，highreliability，andbi-directionalinteractions，theacquisitionandrepresentationmethodsofhapticsignalsaregivenbasedontouchsensationandcharacteristics.Forthedamageandlossofhapticsignalsintypicalhapticandmulti-modalscenariossuchasremoteindustrialmanipulation，telesurgery，immersivegames，andarchitecturesofhapticsignalrecoveryareproposedfromperspectivesofboththewithin-modalandcross-modal，respectively.Moreover，severalhapticcommunicationprototypesystemsarebuilt，whichcaneffectivelyrealizeremotehapticperceptionandfeedback，andpromotetheusersimmersiveexperience.

Keywords：hapticcommunication;signalacquisition;signalrecovery;artificialintelligence

觸覺是人類感知體驗并與外部環境交互的一類重要方式，它通過來自皮膚表面的敏感神經傳感器的觸感，來感受接觸物的材質、運動、壓力、溫度等屬性。這些屬性在很多情況下是視、聽覺所不能完整、精確提供的。

通過實現各種感官信息的通信，人類可以更好地感知和探索世界。傳統的多媒體通信系統主要通過對音視頻數據的捕獲、編碼、傳輸、解碼等，實現音視頻通信，使用戶獲得豐富的視聽覺體驗。另一方面，近年來面向人類觸覺感受而設計的觸覺通信系統以及觸覺相關服務，受到了學術界和工業界的關注。與傳統以音視頻為主的多媒體通信不同的是，觸覺通信主要關注本地終端與遠程終端的高保真觸覺信息的傳輸與接收[1]。通過豐富的感官信息增強交互，觸覺通信可以提升用戶的沉浸式體驗。因此，觸覺通信在遠程醫療[2]、線上購物、在線教育[3]、遠程工業控制等領域有著廣泛的應用。

本文主要聚焦于觸覺通信中的發送端和接收端，研究發送端的觸覺信號獲取技術以及接收端的觸覺信號恢復技術，并簡要介紹課題組所開發的觸覺通信原型系統。

1觸覺信號獲取

1.1觸覺感受

觸覺通信的最終目標是實現人類觸覺感受的傳遞與接收，因此我們首先需要明晰何為觸覺感受。當前，學術界和工業界最為關注的是觸摸和動覺兩種觸覺感受[4]。其中，觸摸感受來源于人體的皮膚，通過表皮下4種不同類型的感受器，向中樞神經系統和大腦的體感區域提供關于皮膚表面發生的機械事件的信息，進而獲取形狀、粗糙度、溫度、摩擦等屬性。動覺感受則來自肌肉，通過肌梭向中樞神經系統提供有關肌肉長度和肌肉長度變化速度的信息[5]，使人類能夠感知肢體運動的方向、幅度和速度以及相關的肢體位置變化。因此，對于觸摸感受，可以通過壓力、摩擦和振動等觸覺信號表征;而對于動覺感受，則可以通過力反饋裝置表征為位置、速度和力等觸覺信號。

1.2觸覺與視聽覺信息的本質區別

與視聽覺信息相比，觸覺具有一些顯著的區別，如表1所示。

雙向交互性：與視聽覺信息單向輸入或輸出不同，觸覺感知不僅來自于被動接觸（如把東西放手上），還來自于主動探索環境（如用手主動觸摸環境）。這樣的雙向特性使得觸覺通信比傳統以視聽為主的多媒體通信更具交互性。此外，在觸摸物體的過程中，還可能會改變物體的屬性，如使之發生形變、溫度變化等，這種不可逆的相互作用則不會發生在視覺和聽覺中。

突發性：與音視頻信號相比，觸覺信號需要高的采樣率來確保系統的穩定性和透明性[6]。當交互設備與外界接觸時，如執行高頻敲動、推動物體、低頻按壓和抓取釋放等交互時，由于觸覺包速率急劇變化，易導致觸覺流量突發[7]。此外，在實際觸覺通信系統中，根據上述特點并考慮到節約傳輸資源，觸覺信號往往采用間斷性傳輸，而音視頻信號則需要連續傳輸。因此，在突發流量期間，兩個傳輸數據包之間間隔很小，容易導致傳輸不可靠，如延遲或數據包丟失，最終影響用戶體驗。基于上述分析，觸覺的突發性是影響觸覺通信質量的關鍵因素之一。

敏感性：觸覺的感知敏感性與其空間分辨率和時間分辨率密切相關。空間分辨率是指可以檢測到的觸覺刺激之間的空間分隔距離。例如，在指尖上，我們可以分辨出大約1mm的間隔，這個數值位于視覺和聽覺空間分辨率之間。時間分辨率是指傳遞到觸覺感受器的兩個脈沖被感知為連續不同的刺激而非同一刺激所需的時間差。例如，在觸摸過程中，人類可以分辨出5ms的時間差異，這比視覺的時間差（25ms）好，但是比聽覺的時間差（0.01ms）差。此外，觸覺分布感受器遍布全身，感知特定觸覺刺激的能力在皮膚表面上變化，相同的觸覺刺激將在不同的位置發生不同的感知體驗。因此，敏感性也影響著觸覺通信系統的設計與實現。

1.3觸覺信號的采集

觸覺信號的采集是實現觸覺通信的前提。與通過攝像機、照相機等設備以非接觸式方式所采集的音視頻信號不同，觸覺信號主要通過安裝在機械裝置或機器人上的觸覺傳感器與物體接觸時采集，如觸摸時物體的位置、速度、力、扭矩和形變等觸覺屬性數據。

（1）摩擦力和壓力：當相關傳感器與外界物體表面材質接觸時，產生的觸覺信號最常見的是接觸力，例如切向摩擦力和法向壓力，通常用接觸時X、Y和Z3個軸的力的幅度來表示。

（2）加速度：在物體表面上敲擊剛性工具或拍打物體表面會導致工具產生一定的加速度，這些振動可以用三軸或單軸加速度傳感器測量，相應的一維信號代表材料表面觸覺特性。同時在某些情況下，可以使用聲學傳感器（麥克風）來檢測振動，用于觸覺傳感。

（3）動覺信息：動覺信息主要通過記錄位置變化（運動軌跡）、力、扭矩、速度等來呈現，可以通過計算機、力傳感器、速度傳感器等記錄、采集。

與上述觸覺屬性相對應的觸覺信號采集設備如圖1所示。

此外，當探索不同的物體屬性時，人類會使用不同的交互方式，這種運動稱為人類的探索性程序[10]。為了讓機器也能獲得感知觸覺信息的能力，在觸覺采集時，可以讓機器進行與人類類似的探索性活動。即通過使用配備有壓力、溫度和加速度等傳感器的機械手，采用輕拍、按壓、保持、環繞和滑動等采集方式來匹配人類觸摸物體時的原型動作集，獲取期望的觸覺屬性。

（1）輕拍：機械手迅速圍繞物體閉合，待與物體有接觸時便打開、釋放物體。這樣可初步探知材料的溫度信息，模仿人類快速觸摸以感知溫度的行為。

（2）按壓：人類對壓力的探索性活動，可以辨別物體的硬度[10]。夾具以恒定的速度關閉，待按壓深度達到特定閾值后再以相同的恒定速度打開，直到任一手指都感覺不到接觸。

（3）靜態保持：人類對全局形狀、體積、溫度和熱導率等探索性活動[10]。當夾具與物體接觸并保證物體不發生滑動后，機器人輕輕握住物體10s，同時讓加熱的手指與物體達到熱平衡。

（4）環繞：適合手的物體大小和形狀，可以根據皮膚壓痕和手指的姿勢來感知，因為手可以包圍物體。但當物體較大時，必須用手依次探索以確定形狀。依據觸覺探索的這種性質，通過環繞多次接觸物體，才能獲得全局形狀。

（5）橫向運動：通過讓機械手在輕握住物體的同時向下滑動，來模擬人類的橫向運動（手指在表面來回移動）。其中，包括速度為1cm/s的緩慢移動和速度為2.5cm/s的快速移動，快速移動的接觸強度弱于緩慢移動[9]。

1.4觸覺信號的表征

對于采集到的觸覺信號，我們需要以一定的形式對其進行表征。觸覺信號的表征是對真實表面的感覺進行描述和建模，之后才能進行編碼、傳輸等操作。觸覺信號的表征形式按信號類型可以分為基于一維時間序列的表征和基于二維圖像數據的表征，如圖2所示。

（1）基于一維時間序列的表征。物體材質表面的觸覺信息（包括材質的紋理輪廓、摩擦力、振動信號等）都可以基于上述采集設備與目標物體交互時產生的接觸力和振動、速度、加速度和三軸方向的位置等，以一維信號（如波形）形式表達。基于真實的觸覺交互數據便于構建表面紋理細節，但存在觸覺數據規模較小、觸覺信號處理方法尚未成熟等問題。

（2）基于二維圖像數據的表征。觸覺數據需要經過專門的采集設備來收集，難度較大，且現存的觸覺數據集規模較小。與之相比，圖像數據集包含豐富的視覺和觸覺特征，且數量龐大。基于圖像特征提取的方法可以從圖片的灰度、深度等信息中獲取紋理表面的特征，從而實現幾何信息到觸覺信息的映射。另外，當采集設備與物體進行接觸時，物體表面會發生一定程度的形變。利用附在傳感器表面的薄膜記錄下這種形變，并通過圖像的形式呈現可以表征觸覺信息。此外，圖像頻域變換所提取出的圖像頻譜特征也能反映物體表面的紋理分布。基于二維圖像數據表征的方法可以充分利用現在的大規模圖像數據集，但其缺點在于無法表征微觀特性。

2觸覺信號的恢復

雖然當前全球學者提出的高效觸覺編碼方案[11]、自適應傳輸速率控制方案[7]等可以在很大程度上保障觸覺傳輸的可靠性。但是通過實際測試發現，當觸覺信號通過無線網絡傳輸時仍會不可避免地遭遇各種因素的干擾（如可用傳輸資源的動態變化、不可預測的通信延遲等）。這會導致觸覺信號在接收端出現不同程度的損耗甚至缺失。此外，觸覺信號具有突發性和不可預測性，從而容易使接收端收到時序錯亂的觸覺信號[12]。因此，在上述情況下，需要采取相關技術來實現觸覺信號的恢復，從而保障終端用戶的觸覺感知質量。具體而言，我們認為可以采用兩類方法來實現觸覺信號的恢復。

2.1同模態觸覺信號恢復

在以遠程工業控制為代表的觸覺業務中，接收端觸覺信號的時序特性以及上下文數據間的相關性可以作為受損信號重建的依據。本文中，我們使用深度神經網絡來學習觸覺信號的時序特性以及相關性，建立一個缺失觸覺信號到完整觸覺信號的映射，從而實現缺失觸覺信號的重建。近年來，生成對抗網絡依靠其學習數據之間復雜分布的能力，在圖像修復及超分辨率重建、電力系統缺失數據重建[13]等應用場景中都取得了巨大成功。其核心思想在于利用不完整數據和給定的上下文約束去生成符合客觀規律的缺失部分。基于此，我們使用生成對抗網絡來完成缺失觸覺信號的恢復。此外，由于傳統的生成對抗網絡使用隨機向量來生成期望的信號，無法充分利用已有的受損信號，因此我們考慮利用條件生成對抗網絡（GAN）以充分利用已有的部分受損信號，并將其作為條件輸入到生成網絡和鑒別網絡中去，從而提高恢復信號的準確性。所提出的同模態的觸覺信號恢復框架如圖3所示。

首先，將受損的觸覺信號和隱變量z輸入生成器中，此時受損的觸覺信號提供一個條件約束，以提高所生成的觸覺信號的上下文一致性。然后，把生成的觸覺信號輸入判別器，以鑒別生成信號的真實性。最后，使用真實性約束和上下文約束來優化生成器參數和輸入的隱變量z。需要說明的是，真實性約束的目的是使生成器生成的觸覺信號盡可能接近真實的觸覺信號，以使鑒別器不能區分兩者，從而保證了通過生成網絡而恢復出的觸覺信號質量。上下文約束的目的是從所生成的觸覺信號中去搜尋與受損觸覺信號中殘留片段最相似的樣本來優化隱變量，從而保證生成的觸覺信號片段與殘留觸覺信號片段具有上下文一致性。此外，當觸覺信號中存在標簽信息時（如觸摸不同類別的材質），還可以在圖3框架中增加一個語義標簽，以達到進一步提升觸覺恢復質量的目的。

2.2跨模態觸覺信號恢復

在以遠程針灸、沉浸式游戲等為代表的多模態業務中，接收端除了收到受損觸覺信號以外，還可以接收到視頻信號。不同于觸覺業務中只能利用同模態的觸覺信號恢復，多模態業務可以利用與受損觸覺信號具有相同語義的音視頻信號來輔助完成觸覺信號恢復，即跨模態觸覺信號恢復。

在跨模態觸覺信號恢復中，最大的挑戰在于不同模態的信號（音頻、視頻、觸覺信號）是高度異構的，且維度差異較大，因此我們需要探究其內在相關性，從而減少模態間的語義偏差。此外，在支撐多模態業務的實際通信場景中，可用作訓練集的音視頻信號數量通常十分匱乏。這些都是實現觸覺恢復所亟待解決的問題。

對于不同模態信號間的異構問題，我們認為對于同一對象，不同模態信號所表達的語義具有潛在的關聯性和一致性。因此，不同模態的深層語義可以互相提供豐富的輔助信息。通過建立公共語義空間，能夠探索不同模態信號間的語義一致性，從而實現模態特征的對齊、融合與互補。針對實際通信系統中用于訓練的音視頻信號數量匱乏問題，我們可以從其他海量的公共音視頻數據集中提取有用知識并實現知識的遷移來解決。

鑒于上述分析，我們提出了跨模態觸覺信號恢復框架[14]，具體如圖4所示。首先，基于自監督學習的思想，從海量音視頻數據中汲取并遷移語義知識;接著，通過搭建融合網絡，實現對所提取的語義信息的融合建模，從而彌補模態間的語義鴻溝;最后，利用融合的語義信息，并通過生成對抗網絡，實現缺失觸覺信號的重建。

（1）基于跨模態知識遷移的語義特征提取

我們將接收到的音頻、視頻數據作為訓練集合，并從中提取與模態無關的抽象語義信息。對于視頻數據，可以采用在大規模公共數據集（如ImageNet）上預訓練的視覺幾何組（VGG16）或RESNET網絡進行視覺特征的提取;對于音頻數據，基于語譜圖，可以將其輸入至卷積神經網絡或編碼器中以提取特征。值得注意的是，在利用大規模公共數據集時，由于音視頻數據沒有顯式的語義標簽，因此我們可以基于自監督學習技術來設計一個分類任務，用于判斷視頻和音頻是否屬于同一場景或內容。通過該方式學習可以得到語義知識。接著，將語義知識傳遞給基于當前接收到的音視觸數據所建立的觸覺恢復模型。

基于跨數據集的知識遷移有效地解決了實際觸覺通信系統中用于訓練的數據稀少的問題，并且顯著增強觸覺恢復模型中的語義特征提取效果。

（2）基于共享語義子空間的模態特征融合

經過上述特征提取步驟，我們可以分別獲得視覺、聽覺模態的語義特征，但單個模態通常無法包含實現精確觸覺信號重構所需的全部有效信息。因此，我們需要進行模態特征的融合，以實現有用信息的相互補償。首先，我們需要實現視覺特征和聽覺特征的對齊，這可以基于標簽信息來實現;

接著，通過搭建公共語義空間，將對齊的視覺、聽覺特征輸入至由多個全連接層組成的神經網絡，從而實現模態特征的融合。

（3）基于對抗學習的缺失觸覺信號恢復

基于模態融合后的語義，我們建立觸覺模態生成模型。與同模態觸覺信號恢復框架類似，我們使用生成對抗網絡來實現缺失觸覺信號的生成。具體而言，利用生成對抗網絡在學習數據分布和特征表示上的能力，我們將從語義空間獲得的融合特征和隨機向量輸入至生成網絡;隨后，把生成的觸覺信號與真實的觸覺信號輸入至鑒別器;通過生成器和鑒別器的對抗訓練，不斷地迭代優化降低損失直至最優。

為了驗證上述跨模態信號恢復（AVHR）方案，我們將AVHR在觸覺紋理（LMT）數據集[18]上進行實驗，并與另外兩種觸覺信號恢復方法進行了比較。我們采用了聯合編碼分類網絡（JEC-GAN）[15]和深度視觸學習（DVHL）[16]的對比方法。其中，JEC-GAN將每個模態的實例編碼到共享的固有空間，然后利用成對約束使視觸樣本在固有空間接近，最后將視覺信息作為輸入，重構相應的觸覺信號;DVHL方法擴展了具有潛在變量的傳統自編碼器并學習其深度相關性。圖5分別展示了不同方法重建出的觸覺信號以及所屬類別的準確度，結果表明本文所提的方法能夠重建出更接近真實的高質量觸覺信號。

2.3觸覺信號的呈現

在成功接收到觸覺信號或完成觸覺恢復后，我們需要對觸覺信號進行呈現，即利用特定的硬件裝置來處理接收到的信號，然后模擬產生與物體接觸時的觸感，使用戶感受到物體的彈性、剛度、摩擦等物理屬性和形狀紋理等幾何屬性，從而提升用戶的交互式體驗。

典型的觸覺呈現硬件裝置分為觸摸屏、觸覺筆、可穿戴系統、空氣觸覺系統、動覺呈現設備等，如圖6所示。

（1）觸摸屏：基于觸摸屏的表面觸覺信息，通過改變觸覺面板與指尖之間的摩擦力來呈現觸覺。

（2）觸覺筆：常用于手寫學習系統或觸覺游戲中，可分為基于靜電力振動的觸覺筆和基于振動電機和壓力傳感器的觸覺筆。

（3）可穿戴設備：可以依附于身體的各個部位而不受工作空間的限制，例如，觸覺手套、觸覺機械臂、觸覺背心等。通過向特定皮膚提供觸覺反饋，可以大大提高交互性。例如，Immersion公司的觸覺反饋手套CyberTouch，在手掌與手指部位設置多個觸覺振動器，通過改變各個振動器的振動強度產生不同的觸感壓力，讓用戶感受到物體的形狀。

（4）空氣觸覺系統：通過氣壓沖擊、超聲波等方式傳遞能量，使用戶無須直接接觸便能產生觸覺感知。例如，觸覺反饋裝置HaptiRead能通過精確模式的超聲波脈沖，讓視力受損的人感受到再現于半空中的盲文。

3觸覺通信原型系統

基于現有觸覺通信技術，我們搭建了基于觸覺感知的醫療診斷模擬系統以及基于機械手臂的遠程觸摸控制原型系統。

圖7為我們開發的基于觸覺感知的醫療診斷模擬系統，用于輔助外科實習醫生進入臨床環境之前的訓練和教學。如圖7左圖所示，我們首先對人體皮膚和傷口進行3D建模，并給模型附著對應的真實觸覺感應，然后與觸覺力反饋設備GeomagicTouchX進行聯合編程調試，最后實現了皮膚縫合診斷模擬。在圖7右圖中，通過利用真實口腔的3D模型和收集到的相關觸覺感知信息，能夠在接收端感知到口腔不同部位的真實觸覺感受，比如牙齦的光滑柔軟感和牙齒的硬物感。未來，我們的目標是將系統應用于遠程康復、針灸中。這不僅包含觸覺信息，也包括器官表面及內部的圖像紋理等視聽覺信息，以實現音視觸信息的協同傳輸與綜合處理，增強用戶在操作端的真實感和沉浸體驗。

圖8是我們開發的遠程表面材質觸摸控制原型系統。該系統能夠應用于遠程工業控制中需要感知物體材質表面觸覺的場景和任務。該原型系統采用觸覺力反饋設備GeomagicTouch作為控制端，優傲機械臂（UR3）作為受控端，并在手指處裝有Teckscan薄膜觸覺壓力傳感器，來感知不同的物體屬性。通過機械手在材料表面觸摸和滑動，Teckscan薄膜觸覺壓力傳感器收集機械手指尖按壓材料得到的壓力信號，并將該壓力數據作為觸覺信號。其中，壓力傳感器的采樣頻率約200Hz。同時，攝像機和麥克風能采集到對應的視頻和音頻信號。控制端可以發送控制命令，以控制機械手臂、接收觸覺反饋。遠程機械手臂端可以執行相應的指令，并提供觸覺信號以及對應的音視頻信號。目前，該系統已經成功實現了木材、紙板、絲綢、泡沫等9類材質表面觸覺的采集、傳輸、識別，識別準確率高達90%。此外，當發生觸覺信號的受損、缺失時，依據上述跨模態觸覺信號恢復算法，我們能夠利用接收的音、視頻信號進行相應的觸覺信號恢復。

4結束語

本文中，聚焦于觸覺通信中的發送端信號獲取和接收端觸覺恢復技術，我們首先對觸覺感受、觸覺信號的采集設備以及觸覺信號的表征進行了描述，接著針對觸覺通信過程中可能存在的信號缺失、干擾等問題，面向觸覺業務和多模態業務場景，分別提出了同模態和跨模態的觸覺信號恢復技術，最后簡要介紹了目前所開發的一些觸覺通信原型系統。對于未來觸覺通信的研究，除了探索更有效的觸覺編碼方案、更可靠的傳輸機制、更靈活的資源管理方案[19]等外，面對用戶對視聽觸感沉浸式綜合體驗的更高需求，建立面向音頻、視頻、觸覺信號協同傳輸與處理的跨模態通信策略[20]將成為學術界和工業界研究和關注的熱點。

參考文獻.

[1]QIAO Y，ZHENG Q，LIN Y，et al.Haptic communication：toward 5G tactile Internet[C]//2020 Cross Strait Radio Science & Wireless Technology Conference （CSRSWTC）.IEEE，2020：1-3.

DOI：10.1109/CSRSWTC50769.2020.9372659

[2]GUPTA R，TANWAR S，TYAGI S，et al.Tactile-Internet-based telesurgery system for healthcare 4.0：an architecture，research challenges，and future directions[J].IEEE network，2019，33（6）：22-29.

DOI：10.1109/mnet.001.1900063

[3]WEI X，DUAN Q，ZHOU L.A QoE-driven tactile Internet architecture for smart city[J].IEEE network，2020，34（1）：130-136.

DOI：10.1109/MNET.001.1900078

[4]CULBERTSON H，SCHORR S B，OKAMURA A M.Haptics：the present and future of artificial touch sensation[J].Annual review of control，robotics，and autonomous systems，2018，1（1）：385-409.

DOI：10.1146/annurev-control-060117-105043

[5]JONES L A，LEDERMAN S J.Human hand function[M].USA：Oxford University Press，2006

[6]LAWRENCE D A.Stability and transparency in bilateral teleoperation[J].IEEE transactions on robotics and automation，1993，9（5）：624-637.

DOI：10.1109/70.258054

[7]GUI M，XU X，STEINBACH E.Adaptive packet rate control for the mitigation of bursty haptic traffic in teleoperation systems[C]//2020 IEEE Haptics Symposium （HAPTICS）.IEEE，2020：134-139.

DOI：10.1109/HAPTICS45997.2020.ras.HAP20.18.6a51e1e1

[8]STRESE M，SCHUWERK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.

DOI：10.1109/TOH.2016.2625787

[9]CHU V，MCMAHON I，RIANO L，et al.Robotic learning of haptic adjectives through physical interaction[J].Robotics and autonomous systems，2015，63：279-292.DOI：10.1016/j.robot.2014.09.021

[10]LEDERMAN S J，KLATZKY R L.Extracting object properties through haptic exploration[J].Acta psychologica，1993，84（1）：29-40.

DOI：10.1016/0001-6918（93）90070-8

[11]STEINBACH E，STRESE M，EID M，et al.Haptic codecs for the tactile Internet[J].Proceedings of the IEEE，2019，107（2）：447-470.

DOI：10.1109/JPROC.2018.2867835

[12]GOKHALE V，NAIR J，CHAUDHURI S.Congestion control for network-aware telehaptic communication[J].ACM transactions on multimedia computing，communications，and applications，2017，13（2）：1-26.

DOI：10.1145/3052821

[13]王守相 ，陳海文 ，潘志新 ，等 .采用改進生成式對抗網絡的電力系統量測缺失數據重建方法[J].中國電機工程學報 ，2019，39（1）：56-64

[14]WEI X，ZHOU L.AI-enabled cross-modal communications[J].IEEE wireless communications，2021，28（4）：182-189.

DOI：10.1109/MWC.001.2000448

[15]PURRI M，DANA K.Teaching cameras to feel：estimating tactile physical properties of surfaces from images[EB/OL].（2020-04-29）[2021-11-07].

https：//arxiv.org/abs/2004.14487

[16]TAKAHASHI K，TAN J.Deep visuo-tactile learning：estimation of tactile properties from images[C]//2019 International Conference on Robotics and Automation （ICRA）.

IEEE：8951-8957，2019.DOI：10.1109/ICRA.2019.8794285

[17]WEI X，SHI Y，ZHOU L.Haptic signal reconstruction for cross-modal communications[EB/OL].[2021-11-10].

https：//ieeexplore.ieee.org/document/9577216.DOI：10.1109/TMM.2021.3119860，2021

[18]STRESE M，SCHUWEK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.DOI：10.1109/TOH.2016.2625787

[19]YUAN Z，WEI X，CHEN J，et al.Ultra-reliability connectivity with redundant D2D transmission scheme for tactile Internet[C]//2019 IEEE Globecom Workshops （GC Wkshps）.IEEE，2019：1-6.

DOI：10.1109/GCWkshps45667.2019.9024454

[20]ZHOU L，WU D，CHEN J，et al.Cross-modal collaborative communications[J].IEEE wireless communications，2020，27（2）：112-117.

DOI：10.1109/MWC.001.1900201

作者簡介

劉恒發，南京郵電大學在讀博士研究生;主要研究方向為多媒體大數據分析與處理。

魏昕，南京郵電大學教授;主要研究領域為多媒體通信、多媒體大數據分析與處理;先后主持和參加各類科研項目20余項;發表論文70余篇，出版英文學術專著1部。