視觸融合傳感技術發展現狀及應用

文章編號：1008-1542（2024）06-0644-09

摘" 要：

視觸融合傳感技術是一種受人類視觸覺協同調控人體動作行為啟發，結合視覺相機圖像信息和觸覺傳感器對物體和環境感知信息的集成式傳感器仿生技術。隨著計算機視覺、神經網絡和觸覺感知技術的發展，在智能機器人控制和工作過程中引入視觸融合傳感技術逐漸成為研究熱點。以不同觸覺傳感模式劃分總結了基于反射層光線漫反射、基于標記點/物追蹤檢測、基于光波導和基于仿生學的視觸覺傳感器基本原理和發展現狀，同時總結了視觸融合傳感器在物體識別檢測、物體滑移以及抓取穩定性檢測和機器人抓取領域的應用現狀，并針對視觸融合技術提出以下展望：1）多模態感知技術的發展；2）人機交互方式的創新；3）智能機器人控制精度的提升；4）電子消費產品的帶動。

關鍵詞：

傳感器技術；視觸融合；計算機視覺；機器人感知；仿生學

中圖分類號：TN958.98

文獻標識碼：A

DOI：10.7535/hbkd.2024yx06009

收稿日期：2024-08-21；修回日期：2024-11-03；責任編輯：胡姝洋

基金項目：

國家自然科學基金（52205306）；河北省高等學校科學技術研究項目（QN2024222）；河北省自然科學基金京津冀基礎研究合作專項（H2022208073）；河北省人力資源和社會保障廳河北省“三三三人才工程”資助項目（B20221004）；中央引導地方科技發展資金項目（236Z1816G）

第一作者簡介：

魏斌（1986—），男，河北石家莊人，講師，博士，主要從事機器人感知、增材制造方面的研究。

通信作者：

李潔，副教授。E-mail：sjz-lijie@163.com

魏斌，王自豪，王萍，等.

視觸融合傳感技術發展現狀及應用［J］.河北科技大學學報，2024，45（6）：644-652.

WEI Bin，WANG Zihao，WANG Ping，et al.

Current status and application of visual-tactile sensing technology

［J］.Journal of Hebei University of Science and Technology，2024，45（6）：644-652.

Current status and application of visual-tactile sensing technology

WEI Bin1，WANG Zihao1，WANG Ping1，LI Jie2，LIU Guang1

（1.School of Mechanical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China;

2.Teaching Affairs Office， Shijiazhuang Information Engineering Vocational College， Shijiazhuang， Hebei 050035， China）

Abstract：

Visual tactile fusion sensing technology is an integrated sensor biomimetic technology that combines visual camera image information and tactile sensor perception information of objects and environments， inspired by the coordinated regulation of human visual and tactile movements and behaviors. With the development of computer vision， neural networks， and tactile perception technology， the introduction of visual touch fusion sensing technology in the control and working process of intelligent robots has gradually become a research hotspot. The basic principles and development status of visual tactile sensors was summarized based on different tactile sensing modes， including diffuse reflection of light rays in reflective layers， tracking and detection of marked points/objects， optical waveguides， and bionics. At the same time， the application status of visual touch fusion sensors in object recognition and detection， object slip and grasping stability detection， and robot grasping fields was summarized. Finally， the following prospects were proposed for visual touch fusion technology： 1） development of multimodal perception technology; 2） innovation in human-computer interaction methods; 3） improvement of control accuracy for intelligent robots; 4） drive the consumption of electronic products.

Keywords：

sensor technology; visual and tactile fusion; computer vision; robot perception; bionics

隨著機器人技術的不斷發展，人們不再單單滿足于其能夠完成設定程序以及功能，對機器人的實時感知和數據反饋能力也提出了更高、更精確的要求。人類通過視覺、觸覺、嗅覺、聽覺和味覺等多種感官以及物質和信息與外部環境進行交互。視覺將圖像作為載體，在不接觸的情況下接收足夠的信息，直觀且易于分析。相比之下，雖然觸摸接收到的信息量比視覺少，但它比視覺要復雜得多。通過觸覺感受到

客觀世界的物理屬性（質地、形狀、大小和溫度），產生不同的觸覺（硬/軟、粗糙/光滑、黏/滑、暖/冷）［1］。

觸覺感知是機器人感知環境并與之交互的關鍵方式，因此對于任務執行至關重要，觸覺信息對于機器人靈巧操控、自主認知、人機交互等方面的研究不可或缺［2］。目前，機器人觸覺感知主要通過電容式［3］、光電式［4］或壓阻式［5］觸覺傳感器來獲取信號并取得了一定進展。然而，單一感知方式所能提供的信息是有限的，無法滿足機器人在復雜環境下的高級任務需求。因此，研究者們開始探索如何融合多種感知方式，其中視覺和觸覺感知融合受到研究者們的廣泛關注［6］。

伴隨機器人仿生視覺觸覺協同調控和視覺觸覺傳感器集成概念的提出以及一些該研究領域的著名傳感器如美國麻省理工學院的GelSight［7-8］、Gelslim［9-10］傳感器，英國布里斯托大學的TacTip［11］系列視觸覺傳感器，日本東北大學的FingrVision傳感器［12-13］以及美國Meta公司的數字視觸覺傳感器［14］等設備的研究和開發，將視覺和觸覺傳感器相結合，利用它們互補的優勢進行信息融合成為了一種重要的機器人感知與控制方法。通過視覺和觸覺信息的融合，機器人能夠更加準確地感知目標物體的形狀、表面材質等信息，實現更高效、更精確的目標識別、抓取和操作。本文以視觸傳感器中柔性接觸體即視覺信號獲取方式的不同，介紹了傳感器的發展現狀和應用現狀，并對其未來發展提出展望。

1" 不同觸覺傳感模式的視觸融合傳感器

1.1" 基于反射層光線漫反射的視觸融合傳感器

基于反射圖層光線漫反射提取視覺信號的視觸覺傳感器由柔性可變形接觸體、反射涂層、照明組件、傳感器框架和相機組成，主要特點在于照明組件照射不同顏色的光（通常為RGB三色光源）到涂抹在柔性接觸體的反射涂層上，當傳感器與物體發生物理接觸時，相應變形區域的光線反射發生改變并通過相機捕捉變形的圖像進行處理，獲取接觸物體表面紋理、形狀等信息。

YUAN等［7］研發的GelSight視觸覺傳感器是近些年比較典型的視觸覺傳感器，目前許多視觸傳感器是基于對此設備的二次研發和改進。該傳感器采用圓周內120°均勻排布的RGB三色光源結構，用內置相機拍攝到充滿不同顏色標記的觸覺圖像，如圖1 a）所示。此類型傳感器特點在于采用光度立體算法在傳感器與物體發生物理接觸時進行幾何形狀模型的高精度重建，在朗伯平面的假設下，從各個方向照到平面的光產生均勻的漫反射，可以建立圖像的像素強度與表面法線之間的映射函數，從而建立表面法線的查找表。從3個方向的光照條件下捕獲的3幅圖像可以基于光度立體算法重建物體表面的三維形狀，該傳感器可以捕捉到2 μm級別的微觀表面幾何形狀，靈敏度甚至超過人類指尖［15-16］。基于GelSight傳感器，美國Meta公司研制開發了DIGIT視觸覺傳感器［14］，為了更好地應用于機器人操作任務中，DIGIT視觸覺傳感器全面優化了傳感器的結構設計，最終實現了約25 mm3的體積，可直接集成于Allegro Hand靈巧手指尖區域，獲取穩定可靠的彩色觸覺圖像，如圖1 b）所示。

除平面反射涂層漫反射提取信號的設備類型，研究者同樣將目光放到了曲面形式的反射層漫反射視觸傳感器。為了能夠在曲面結構上提取到關于接觸區域的三維幾何形狀的密集信息，ROMERO等［17］提出了一種半球面高分辨率觸覺傳感器，使用不透明的傳感表面。區別以往通過方向照明從至少2個信息源提供關于x梯度和y梯度信息的照明模式，借光纖全內反射現象設計出了只提供關于2個信息源的x梯度和1個信息源的y梯度信息的照明模式，用以提供盡可能均勻的照明模式，如圖1 c）所示。2022年，SUN等［18］研發了低成本的InSight手指觸覺傳感器，與GelTip傳感器類似，其可以實現整個手指表面的接觸位置及形變檢測，如圖1 d）所示。

1.2" 基于標記點/物追蹤檢測的視觸融合傳感器

基于標記追蹤的視觸覺傳感器主要通過在柔性接觸體表面或者內部添加標記點或標記物，當物體與傳感器物理接觸時，所受到的壓力和剪切力使標記點/物大小、位置發生變化，通過視覺技術分析標記點的形狀和位置變化來推斷接觸體的變形情況。

2021年，英國布里斯托爾機器人實驗室（BRL）LEPORA［19］結合計算機深度學習技術改進了該實驗室于2009年提出的 TacTip 系列視觸覺傳感器。其受豐田資助的研究實驗室開發的觸覺隱形眼鏡啟發，設計了一種人類手指仿生真皮結構，即內置陣列結節針的傳感器結構將柔性接觸體的表面變形放大為針尖上可見標記的橫向運動，且堅硬的結節針與柔軟的彈性凝膠交錯的仿生結構導致皮膚表面的正常應變“機械轉導”為皮膚下可測量的剪切應變，如圖2所示。

基于標記點和標記物物理變化的視觸融合傳感器通常的步驟是從定位黑色或白色標記的中心開始。利用計算機視覺算法可以很容易地確定每個標記的橫向運動，并且分布式測量數據足夠豐富，可以識別物體的性質和方向。然而，這些方法不能直接提供界面處的正壓力場和側壓力場，特別是不能直接觀察到由側向剪應力與正應力之比表示的局部摩擦系數［20］。2010年，SATO等［21］使用與GelForce相同的技術改進設計了一種同時具有紅色和藍色2種不同顏色標記物的視觸傳感器，兼備對力和表面牽引場大小的測量、體積小、高性能3個特點。該傳感器采用單攝

像頭的模式應用阻尼最小二乘法克服了立體相機計算三維矢量體積太大的局限性，當力施加到表面時，標記會根據力的大小和方向移動。標記的運動被相機捕捉到，通過比較施加力前后標記的中心以計算運動，如圖3所示。LIN等［20］通過減色混合設計了一個用以感知機器人皮膚摩擦狀態的視觸傳感器，該傳感器設計了一組重疊的半透明彩色標記。附著在交互表面的標記物的變形會影響其形狀和顏色強度，這使得重建界面處的三維變形場成為可能［19］。

1.3" 基于光波導的視觸融合傳感器

在20世紀90年代，MAEKAWA等［22］使用光波導技術開發了一種手指形視覺觸覺傳感器，如圖4 a）所示。光波導是一種具有明確界面和確定折射率分布的傳輸介質，它對光的傳播具有確定的限定條件［23］。該設備中光波導是一個半球形的玻璃外殼，上面覆蓋有彈性橡膠，波導和蓋板之間存在適當的間隙。光通過光纖從外部光源傳輸到光波導的邊緣，并注入到波導中。注入的光在玻璃和空氣的邊界處保持全內反射，因此被波導封閉。假設一個物體接觸彈性蓋板的表面，當蓋板的一部分與波導表面接觸時，蓋板被壓下，因為在該點上不再滿足總內反射條件，封閉在玻璃外殼中的光在接觸點上散射，就可以被CCD相機捕獲觸覺圖像從而將觸覺信息轉換為視覺圖像。NAKASHIMA等［24］也基于此原理結合復眼相機設計了一種可以在檢測觸覺信息的同時檢測距離的傳感器，如圖4 b）所示。來自LED的紅外光被引入透明的亞克力板，對于入射角大于臨界角的入射光，發生全內反射。3個攝像頭中的2個配備了紅外濾光片并接收可見光圖像。可以通過透明亞克力板捕捉物體的圖像。分別調試2個攝像機的拍攝視角，獲取空間中的點位信息，計算傳感器到物體的距離，使用立體匹配從而獲得物體的接近信息。

2024年，YUE等［25］為模擬在皮膚表皮和真皮層之間發現的獨特結構，提出了一種以聚二甲基硅氧烷（PDMS）制造的半球體陣列形式的皮膚啟發傳感結構來調制觸覺傳感器的光源，其中半球形陣列模擬了皮膚表皮和真皮層之間的起伏排列，該傳感器結合了凹凸不平的PDMS頂層和三色彩色傳感機制，利用光纖散斑圖進行機械測量，如圖5所示。傳感器運行時頂部光源投射紅綠藍三色光至PDMS柔性體內，下層采用PDMS制備的下梯形形狀的柔性體。當頂部PDMS表面受到力的作用時，由頂蓋引導的光的色譜會受到影響。在這種力的作用下，平頂表面發生變形，使位于施力區下方的半球體與下梯形截面建立更大的接觸。半球體和梯形頂部表面之間的接觸程度決定了連接到PDMS梯形的光纖收集的光量。因此，光纖的遠端顯示不同的亮度，隨后影響相機捕獲的圖像并處理成觸覺信號。

1.4" 基于仿生學的多信號收集視觸覺傳感器

基于仿生學的多信號收集視觸覺傳感器的主要傳感模式不再局限于單純依靠視覺相機拍攝接觸體表面的形變而引發的光線散射或者標記點/物的變化，該類型傳感器柔性接觸體被能提取到多重信號的觸覺傳感器替代以模仿人體手指的多信號感知特性，當物體與傳感器發生位置的距離變化和物理接觸時，觸覺傳感器可以單獨給出觸覺信號或者圖像，結合視覺相機拍攝到的觸覺傳感器表面變形信號可以獲取物體更多的物理信息和達到更高的識別準確率。

鑒于現有的大多數觸覺傳感器不能對非接觸刺激做出反應，限制了在人機交互（HRI）過程中對物體大小［26］、方向［27］和距離［28］的先驗和準確獲取，清華大學的MU等［29］受鴨嘴獸喙的電感覺和機械感覺功能啟發，于2023年基于視觸覺傳感器設計了一款機電感應手指。該設備通過在透明彈性體上噴涂液態金屬聚合物（LMPC）導電墨水形成摩擦電傳感器電極陣列

和視觸覺傳感器的反射器。

形成微電流，從而借助靜電感應為非接觸式傳感提供條件。

由于不同材料之間的電子親和力不同，靜電感應改變了摩擦電傳感器陣列電極表面的電荷分布，這種改變將物體運動編碼為多通道電壓脈沖，同時仿照GelSight設計了相機拍攝底層硅膠上標記點位移的視覺信號獲取方式，開發雙峰深度學習框架，同時融合摩擦電和視覺信號，如圖6所示。

視觸融合算法的進步增強了物體識別能力，改進了抓取策略并能夠更精確地控制機器人操作設備。這些觸覺-視覺融合技術使機器人具有多模態感知能力，像人類一樣可以從多維度感知環境信息，完成更復雜和更具挑戰性的任務［30-31］。然而，為滿足機器人在現實生活中完成復雜任務的需要，考慮的因素還有很多。就像人類一樣，機器人要與環境有效互動，視覺、壓力、溫度、熱屬性、紋理和滑動等多模態感知能力必不可少［32-33］。為此MAO等［34］于2024年基于熱敏電阻的溫變檢測性能開發了一種可以識別接觸物體壓力、溫度、導熱性、表面紋理和滑動狀態的多模態感知的視觸覺傳感器。物體與傳感器發生接觸時物體的導熱性能影響膜的傳熱，通過恒溫差分（CTD）電路對頂部傳感層的熱膜進行電加熱，確保其溫度高于周圍環境，并在接觸物體中產生熱場。在滑動時，熱膜轉移到與之接觸的物體上較冷的區域，導致熱傳遞的變化從而產生信號。不同類型視觸覺傳感器的特點如表1所示。

2" 視觸融合傳感器應用現狀

在機器人向智能化、自動化、集成化和擬人化發展的探索過程中，觸覺傳感器一直扮演著舉足輕重的角色，在一些人類不易進行工作的狹小空間，觸覺傳感器的及時反饋顯得尤為重要。目前關于觸覺傳感的研究主要是將壓阻式、光電式、電容式等主要形式的傳感器應用于機器人上，協助完成物體識別檢測、滑移檢測和機械手施加力的精準控制等一系列靈巧操作。而基于視覺技術的觸覺傳感器可以提供高空間分辨率的傳感圖像信息，數據采集和傳輸便捷，并且觸覺活動都發生于傳感皮膚表層而不會損壞光學和圖像設備，易于開發和維護，可以為機器人靈巧操作物體提供有力的支撐［35］。

2.1" 物體檢測與識別

YUAN等［36］利用GelSight設計了一套通過自主探索過程來感知普通衣物材料特性的視觸覺傳感器，如圖7 a）所示，使用嵌入式攝像機捕捉彈性體變形并訓練卷積神經網絡（CNN）進行多標簽分類識別，同時使用外部Kinect傳感器來獲取衣服的整體形狀，并訓練模型來挑選褶皺上的優選點。在程序設定下機器人可進行有效探索和進行衣物多標簽的分類，為識別提供基礎。MA等［37］設計了一種用以檢測桃子成熟度的視觸覺傳感器并對內置RGB燈光不同擺放位置做了討論，成功開發出用于農產品檢測的視觸傳感技術。MU等［29］研發的仿鴨嘴獸機電感應手指利用其緊湊的結構和靈活的電傳感能力，基于可控電場源構建了水下應用的遠程控制和勘探系統并能于水下通過與物體接觸拍攝到清晰圖像以進行識別，如圖7 b）所示。

2.2" 物體滑移檢測與抓取穩定性估計

人類可以通過分布在掌內及指尖的觸覺感受觸覺小體快速而準確地檢測和預測滑動的發生，并及時做出動作補償，從而實現對物體的自適應抓取和操作。同樣，對于機器人靈巧抓取與操作任務來說，觸覺傳感器對滑動的感知也非常重要［6］。崔少偉等［38］研發了一種結合視觸覺傳感器和深度學習神經網絡的感知算法（VTF-DNN），通過機械手裝載觸覺傳感器進行大量物體識別訓練并達到92.5%的成功率。DONG等［8］提出新的視觸傳感器設計方案，通過計算標記點最大位移距離和外圍區域中標記物的移動距離比值設定閾值來檢測、判定物體的滑移現象，如圖8 a）所示。YUAN等［7］探究到GelSight彈性體表面位移場反映了接觸面處的外載荷，有效地指示了剪切載荷過程中部分滑移的程度，接觸區域內位移幅度的不均勻程度與局部滑移程度相匹配，從而采用熵值法對物體滑移狀態進行檢測與判定，如圖8 b）所示。

2.3" 機器人抓取

感知物體的能力是機器人與世界互動的基本技能。現有的感知方法主要依靠視覺傳感器跟蹤目標狀態。針對強遮擋情形，使用觸覺傳感和視覺抓取結合受到學術界和工業界廣泛關注［38-39］。CALANDRA等［40］基于視觸融合技術提出了一種動作-條件抓取模型并將其應用于機械手，模型通過構造多模態卷積神經網絡結構來預測不同抓取調整姿態的成功率，然后通過系統迭代選擇最優方案，如圖9所示。SHE等［41］搭建了一個感知-控制框架，通過結合電纜抓地力控制器和電纜姿態控制器2種觸覺傳感器，估計電纜抓握在機械手中的姿勢以及電纜的摩擦力，同時結合視觸覺傳感器來獲得實時觸覺反饋信息，實現只依靠觸覺信息跟隨懸掛電纜（可變形線性物體）的高精度靈巧任務。WANG等［42］使用GelSight傳感器提供的信息來學習對象屬性的低維嵌入以及其本身的屬性，以自監督的方式學習嵌入并使用它來優化動態手持操作任務的性能。學習的嵌入作為輸入，借助一個擺動角度預測器來找到擺動任務的最優控制參數。同時這種嵌入在新任務中具有可移植性，可以使用它直接回歸到如質量、質心、慣性矩和摩擦等物體參數上。

3" 挑戰與展望

3.1" 挑戰

盡管計算機視覺技術的發展為傳統意義上的觸覺傳感器應用帶來了新的革新，但作為一種新興技術，欲將其實際投入到智能機器人運作和農業、工業生產線中為人們帶來更加便捷高效的生活仍然存在著許多挑戰。

1）設備集成度較低" 視觸覺傳感器設計的目的之一便是用小體積設備去提取例如壓力、應變、接觸物體表面紋理及形狀在內的多重物理信號，為機器人自主識別環境條件和智能化操作創造基礎。而受微機電系統發展和觸覺傳感器表面材料性質及功能單一性的限制，目前視觸覺傳感器只能被設計應用于例如觸覺指尖等機器人結構耦合設計方案的特定條件下，通過優化設計光路的方式來提高視觸覺傳感器的空間集成度是接下來視觸覺傳感器邁向真正具有高空間分辨率觸覺傳感皮膚的關鍵所在［6］。

2）設備制造成本過高" 高精度視覺相機以及物理性能優越的觸覺傳感器在開發過程中需要大量的實驗器材以及昂貴的硬件條件及精密的制造設備，且大多觸覺傳感器處于實驗室階段無法大規模投入使用，仍停留在如何實現傳感功能的階段。同時受到材料研發的限制，導致其信號采集速率及準確性仍需進一步優化，測量量程需進一步擴大。因此，如何降低此類高科技產品制造成本，實現更廣泛的商業應用，是一個亟待解決的問題。

3）數據集收集、融合問題" 視觸覺傳感器需要集成同時處理來自視覺相機的圖像信號以及來自觸覺傳感器的物理信號，對數據采集、數據集構建以及異構數據歸一化處理提出新的挑戰。而融合不同模態的觸覺和視覺數據，并找到它們之間的相關特性是關鍵問題。盡管聯合稀疏編碼為多模態融合提供了有效策略，但觸覺視覺融合的通用解決方法仍面臨多個待解決問題［41］。

3.2" 展望

通過逐步改進現有的視觸融合傳感設備，結合深度神經網絡的應用和柔性觸覺傳感器的發展，在未來該技術會擁有更加全面的功能以及更高的效率和準確性，為智能機器人在其他領域的應用帶來革新。

1）多模態感知技術的發展" 人類通過視覺、聽覺、觸覺等多感官系統進行對環境的感知與交互，隨著仿生理念的提出，具備多模態感知功能的觸覺傳感器在機器人智能化環境感知和運動控制領域的發展日漸火熱，機器視覺驅動的觸覺感知技術展現出廣闊的應用前景，預示著在機器人技術中，多模態感知技術將進一步提升機器人的環境適應性和任務執行能力。

2）人機交互模式的創新" 柔性化觸覺傳感器的發展預示著視觸覺傳感器將通過遠程電信號的采集和處理協助遠程機器人操作，多模態信號感知為機器人提供更加全面豐富的作業環境信息，為機器人智能化提供新的方向和技術手段。

3）智能機器人控制精度的提升" 設備集成度的提高使得視觸覺傳感器能夠提取到更多信號，對于環境和工作條件的感知能力進一步提升。伴隨數據處理技術的增強，視觸覺傳感器信號的及時反饋能力也將得到大幅提升。通過滑移檢測、溫變檢測等方式采集、分析反饋信號并作出調整，為機器人完成更高精度和效率的工作創造條件。

4）電子消費產品的帶動" 視觸融合傳感器有望為虛擬現實（VR）技術等一系列電子設備帶來視覺、觸覺多方面的使用體驗，豐富用戶感知，通過提供高空間分辨率和多模態觸覺感知能力，為電子產品消費市場帶來新的增長點，尤其是在提升用戶體驗和感知維度方面。

參考文獻/References：

［1］" WANG Fei，LI Yucheng，TAO Liangze，et al.A human-like siamese-based visual-tactile fusion model for object recognition［J］.IEEE Transactions on Cognitive and Developmental Systems，2024，16（3）：850-863.

［2］" LIN Zhonglin，ZHUANG Jiaquan，LI Yufeng，et al.GelFinger：A novel visual-tactile sensor with multi-angle tactile image stitching［J］.IEEE Robotics and Automation Letters，2023，8（9）：5982-5989.

［3］" WANG Xiaoyou，WANG Lei，PENG Simin，et al.Microsphere-structured protein hydrogel dielectrics for capacitive wearable sensors［J］.Biomacromolecules，2024，25（6）：3651-3660.

［4］" WANG Lu，BODA M A，CHEN Chen，et al.Ferroelectric，flexoelectric and photothermal coupling in PVDF-based composites for flexible photoelectric sensors［J］.Materials Horizons，2024，11（21）：5295-5303.

［5］nbsp; COHEN-GERASSI D，MESSER O，FINKELSTEIN-ZUTA G，et al.Conductive peptide-based MXene hydrogel as a piezoresistive sensor［J］.Advanced Healthcare Materials，2024.DOI： 10.1002/adhm.202303632.

［6］" 崔少偉，王碩，胡靜怡，等.面向機器人操作任務的視觸覺傳感技術綜述［J］.智能科學與技術學報，2022，4（2）：184-199.

CUI Shaowei，WANG Shuo，HU Jingyi，et al.A survey of visuotactile sensing technologies for robotic manipulation［J］.Chinese Journal of Intelligent Science and Technology，2022，4（2）：184-199.

［7］" YUAN Wenzhen，DONG Siyuan，ADELSON E H.GelSight： High-resolution robot tactile sensors for estimating geometry and force［J］.Sensors，2017.DOI： 10.3390/s17122762.

［8］" DONG Siyuan，YUAN Wenzhen，ADELSON E H.Improved GelSight tactile sensor for measuring geometry and slip［C］//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems.Vancouver：IEEE，2017：137-144.

［9］" ELLIOTT D，DONG Siyuan，MELODY L，et al.GelSlim：A high-resolution，compact，robust，and calibrated tactile-sensing finger［C］//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）.Madrid：IEEE，2018：1927-1934.

［10］TAYLOR I H，DONG Siyuan，RODRIGUEZ A.GelSlim3.0：High-resolution measurement of shape，force and slip in a compact tactile-sensing finger［C］//2022 International Conference on Robotics and Automation（ICRA）.Philadelphia：IEEE，2022：10780-10787.

［11］WARD-CHERRIER B，PESTELL N，CRAMPHORN L，et al.The TacTip family：Soft optical tactile sensors with 3D-printed biomimetic morphologies［J］.Soft Robotics，2018，5（2）：216-227.

［12］YAMAGUCHI A，ATKESON C G.Combining finger vision and optical tactile sensing：Reducing and handling errors while cutting vegetables［C］//2016 IEEE-RAS 16th International Conference on Humanoid Robots （Humanoids）.Piscataway：IEEE，2016：1045-1051.

［13］YAMAGUCHI A，ATKESON C G.Tactile behaviors with the vision-based tactile sensor FingerVision［J］.International Journal of Humanoid Robotics，2019.DOI： 10.1142/S0219843619400024.

［14］LAMBETA M，CHOU Powei，TIAN S，et al.DIGIT：A novel design for a low-cost compact high-resolution tactile sensor with application to in-hand manipulation［J］.IEEE Robotics and Automation Letters，2020，5（3）：3838-3845.

［15］JOHNSON M K，COLE F，RAJ A，et al.Microgeometry capture using an elastomeric sensor［J］.ACM Transactions on Graphics（TOG），2011，30（4）：1-8.

［16］LI Rui，ADELSON E H.Sensing and recognizing surface textures using a GelSight sensor［C］//2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE，2013：1241-1247.

［17］ROMERO B，VEIGA F，ADELSON E.Soft，round，high resolution tactile fingertip sensors for dexterous robotic manipulation［C］//2020 IEEE International Conference on Robotics and Automation （ICRA）.Paris：IEEE，2020：4796-4808.

［18］SUN Huanbo，KUCHENBECKER K J，MARTIUS G.A soft thumb-sized vision-based sensor with accurate all-round force perception［J］.Nature Machine Intelligence，2022，4（2）：135-145.

［19］LEPORA N F.Soft biomimetic optical tactile sensing with the TacTip：A review［J］.IEEE Sensors Journal，2021，21（19）：21131-21143.

［20］LIN Xi，WIERTLEWSKI M.Sensing the frictional state of a robotic skin via subtractive color mixing［J］.IEEE Robotics and Automation Letters，2019，4（3）：2386-2392.

［21］SATO K，KAMIYAMA K，KAWAKAMI N，et al.Finger-shaped GelForce：Sensor for measuring surface traction fields for robotic hand［J］.IEEE Transactions on Haptics，2010，3（1）：37-47.

［22］MAEKAWA H，TANIE K，KOMORIYA K.A finger-shaped tactile sensor using an optical waveguide［C］//Proceedings of IEEE Systems Man and Cybernetics Conference-SMC.Le Touquet：IEEE，1993：403-408.

［23］吳重慶.光波導理論［M］.北京：清華大學出版社，2023.

［24］NAKASHIMA H，KAGAWA K，SHIMONOMURA K.Combined tactile and proximity sensor employing compound-eye camera［J］.Ite Transactions on Media Technology and Applications，2015，3（4）：227-233.

［25］YUE Shichao，XU Minzhi，CHE Zifan.A skin-inspired PDMS optical tactile sensor driven by a convolutional neural network［J］.IEEE Sensors Journal，2024，24（6）：8651-8660.

［26］GUO Zihao，WANG Hailu，SHAO Jiajia，et al.Bioinspired soft electroreceptors for artificial precontact somatosensation［J］.Science Advances，2022.DOI：10.1126/sciadv.abo5201.

［27］CAN BERMDEZ G S，KARNAUSHENKO D D，KARNAUSHENKO D，et al.Magnetosensitive e-skins with directional perception for augmented reality［J］.Science Advances，2018.DOI：10.1126/sciadv.aao2623.

［28］ZHU Shanshan，LI Yuanheng，YELEMULATI H，et al.An artificial remote tactile device with 3D depth-of-field sensation［J］.Science Advances，2022.DOI： 10.1126/sciadv.abo5314.

［29］MU Shilong，LI Shoujie，ZHAO Hongfa，et al.A platypus-inspired electro-mechanosensory finger for remote control and tactile sensing［J］.Nano Energy，2023.DOI： 10.1016/j.nanoen.2023.108790.

［30］JIAO Chenlei，SUN Tao，LIAN Binbin，et al.Visual-tactile object recognition of a soft gripper based on faster region-based convolutional neural network and machining learning algorithm［J］.International Journal of Advanced Robotic Systems，2020.DOI：10.1177/1729881420948727.

［31］CORRADI T，HALL P，IRAVANI P.Object recognition combining vision and touch［J］.Robotics and Biomimetics，2017.DOI： 10.1186/s40638-017-0058-2.

［32］ZHANG Tao，CONG Yang，SUN Gan，et al.Visual tactile fusion object clustering［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（6）：10426-10433.

［33］DONG Jiahua，CONG Yang，SUN Gan，et al.Lifelong robotic visual-tactile perception learning［J］.Pattern Recognition，2022.DOI： 10.1016/j.patcog.2021.108176.

［34］MAO Qian，LIAO Zijian，YUAN Jinfeng，et al.Multimodal tactile sensing fused with vision for dexterous robotic housekeeping［J］.Nature Communications，2024.DOI： 10.1038/s41467-024-51261-5.

［35］鄒宜楨.基于視覺的觸覺傳感器及其在機器人靈巧操作中的應用研究［D］.杭州：浙江大學，2023.

ZOU Yizhen. Research on Vision-Based Tactile Sensor and Its Application in Robotic Dexterous Manipulation［D］.Hangzhou：Zhejiang University，2023.

［36］YUAN Wenzhen，MO Yuchen，WANG Shaoxiong，et al.Active clothing material perception using tactile sensing and deep learning［C］//2018 IEEE International Conference on Robotics and Automation （ICRA）.Brisbane：IEEE，2018：4842-4849.

［37］MA Chan，YING Yibin，XIE Lijuan.Visuo-tactile sensor development and its application for non-destructive measurement of peach firmness［J］.Computers and Electronics in Agriculture，2024.DOI： 10.1016/j.compag.2024.108709.

［38］崔少偉，魏俊杭，王睿，等.基于視觸融合的機器人抓取滑動檢測［J］.華中科技大學學報（自然科學版），2020，48（1）：98-102.

CUI Shaowei，WEI Junhang，WANG Rui，et al.Robotic grasp slip detection based on visual-tactile fusion［J］.Journal of Huazhong University of Science and Technology（Nature Science Edition），2020，48（1）：98-102.

［39］尹寶凡，楊靜，李少波，等.視觸覺傳感器融合應用研究現狀［C］//2023中國自動化大會論文集.重慶：［s.n.］，2023：138-145.

［40］CALANDRA R，OWENS A，JAYARAMAN D，et al.More than a feeling：Learning to grasp and regrasp using vision and touch［J］.IEEE Robotics and Automation Letters，2018，3（4）：3300-3307.

［41］SHE Yu，WANG Shaoxiong，DONG Siyuan，et al.Cable manipulation with a tactile-reactive gripper［J］.The International Journal of Robotics Research，2021，40（12/13/14）：1385-1401.

［42］WANG Chen，WANG Shaoxiong，ROMERO B，et al.SwingBot：Learning physical features from in-hand tactile exploration for dynamic swing-up manipulation［C］//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.Las Vegas：IEEE，2020：5633-5640.