融合機器視覺和觸覺的機器人自動接線方法研究

趙 恒，陳清淼，李成鋼，楊衛星

(1. 國網江蘇省電力有限公司電力科學研究院，江蘇 南京 211103；2. 國網電力科學研究院武漢南瑞有限責任公司，湖北 武漢 430074)

開關、連接線、控制面板等電氣設備是發電機組、輸電線路、變電站、配電室、自動化機器、工業廠房和民用住宅的基本組件。在實際應用場景中，由于接線任務操作的復雜性、接線設計的可變性以及小批量或多頻次的重復接線操作，開關等電氣設備接線通常由人工手動操作完成。

在傳統的電氣裝配過程中，操作者需要從預先準備好的線圈中取出特定規格的導線，再將其金屬端子插入對應連接器或目標開關的插孔中。然而，現有的傳統人工接線方法主要面臨兩方面問題：一是接線過程十分依賴操作人員的技術水平，用工成本高且操作過程需要耗費大量時間和精力；二是接線工作存在較高危險性，電網接線操作人員通常需要帶電作業或在高空環境下進行接線操作，這對安全生產提出了極高要求。

實際上，隨著機器學習、大數據等技術的快速發展，市場上也出現了一些自動接線方法[2-5]，電網接線機器人是替代操作人員在不斷電、高空或狹小空間下更換線路零部件或進行電線連接操作的高度自動化設備[18-19]。例如，SYNDY機器人[6]可自動完成開關柜的接線操作，但受限于機械臂末端執行器尺寸和移動性，該接線方法對開關柜中組件間的空間要求較高；KA自動接線系統可完成電線與螺絲釘的對接，然而該方法要求開關處于水平位置，對電氣設備的定位提出了較高要求，許多場景下并不能很好地完成接線操作；在Nguyen等人的研究工作中[1]，提出了一種基于計算機視覺的機器人自動接線方法。實際上，現有大多數機器人自動接線系統主要依賴機器視覺，但受操作空間、光線以及雜亂背景等因素影響，僅依靠視覺系統很難保證接線操作的準確性，該問題在開關柜等狹小空間中尤為突出。

綜上所述，為了克服傳統手動接線以及現有機器人自動接線方法的缺陷，研究如何以一種自動化方式完成狹小空間電氣設備接線操作，降低用工成本、讓操作人員遠離危險是十分有必要的。本文開發基于機器視覺[7-10]和觸覺傳感器[11-14]的機器人自動接線方法，該方法融合了視覺和觸覺兩種智能感知技術，兩者協同互補，機器視覺系統通過卷積神經網絡識別電線端子、連接器等組件，觸覺傳感器則整合經過訓練的多層感知機，通過量化導線與電氣組件間的碰撞來判斷電線是否準確接入[20-22]。本文提出的方法能夠在狹小空間中完成接線操作的自動識別、抓取和插入，通過現場試驗證明了自動接線方法的優越性和有效性。

1 機器人自動接線任務描述

本文采用視覺-觸覺-機械臂工作模式，主要面向開關柜等有限作業空間的導線插入[23-25]。自動接線機器人由工業機械臂(帶機械手)、雙目攝像頭、觸覺傳感器和工控機等組件構成[15-16]。兩個攝像頭分別位于機械臂的側面和正面近末端，側面攝像頭主要用于提供導線與連接器的近距離視圖，正面近末端攝像機可完成導線端識別和位置姿態估計，觸覺感知器位于機械臂末端，主要用于采集導線與連接器的碰撞信息，并通過多層感知機來判斷觸碰類別，指導導線準確插入接線器中，整個操作過程由視覺系統和觸覺系統協同完成。該機器人自動接線臂結構如圖1所示。

圖1 機器人自動接線臂結構

機器人在運動過程中會收集視覺信息和觸覺信息，為了完成導線端識別、抓握及插入等操作，本文采用了卷積神經網絡和多層感知機算法來處理機械臂捕獲的視覺、觸覺信息，兩者協同互補，共同指導機械臂將導線插入開關柜內部組件的連接器中。文中提出的基于機器視覺和觸覺傳感器的機器人自動接線方法具體可分為以下四個步驟：

(1)機械臂近末端攝像頭采集視頻圖像，利用自訓練卷積神經網絡檢測導線端口，并通過三角測量法對導線端進行位姿估計；

(2)在步驟1基礎上，利用多層感知機(MLP)對觸覺感知器接收到的碰撞進行分類，判斷機械臂末端是否夾住導線；

(3)根據攝像頭提供的視覺信息調整導線端位置，使得導線與連接器盡可能在同一水平線；

(4)再次根據觸覺傳感器反饋的碰撞信息，利用預先訓練好的分類器對碰撞類型進行識別，最終將導線插入對應的連接器中。

基于上述四個步驟，可完成導線的識別、抓取和插入，整個自動接線過程如圖2所示，四個步驟依次進行，接線過程融合了視覺信息、觸覺感知、深度學習和機器學習算法，大大提高了接線效率和自動化水平。

2 融合機器視覺和觸覺感知器的自動接線算法

本節主要介紹文中提出的融合機器視覺和觸覺傳感器的自動接線算法，詳細論述算法中的每一個步驟，包括線端檢測、導線抓握、位置修正及插入。此外，本節還將介紹自動接線方法中機器視覺和觸覺感知系統中采用的深度學習模型和機器學習算法。

為了更好地展示自動接線過程，理解算法中各模塊的相關性，圖2展示了整個算法的流程。各部分之間相互關聯，呈遞進關系，共同支撐起機器人自動接線系統。

圖2 自動接線流程圖

2.1 基于Faster R-CNN的電線檢測及位姿估計

在實際應用場景中，開關柜中的電線通常以統一的排列方式存儲在線槽或某個區域中，機械臂的抓手可以抓住每根電線而不會與其他電線或障礙物發生碰撞。然而，由于電線自身可能的彎曲，機器人需要定位電線端口并以足夠的精度估計其姿態，以便后續抓取、修正等操作。

該模塊主要基于目標檢測網絡Faster R-CNN完成電線端口檢測。在本文中我們創新性地引入注意力機制，以便Faster R-CNN更準確地定位電線端口位置，圖3展示了該網絡的基本架構。

圖3 引入注意力機制的Faster R-CNN目標檢測網絡結構圖

接下來，通過訓練完成的深度神經網絡來檢測導線端口的位置，并通過工控系統不斷變換機械臂位置，獲取多個2D檢測框信息。雖然某些高端攝像頭可以重建導線端口的3D信息，但這對攝像頭周圍的光線、背景等有很高要求，因此通過檢測網絡獲取的2D信息來從空間上重建目標對象的3D位置是更可靠的。在本節中，我們采用三角測量算法建立目標對象的3D坐標，理論上，如果我們已知圖像In中目標對象的齊次坐標yn，則只需要兩個視點即可獲得準確地三角測量結果。為了更準確的表示目標位置，本文將Faster R-CNN輸出的正方形檢測框的中心作為2D參考特征，對于不同角度的檢測，可以計算中心點的三角射線rn，即相機參考系中的單位向量，對應所選的二維特征如下：

rn=‖A-1yn‖

(1)

其中，A表示機械臂末端相機的內部參考系矩陣，即相機自身位置參數，相機參考系中心cn與三角射線rn共同生成3D視圖。因此，給定一組線ln，最近的點O，即是與所有線的距離最小的點，可以通過如下公式計算：

(2)

為了驗證相機從不同角度獲取的圖像對最終的檢測結果的影響，本文通過相機與端口平行和正交兩個方向來獲取圖像，并掃描紅、黃、藍三種顏色的導線，試驗中從30個不同角度收集圖像，通常情況下，當相機平行于圖像平面時可以獲得最佳檢測結果。此外，為了評估相機與目標對象間距離對檢測結果的影響，我們使用蓋洛普等人提出的立體視覺誤差算法進行估量：

(3)

其中，η是估計誤差，d表示距離，f是機器人攜帶相機的焦距，b是基線，ηt是視覺誤差。由于可以通過移動機械臂來控制相機位姿，因此可以根據實際情況選擇不同的(d,b)組合，為了計算導線端口的3D位姿，我們首先定義如下泛型函數：

υ(y0,…,yn,C0,…,Cn)=O

(4)

υ(·)為函數體，y0到yn表示n個不同圖像的二維特征，該式主要用來表示導線端口的三維向量。此外，為了更準確和直觀地建立參考坐標系，本文提出四步參考系估計法：

1)在檢測的目標區域中引入自適應閾值，只保留大于閾值的檢測框；

2)對檢測區域圖像進行二值化處理，突出導線位置和姿態；

3)旋轉檢測區域，使得導線端口與放行檢測框最近的邊保持垂直；

4)對二值圖像進行正交回歸，估算最優的擬合線：

L={x,y)|y=mx+q}

(5)

式中m和q分別表示回歸曲線的系數和偏差項。接下來，我們使用如下公式推斷導線端的二維參考系：

Hw=(yw,θw)=(yw,tan-1(m))

(6)

其中，Hw表示檢測到線端初始位置，θw表示檢測框的旋轉角度，m與公式(5)中的擬合系數相同，通過該式可得到中心齊次坐標yw，并基于公式(5)估計在機器人參考系中的3D位姿。最后，我們計算從不同視角收集的導線圖像的三維點：

Ow=υ(yw{1,…,n},C{1,…,n})

(7)

Oc=υ(yc{1,…,n},C{1,…,n})

(8)

其中，yc是從不同角度檢測到的導線端的齊次坐標。進一步，我們計算與導線終端對稱軸方向一致的單位向量以及：

(9)

線端位姿的最終估計如下：

(10)

其中，Vwz=Wwx×(±ux),ux=[1 0 0]T表示相對于機器人參考系的前進方向。

2.2 基于觸覺感知的導線抓握

眾所周知，當導線被機械手的中心位置抓握時，最容易將導線插入目標端口中。然而，這種理想情況往往很難實現，在真實場景中，導線末端處于自由空間，難免會觸碰到其他導線或障礙物。因此，本節主要在2.1節基礎上，基于已知的導線檢測和位姿估算結果，通過機器學習算法對導線與機械手的觸碰信息進行分類，進而判斷導線是否處于機械手的正確位置。

在本文中，我們選用多層感知機分類器(MLP)對觸覺感知信息進行分類。綜合考慮計算復雜度以及模型大小，MLP神經網絡由一個輸入層、兩個隱藏層和一個輸出層組成，分別對應16、8、4和2個神經元，具體結構如圖4所示：

圖4 自搭建的多層感知機結構圖

我們首先通過觸覺傳感器將觸碰信息量化成一個4×4矩陣，為了能夠將數據輸入多層感知機分類器，進一步將矩陣轉換成16維矩陣。模型輸出的是一組布爾值，b屬于0、1，1表示導線被抓握在一個合理的范圍內，0表示機械手未正確抓握導線：

(11)

其中，θ(┻Hw)表示以二維參考系┻Hw為基準的角度，lmin和lmax是相對于機械臂允許范圍內的導線終端的移動閾值。

2.3 導線端口位姿修正及插入

在導線端口位姿修正方面，本文利用距離指標來評估導線端口位姿對線插入的影響，并通過三維空間坐標系進行修正[15]。基于相機自身坐標系和機械手位置，抓取平面(即抓取后導線所在的平面)與插入處的距離可以由dw=camOzee得到，其中Ozee是相機坐標系中的z分量。得到dw值后，從齊次坐標到三維坐標系的轉換可通過公式(12)完成：

γ(y)=O=γ([αν1]T)=

(12)

其中，y=[αν1]T是二維坐標系下的齊次坐標，O是對應的三維坐標點，cx，cy，fx，fy分別是原始攝像機中的位置參數。因此，基于給定的接線端相對于機械臂末端的位置，根據上式可依次計算三維坐標系下的對應分量。參考三維坐標下的導線末端位置移動機械臂，使得導線與標準參考系保持相對一致。

在導線插入方面，為了檢測導線端口是否與接線端接觸，并在導線插入的最終階段修正導線軌跡，我們利用機器學習算法對觸覺傳感器傳回的碰撞矩陣進行分析。此外，在導線與其他物體碰撞過程中受向心力和切向力的共同作用，我們通過文獻[25]中描述的觸覺傳感器對力進行區分，因為它們分別與測量的壓力圖的對稱和不對稱變化有關。因此，在碰撞中，被抓物體(即導線)的運動方向與4×4分類矩陣提供的信號xt之間存在著很強的相關性。基于此，xt被用于訓練回歸器，該回歸器能夠輸出用于表示觸覺傳感器中碰撞力大小的標量值。

為了選擇最優回歸器，我們訓練了隨機森林(RF)，多層感知機(MLP)，支持向量回歸(SVR)三種機器學習模型，并從已知位姿和真實場景中收集碰撞數據，這些數據用于預測與沖撞力相關的真實值。圖5展示的是經過1000組數據訓練不同回歸器得到的準確率曲線，表1展示的000是在均方誤差(MSE)和動態時間規整(DTW)上的結果。通過圖表展示的結果可以看出，MLP可以更準確地量化導線端與目標接線位置的碰撞信息。值得注意的是，本階段采用回歸器來量化碰撞信息，而不是簡單地進行分類，主要是為了區分實際碰撞與摩擦。

圖5 不同模型碰撞識別對比

表1 三個模型在MSE和DTW指標上的對比結果

3 自動接線任務評估

為了驗證本文提出的自動接線方法的有效性，我們選用開關柜作為實驗場所，不僅進行了整體接線實驗，還根據算法中的主要步驟進行了有針對性的消融實驗。

首先，我們評估視覺信息對導線末端檢測的有效性。在2.1節我們介紹了視覺特征提取模型，基于Faster R-CNN進行導線檢測，圖6的柱狀圖展示的是在各個開關柜上的準確率。從圖6中展示的對比結果可以看出，五個開關柜均達到了90%以上的檢測準確率，最高的4號開關柜為93.87%，受光線等因素影響，在各開關柜上的檢測準確率略有差異。

其次，我們評估觸覺信息對機械臂末端的導線抓握，以及在導線插入時對導線角度調整的影響。圖7展示的是在標準插線流程中，多層感知機的輸出，模型的原始輸入是觸覺傳感器收集到的碰撞數據。通過曲線變化可以看出，MLP在5個開關柜中其的輸出均超過了0.5的閾值，這證明通過觸覺傳感器的指導，機械臂末端在大多數情況下可以準確抓握導線，且僅需要25s左右的時間就可以達到穩定抓握狀態。

圖6 改進的Faster R-CNN在各開關柜中導線識別率對比

此外，我們也進行了導線的角度調整實驗，圖8展示的是機械臂根據視覺信息以及三維坐標系對導線末端的角度調整，其中紅色虛線為坐標系的水平參考線，綠色線為機械臂抓握導線后的角度調整，藍色線為基于視覺信息的角度對正。通過曲線圖能夠很直觀的看到機器人能夠有效調整導線末端的角度，使得電線與參考系處于幾乎同一水平面，這給接下來的導線插入提供了良好基礎。

圖7 多層感知器在各開關柜中的碰撞檢測對比

圖8 機械臂對導線末端角度調節

最后，我們對整個自動接線流程進行測試，驗證本文提出的融合機器視覺和觸覺傳感器自動接線方法的有效性。實驗中，我們選用了直徑為2.5mm和3.0mm兩種尺寸的導線，選定五個開關柜，按照第二章介紹的算法分別完成兩種導線的接線操作，每個開關柜都對應15次實驗。受空間限制，表2僅展示了兩個開關柜的接線結果。

表2 在不同長度和角度前提下的自動接線情況

表中展示的是直徑3mm導線的接線實驗，其中e表示導線的偏斜角度，d表示導線超出機械臂末端的距離，p表示導線是否在機械臂的操作下準確插入接線孔，其中T表示準確插入，F表示未插入。通過上表列出的插入結果，自動接線的成功率被展示在表3中。

表3 各開關柜中自動接線成功率對比

通過在5個開關柜中全流程的自動接線實驗，平均接線成功率達到73.33%，開關柜4的成功率甚至達到80.00%。

基于以上實驗結果，充分證明了本文提出的自動接線方法的有效性，機器視覺和觸覺感知信息在機器人接線操作中發揮了重要作用。

4 結 論

為了提供機器人自動接線問題的解決方案，提出了融合機器視覺和觸覺傳感器的機器人自動接線方法。首先，基于改進的Faster R-CNN目標檢測模型對導線進行識別，從而實現對導線端口的定位，然后，根據觸覺傳感器獲取的碰撞信息，通過多層感知機(MLP)分類算法對碰撞類型進行判斷，以實現機械手對導線的準確抓握，最后，利用三維坐標系修正導線端口的位姿，并再次通過觸覺傳感器和帶有回歸器的MLP指導導線的最終插入。為驗證整體接線算法的有效性，基于開關柜場景進行一系列仿真實驗，所提出的方法能夠較為準確地完成導線與連接器的自動接線操作，這為開關柜等作業空間有限的工作場所提供了可靠保障，大大節省了人力，降低了人工作業風險。