面向柔性導線涂覆作業的機器人視覺檢測與定位方法

饒成龍，宋屹峰，趙娟平，王俊彭

(1.沈陽化工大學信息工程學院，遼寧沈陽 110142；2.中國科學院沈陽自動化研究所機器人學國家重點實驗室，遼寧沈陽 110016；3.中國科學院機器人與智能制造創新研究院，遼寧沈陽 110169)

0 前言

隨著社會的快速發展，電力能源的使用愈加頻繁，配電網線路快速增長。以端側線路為例，架空裸導線是發電端到達用戶端的通道，其應用與居民生活緊密相關。架空裸導線沒有絕緣外皮保護，極易出現氧化腐蝕現象，在人群密集區域容易發生電力安全事故，缺乏對突發事件的防御能力，對人民群眾的人身安全具有較大危害[1-5]。因此，對裸導線進行絕緣化處理具有極大的現實意義[6-7]。

較早裸導線絕緣化技術是直接通過人工配備防護工具來進行不停電作業，這種作業方式危險性極大，直接影響到作業人員的生命安全。同時，人工作業人力成本高、勞動強度大、工作效率低以及面臨高空高壓的危險環境[8-10]，難以實現電力設備絕緣化大面積普及。

故此，架空裸導線絕緣化作業任務機器人應運而生，代替人工完成裸導線絕緣化的工作。華北電力大學研制了一款10 kV架空線絕緣修復機器人[11-12]，能對絕緣導線破損處包裹新的絕緣皮，完成線路修復。西南交通大學設計了用于架空裸露導線的自動絕緣包裹機器人[13]，能有效地對架空裸露導線包裹，實現自動化運行與帶電操作。

目前利用電力機器人對裸導線絕緣化作業存在著涂覆不均勻現象，在質量上難以管控。而當下，視覺已經被廣泛應用于電力機器人的研究[14-18]，具體包括視覺引導[19]、越障[20]、障礙物識別定位[21]。

美國伊利諾伊大學提出了一種智能檢測框架，基于安裝雙目視覺傳感器的塔監測圖像數據，檢測柔性線路植被侵占情況，有效避免了植被與電力線路的接觸[22]。上海交通大學利用一種實時在線維護操作機器人，實現戶外柔性電纜的識別與定位，自動完成電纜的剝皮、切割與電氣檢查等任務[23]。沈陽自動化研究所使用了一種基于視覺的電力線路機器人斷線檢測方法，可有效識別柔性導線上的線路斷股和障礙物，完成故障線路的檢測[24]。

以上研究都是將柔性線路當作了剛性環境處理，而忽略了其本身所具有的柔性特性。由于機器人在作業過程中會引起線路變形，從而導致機器人運動路徑發生偏差，影響了機器人工作狀態。

針對以上問題，本文作者提出一種面向柔性導線涂覆作業的機器人視覺檢測與定位方法，在考慮配電網線路因柔性變形的影響下，實現觀察臂對涂覆機器人的實時跟蹤與定位，從而觀察涂覆機器人的運動狀態以及柔性導線的涂覆情況。根據涂覆機器人位置的改變實時調整觀察臂位姿狀態，有效觀察涂覆機器人涂覆導線的狀態，以調整自身位姿，從而具備外部環境的適應能力。

1 涂覆機器人模型及運動原理

1.1 涂覆機器人系統

如圖1所示，帶電作業涂覆機器人系統主要由涂覆機器人、觀察臂以及單目攝像機組成。涂覆機器人對電纜進行涂覆，完成裸導線絕緣化工作；觀察臂具有6個自由度，協助涂覆機器人掛線以及實現自動跟隨涂覆機器人運動；觀察臂自身攜帶的單目攝像機可精準定位涂覆機器人，對涂覆機器人的涂覆狀態進行有效的評估。

1.2 機器人上線流程

為了讓涂覆機器人能夠安全到達柔性配電線進行涂覆作業，需要完成以下操作來實現涂覆機器人的安全掛線：

(1)首先將觀察臂與涂覆機器人放在絕緣斗臂車的工作平臺上，然后利用絕緣斗臂車的升降機構把涂覆機器人與觀察臂放到柔性配電線的水平安全距離。

(2)利用觀察臂自身所攜帶的夾爪將涂覆機器人的升降機構(掛鉤)掛在配電線上，利用升降機構的電機將涂覆機器人上升到配電線，實現自動掛線。

(3)找準限位孔，將配電線卡在涂覆機器人的限位孔中，根據柔性配電線的直徑，調整限位孔大小，完成進線過程。

涂覆機器人上線流程如圖2所示。

圖2 涂覆機器人上線

1.3 涂覆運動過程

涂覆機器人行走會致使柔性配電線發生形變，改變柔性配電線在水平位置的位姿，影響涂覆機器人作業的涂覆距離以及涂覆的狀態。因此，采用視覺定位涂覆位置點和跟隨涂覆機器人，有效調整觀察臂的位姿，從而觀測柔性配電線形變對涂覆狀態的影響。如圖3所示，其涂覆運動具體如下：

圖3 涂覆機器人涂覆運動

(1)利用觀察臂對涂覆機器人的初始狀態進行標定，儲存初始狀態信息。

(2)涂覆機器人前進過程中噴涂裝置自動出料，為配電線涂覆，實現裸導線絕緣化。

(3)根據配電線的涂覆狀態，利用觀察臂對涂覆的情況進行目標定位。

涂覆機器人在柔性配電線上行走，攝像機對獲取的圖像實時更新，不斷確定空間中新的位置點，確定配電線涂覆位置點，實時監控配電網線路的涂覆狀態。

2 基于柔索環境下的視覺定位原理

涂覆機器人以一定的速度沿柔性配電網線路前進，觀察臂識別涂覆位置點，實時定位并跟隨運動。如圖4所示，整個視覺定位系統包括感知子系統與控制子系統兩大部分。感知子系統主要是觀察臂對涂覆位置點進行實時定位，通過相機標定對涂覆位置點實時跟蹤。控制子系統根據涂覆位置點的位置信息，與期望的位置信息進行比較，通過PID視覺伺服控制器快速控制系統穩定，利用圖像雅可比將圖像信息差值轉化為觀察臂末端的速度。再利用觀察臂雅可比矩陣將末端速度轉化為各個關節速度，通過觀察臂的伺服控制器將各關節角度信息傳輸到觀察臂本體，讓觀察臂實時跟蹤目標。其中，該系統利用了閉環控制，保證運動控制的精準性。

圖4 系統控制框圖

2.1 手眼成像模型

圖5所示為攝像機與標定板的模型，包括攝像機、目標標定板以及攝像機成像平面。a為機器人未工作時柔性電纜的初始狀態，b為機器人涂覆作業時柔性電纜發生形變的狀態。其中{OL}為標定板與箱體接觸平面的參考坐標系，{OC}為攝像機坐標系，{XOY}為圖像物理坐標系，{Of}為圖像像素坐標系。P為標定板在攝像機坐標系上面一點，其在圖像物理坐標系和圖像像素坐標系中的坐標分別為P1(X1,Y1)和Pf1(u1,v1)。根據中心透視投影關系模型，可得

圖5 手眼成像模型

(1)

(2)

式中：(u0,v0)是{XOY}坐標系原點在{Of}坐標系下的中心點；fx、fy、u0、v0為攝像機的內部參數；R、T為攝像機的外部參數。

2.2 柔索環境下的視覺定位

2.2.1 特征提取

對目標點位置進行有效定位與跟蹤，則有如下的處理過程：

涂覆機器人沿著裸導線進行作業，觀察臂所攜帶的攝像機采集視野中的圖像，計算每張圖像所對應的攝像機外部參數矩陣。同時，每一次圖像采集并記錄其對應觀察臂末端的位姿矩陣。通過圖像處理來計算目標點的位置信息，其處理過程如下：

(1)首先對采集的彩色圖像進行預處理，利用圖像灰度化，減弱背景環境對標定板的影響。

(2)對標定板進行角點提取。首先對標定板角點進行粗提取，確定角點處于可提取的范圍之內；然后對粗提取的角點進行精提取，保證提取的精度；最后，遍歷標定板，提取全部角點。

(3)對提取的角點進行標定。利用OpenCV的solvePnP函數對提取的角點進行實時標定，對標定的參數進行羅德里格斯轉換，計算基于攝像機坐標系下的R與T。

2.2.2 圖像雅可比矩陣

(3)

由公式可知

(4)

對u求導則有

(5)

將式(3)代入式(5)可得：

(6)

(7)

(8)

其中：Ji為圖像雅可比矩陣：

(9)

因此觀察臂末端速度可為

(10)

其中：e為圖像物理坐標系下當前位置與期望位置的圖像特征差。

2.2.3 觀察臂雅可比矩陣

由觀察臂末端速度可知觀察臂的運動狀態，但所輸入到關節的變量為關節速度變量，因此需要將物理世界坐標系下的末端速度轉化為觀察臂的關節速度。

(11)

其中：Jr為觀察臂雅可比矩陣。

(12)

利用觀察臂的位置信息來求解自身的運動學逆解，從而獲取各個關節的角度信息。

2.3 基于PID方法的伺服控制器位姿調整

圖6 攝像機位姿調整

(13)

式中：Kp為比例控制參數；Ki為積分控制參數；Kd為微分控制參數。

圖像空間中攝像機隨著標定板的移動，其視野中標定板位姿偏差可如圖6所示。其中定義標定板相對于攝像機的縱向中心線偏移角度為θk，標定板相對于攝像機的橫向中心線偏移角度設定為λk，標定板相對于攝像機的橫向中心線偏移距離設定為γk，[θkλkγk]T定義圖像空間中特征變化，[ε1ε2ε3]T為圖像空間中特征變化的極限值。當涂覆機器人工作時，觀察臂亦跟隨運動，不斷調整自身位姿，使標定板處于攝像機范圍內。如圖6(a)所示，首先調整攝像機在縱向的偏角θk，當θk<ε1時，如圖6(b)所示，調整攝像機在橫向的偏角λk；θk<ε1且λk<ε2時，如圖6(c)所示，調整攝像機在橫向的平移γk；θk<ε1且λk<ε2且γk<ε3時，如圖6(d)所示，為攝像機對準標定板，完成標定板的實時定位，即與配電線進行了實時定位。

3 實驗研究

3.1 實驗場景搭建

為驗證所設計的面向柔性導線涂覆作業的機器人視覺檢測與定位的準確性以及有效實施的可能性，在實驗室搭建配電線的實驗場景，如圖7所示。

圖7 實驗室場景

3.2 實驗測試

在實驗中讓觀察臂能準確定位與跟隨到涂覆機器人，保證攝像機能夠跟蹤圖像平面中的特征點，從而引導觀察臂末端執行器在空間中移動，以實現柔性導線下對機器人的定位與跟蹤。觀察臂在檢測與定位涂覆機器人的過程中，會因為涂覆機器人的運動以及攝像機視野范圍的變化，從而丟失目標，故而在實驗環境中對觀察臂的工作區間有所限制，從而確保觀察臂對機器人的實時跟蹤。其中觀察臂在實驗環境中所調整的偏角θk、λk可在[-45°，45°]之間變化，橫向偏移距離γk的變化范圍為[-320，320]pixel。實驗中所允許ε1、ε2的偏角誤差范圍為[-1°，1°]，ε3的偏距誤差范圍為[-20，20]pixel。

圖8展示了涂覆機器人在實驗室環境下的運動狀態。在運行過程中，觀察臂對運動中的涂覆機器人進行了定位與跟蹤。

圖8 涂覆機器人運動

觀察臂對初始位置進行初始化標定之后，然后跟蹤涂覆機器人。經過多次實驗反復驗證可知，涂覆機器人沿柔性裸導線前進涂覆，觀察臂對動態的標定板進行實時檢測與定位，不斷調整自身位姿，與涂覆機器人保持一定的狀態。當觀察臂攜帶的攝像機正對標定板時，此時對涂覆機器人的檢測與跟蹤效果最佳。

3.3 實驗結果分析

圖9展示了觀察臂實時運動過程中各個模塊參數的變化。圖9(a)為觀察臂所攜帶的攝像機觀測到涂覆機器人的位置誤差，通過攝像機前一幀圖像的空間位置與后一幀圖像的空間位置進行求差值得到。隨著空間中位置差值的減小，觀察臂逐漸跟蹤到涂覆機器人并正對著標定板；圖9(b)為觀察臂的各個關節速度，利用觀察臂末端速度經觀察臂雅可比矩陣轉化為關節速度；圖9(c)為觀察臂實時運行跟蹤涂覆機器人所產生的軌跡。

圖9 觀察臂實時的參數變化

此實驗主要采用的方法是涂覆機器人在不同速度下利用觀察臂對涂覆機器人的檢測與定位。同時考慮到實驗環境中光照強度會影響觀察臂對機器人涂覆狀態的觀測效果，故采用了在光照比較合適的環境中實現對涂覆機器人的定位與跟蹤。

表1中，針對涂覆機器人在不同速度下，利用觀察臂在不同偏距、偏角下調整觀察臂位姿來檢測跟蹤涂覆機器人。

表1 觀察臂跟蹤時間

在現場實驗中選取一組觀測效果較好的數據，當涂覆機器人速度處于0.04～0.06 m/s，檢測與定位狀態最好，觀察臂能夠快速檢測并跟蹤涂覆機器人運動。此時偏角與偏距較大時(|θk|>25°，|λk|>25°，|γk|>200 pixel)，觀察臂需要超過3.5 s來調整自身位置，實現柔索下機器人的檢測與跟隨；當偏角與偏距較小時(|θk|<10°，|λk|<10°，|γk|<80 pixel)，觀察臂只需在2.5 s內即可調整自身位姿，實現柔索下機器人的檢測與跟隨。實驗結果表明：基于視覺定位跟蹤的方法是可行的，能夠有效地實現對目標位置的定位。

4 結論

針對柔索環境下涂覆機器人運動導致柔索發生變形致使目標發生變化，提出一種面向柔性導線涂覆作業的機器人視覺檢測與定位方法。圖像處理方法簡潔有效，特征點提取準確，減少了每次圖像處理的計算量。綜合考慮了柔性導線位置與姿態對涂覆機器人姿態影響，利用PID方法對觀察臂姿態進行穩定性控制，實現觀察臂對涂覆機器人的實時跟蹤與定位，具有很強的工程可行性。實驗結果驗證了視覺定位跟蹤的準確性與可行性。