機器人帶電作業中的視覺定位與優化策略

卞越洋，高曉科，張偉軍

(上海交通大學機械與動力工程學院，上海 200240)

0 引言

在電力作業中，一個重要內容就是將電流從高壓線引流到各工廠、小區等用電場所。為了保證生產生活的不中斷，需要在帶電情況下完成作業，這對操作的精確性和安全性帶來了很大考驗。當前，操作員需要乘坐十幾米高的升降平臺，靠近高壓電線，近距離手動完成高壓帶電作業。在帶電情況下，人工操作十分危險，已有多起人員傷亡事故。因此，用機器人遠程作業成為一種緊迫的替代方案[1]。

另一方面，隨著經濟發展和科技進步，機器人作業應用在越來越多的場景中，尤其是在一些危險環境中，機器人技術的應用有效降低了人員傷亡，提高了工作效率[2]。當前主流的做法是操作人員通過人眼觀察位置，遠程操作機器人，但人眼遠距離觀察，并不能得到較為精確的目標位置[3]。通過機器視覺技術，讓機器人自主定位目標，自動化完成作業，是未來發展的方向。

在引流作業場景下，需要將電流從10 kV的高壓電線上引導到跌落式熔斷器上。完成作業的前提是，精確識別出2個目標物體，即熔斷器和高壓線纜。為解決帶電作業場景下的熔斷器和線纜的識別問題，可以利用機器視覺技術，通過視覺算法，從相機圖像中識別出目標物體。通過相機參數的標定和坐標系之間的轉換，得到目標物體在空間中的位置，給作業機械臂提供定位指導，進而完成自動化作業的目標。

本文在形狀匹配算法的基礎上，提出了一種分塊和拼接策略，很大程度上解決了目標物體變形、遮擋等問題，提高了算法的準確率和魯棒性。

1 帶電作業機器人系統

本文設計的視覺輔助系統將應用于高壓帶電作業機器人系統。帶電作業機器人系統主體是1個升降平臺，平臺上裝有3個機械臂，2個為作業機械臂，1個為視覺觀察臂，觀察臂上裝有深度相機。平臺上還裝有作業工具，包括自動剝線器、驗電筆和線夾等。作業臂負責進行帶電作業，其中一個裝有線夾，負責固定住線纜，防止晃動，另一個作業臂負責從工作臺上取放工具，完成剝線、引線。整體系統如圖1所示。

自主帶電作業主要分為2步：第1步，根據深度相機獲取到的圖像和視覺匹配算法，定位到熔斷器和線纜的精確位置，發送給作業機械臂；第2步，作業機械臂按照一定的順序從平臺取工具，并到指定位置完成剝線、引流等預設任務。本文主要研究熔斷器和線纜的定位問題。定位主要流程如圖2所示。

圖2 視覺定位整體流程

2 視覺算法設計

視覺算法的目標是自主識別出目標物體，在本文中為預設的熔斷器和線纜，并指明它們在空間中的坐標位置。因視覺系統涉及到世界坐標系、末端坐標系、相機坐標系和像素坐標系之間的轉換，所以要明確物體的空間位置，需要計算出坐標系之間的位置關系，可以利用相機標定來確定[4]。針對目標物體識別問題，本文基于形狀匹配算法來實現。

2.1 相機參數標定

標定是通過實驗的方法，計算出對相機參數的估計。相機參數包括內參和外參。假設世界坐標系原點位于機器人的基座上，世界坐標系與機器人末端坐標系之間的轉換關系可由機器人的關節參數求得。利用相機內參，可以求得相機坐標系、像素坐標系之間的轉換。設相機坐標中的點P坐標為(xc,yc,zc)，對應的像素坐標為(u,v),轉換關系為

(1)

K稱為內參矩陣；fx,fy為相機焦距；u0,v0為坐標原點偏置。內參矩陣表征相機自身的特性，采用張正友標定法進行標定，將黑白棋盤標定板固定于1個平面上，從不同角度拍攝若干張圖像，檢測出棋盤格的角點，得到1組非線性方程組。應用最小二乘法求出相機參數，并使用極大似然估計法提高精度。內參標定只需進行1次。

外參矩陣確定了相機坐標系與末端坐標系之間的轉換關系，與相機安裝位置相關，需根據不同應用場景分別標定。本文采用eye in hand標定方法[5]，將相機固定于機械臂末端，標定板固定于基座，如圖3所示。 標定過程中，標定板位置保持不變，多次移動機械臂，獲取標定板圖像。

圖3 手眼標定坐標系

本文使用Ensenso N35相機，采用halcon標定板，在機械臂不同位姿下拍攝15～20張圖片，通過計算求解出世界坐標系到相機坐標系的轉換矩陣T。該轉換矩陣保持不變，因此任意2次標定滿足關系式

(2)

由于相機與機械臂末端相對位置固定，即

(3)

因此，可變換得到關系式為

(4)

AX=XB

(5)

式(5)可通過Tsai-Lenz算法[6]求解X，通過標定得到相機坐標系與末端坐標系的轉換關系為

(6)

(xc,yc,zc)為相機坐標系中的1點；(xe,ye,ze)為末端坐標系中的對應點。

2.2 形狀匹配原理

形狀匹配是模板匹配的1種，將梯度方向作為匹配特征，可以在光照強度變化、背景干擾較大的情況下取得較好的匹配效果[7]。首先選取需要識別的目標物體，即模板，使用目標物體上的1組特征點pi=(xi,yi)和其對應的方向di=(cosθi,sinθi)來描述目標物體，其中θi為特征點的梯度方向。特征點和方向可由邊緣檢測、線段檢測算子來產生。在匹配時，將模板作為滑動窗口依次在當前圖像中平移，計算每次比對的相似性，相似性最高的位置即為目標物體所在位置。設(x,y)為圖像中1點的坐標，其中相似性計算公式為

(7)

e(x,y)+pi為待匹配圖像對應位置處的梯度方向；n為所有特征點個數。相似性即為模板圖像與待匹配圖像對應位置方向的余弦值的平均。

實際匹配過程中，通過打分的方式統計相似度。設相似度閾值為μ，對于C(x,y)≥μ，將該位置放入候選集合中，否則跳過。

設候選集合為S,利用非極大值抑制法(NMS)去除冗余的候選框，得到最終的匹配結果。

考慮到實際得到的圖像存在大小和角度的變化，創建模板時，還需要將模板分別進行旋轉和縮放處理。將模板以1°為步長，旋轉360°，形成360張模板，再將每個模板以0.1為步長，從0.8～1.2縮放，總共形成360×5=1 800張模板，對每張模板進行特征點梯度方向記錄。這樣，在實際匹配時，能滿足各個角度和一定范圍內的縮放情況，達到較好的匹配效果。在匹配時，為了加快匹配速度，以達到實時性要求，采用了均勻選取特征點、圖像金字塔和梯度方向量化等加速方法[8]，在這里不展開討論。經過加速過程，可以達到實時性的要求。經測試，在100萬像素下，2 000個模板的提取特征過程耗時為60 ms，匹配過程耗時僅為15 ms。

3 定位優化策略

形狀匹配算法在目標物體識別上取得了較好的效果。在實際匹配時，熔斷器和線纜都可能與訓練時的形狀不完全相同。例如，拍攝時的視角變化導致成像變形，熔斷器各組件之間存在相對位移，線纜可能存在彎曲等。本文針對這類問題，提出了一種基于分塊和拼接的匹配算法，該算法通過“化整為零”的思想，將目標物體的識別轉化為特征塊的識別，再通過特征塊之間的相對位置進行拼接。這種算法在很大程度上避免了物體形變的問題，大大提高了算法的魯棒性和識別的準確率。

另一方面，形狀匹配算法在匹配時考慮旋轉和縮放因素，其角度和大小的采樣是離散的，因此帶來了一定的匹配誤差。本文采用最小二乘法進行優化，在匹配結果附近，搜索最接近的實際邊緣點，可以將姿態估計的精度提高到亞像素級，提高了定位精度。

3.1 分塊與拼接策略

分塊與拼接匹配算法分為3個步驟:第1步，選取輪廓形狀特征明顯的特征塊，記錄形狀特征數據；第2步，基于形狀匹配原理，在待匹配圖像上定位出特征塊；第3步，將多個特征塊拼接，識別出完整的目標物體位置。

針對特征豐富、體積較大的物體，如本文中的熔斷器，選取多個特征塊。匹配時，在獲取到的圖像中分別匹配每個特征塊。

拼接時，考慮各特征塊之間的相對位置關系，如圖4所示。最接近原有位置關系的特征塊組合更可能是目標物體。

圖4 特征塊位置關系

假設有k個特征塊，每個特征塊都有1個候選集合Φ。取任意2個特征塊i,j,設圖像中i和j的中心距離為dij，相應地，模板圖像中i和j的中心距離為di,j(s)。定義距離的平均變化率為

(8)

在每個特征塊的候選集合中選出1個特征塊，組成1種組合,式(8)表示該組合的平均距離變化率。

設每個特征塊的候選個數為φ1,φ2,…,φk,則共有φ1·φ2…φk種組合。對每種組合，計算平均變化率。平均變化率最小的組合作為匹配結果。

設定平均變化率閾值μ=0.2，若最小的變化率仍大于0.2，表示未識別到目標物體。

針對特征點較少，由單一特征塊組合而成的目標物體，如高壓線纜，選取重復部分作為特征塊，這里選取一小段線纜。拼接時，首尾相連的若干個小段線纜更可能來自1條長線纜，如圖5所示。

圖5 特征線纜拼接

匹配線纜之前，對深度圖像預處理，通過中值濾波和聚類的方式，去除環境噪聲。制作小段特征線纜時，根據所采用的線纜尺寸，設定50 mm寬度、250 mm長度的矩形作為特征，并記錄各個角度和不同尺寸下的模板數據。

設線纜直徑為D，任意小段線纜為A和B，方向向量為ρa和ρb，A與B之間距離為dab，判定規則為

(9)

滿足判定規則的任意2條小段線纜可看成是同一條線纜。由此對于識別到的所有小段線纜c1,c2，…，cn,可構成1個鄰接矩陣A，即

(10)

利用圖理論知識，使用深度優先搜索(DFS)，可得到若干條路徑，其中的最長路徑認為是識別到的線纜。

3.2 精度提高策略

在訓練特征時，對模板特征進行了旋轉和縮放，記錄了不同角度和尺寸下的特征數據。由于角度和尺寸是離散取樣的，所以可能與實際情況有輕微偏差，造成誤差。為了提高精度，在特征匹配完成后，采用最小二乘法對特征點的位置進行優化。通過邊緣檢測算子，提取到實際圖像中的邊緣點。對匹配得到的特征點，搜索距離其最近的邊緣點。由匹配到的1組點和實際的1組點的關系，求得變換矩陣。

設形狀匹配算法描述的目標物體為1組特征點pi=(xi,yi)，對應方向為di=(cosθi,sinθi)，并設實際圖像中的對應組特征點為qi，pi到qi的轉換矩陣為

(11)

x0,y0為平移量；θ0為旋轉量。

則最小二乘法的目標函數χ2可表示為

(12)

由最優化理論可知，目標函數的最小值為

Tmin=-H-1χ2(T)

(13)

Tmin為目標函數取得最小值時T的取值；H為Hessian矩陣；χ2(T)為目標函數的梯度。通過數值迭代法可得到T的最優解。此時，在T的變換下，能更加準確地找到實際特征點的位置，從而提高目標物體的位置精度。

4 實驗驗證與性能分析

本次實驗的機器人選用UR10，相機選用Ensenso N35雙目相機。

首先依據分塊匹配策略，熔斷器選擇3個特征塊分塊匹配，線纜截取小段線纜作為特征匹配，特征如圖6所示。

圖6 實驗選取的特征塊

訓練完成后，開始進行實時匹配。相機將拍攝到的實時圖片傳回，算法程序實時匹配，并將結果顯示在當前的程序上。從實驗結果可以看出，盡管每個特征塊都匹配到若干個候選圖形，但經過分塊組合的策略，最終都能確定出目標物體的位置。圖7顯示的是實時匹配結果。

圖7 實時匹配結果

總體實驗結果表明，總體匹配成功率達99%以上，識別成功率高，且實時性好。因此在帶電作業機器人的實際應用時，可以滿足工業需求。

為了衡量算法的重復匹配誤差，記錄了多次匹配的結果，以檢驗誤差的范圍。對線纜，記錄了5次實驗的結果，如圖8所示。其中，每次匹配得到的線纜由1組點集表示，點集中的每個點pi=(xi,yi,zi)表示小段線纜的中心位置。5次匹配得到的線纜如圖8a所示。取線纜相同位置作為衡量標準，5次實驗的方差為7.82 mm，誤差不超過6.00 mm。

圖8 多次匹配結果比較

對熔斷器，記錄了15次匹配結果，以幾何中心代表物體位置，如圖8b所示,方差為2.17 mm，匹配得到的誤差不超過7.00 mm。匹配精度在mm級別，達到了工程上的精度要求。

經過實驗驗證，將視覺匹配算法得到的目標物體位置發送給作業機械臂，能夠精確地到達指定位置，并完成作業。

5 結束語

本文著眼于帶電作業機器人的視覺識別與定位問題，分析了相機標定原理，完成機器人內參標定和手眼標定，實現在機器視覺中各坐標系之間的轉換。基于形狀匹配算法，提出了分塊與拼接匹配策略，使視覺識別具有快速、準確和適應性好的優勢。通過最小二乘法和最優化理論，減小了識別誤差，提高位置精度。針對帶電作業環境，以跌落式熔斷器和高壓線纜為目標物體，應用本文算法，通過實驗驗證了該算法的可行性和優越性。