智能化視覺系統在配電網帶電接火上的應用

陳盛慧，葉良，徐光年，陳寒鈺

(浙江華云信息科技有限公司，浙江 杭州 310000)

0 引言

電力工業是國民經濟持續快速發展的基礎。隨著社會經濟的快速發展，人民生產生活對于電力的需求越來越高。配電網處于電力系統末端，是保證電力持續供給的關鍵環節，其可靠性在整個供電系統中占有非常重要的位置。配電線路進行不停電檢修是近年來電力設備檢修的趨勢[1]。帶電進行電力設備檢修是對其升級改造、實現不間斷供電的重要方法。目前，配電網線路帶電進行斷接引流線作業大多采用人工作業[2-3]。

我國從20世紀末開展配電網帶電檢修以來，主要采用傳統方法，即作業人員穿戴絕緣屏蔽服，使用絕緣手套直接接觸高壓線或使用電力金具等設備進行帶電接火。21世紀初有部分地區開展過采用絕緣操作桿進行配電網帶電斷接引流線作業。但是配電網線路通常十分緊湊，線路相間距離小，作業人員帶電接火時易造成短路從而引發人身傷亡等事故。

為滿足工業生產及人民對電力持續供應的條件，由機械手接火代替人工接火具有極其廣闊的應用前景，而視覺輔助機械手協同控制是實現機械手代替人工的關鍵技術。基于上述需求，本文依據圖像分割、目標檢測、多視幾何等計算機視覺技術，解決導線與背景的分割、導線位姿的估計、線夾穿線位置的定位等自動化帶電接火難題。為實現自動化、智能化的帶電接火模式提供有力的技術保障。

1 帶電接火智能化視覺系統設計

整個系統主要由2個機械手以及若干作業工具組成，每個機械手攜帶1個單目相機，控制臺搭載1個云臺相機。

帶電接火任務主要完成導線剝皮、引流線穿入緊固線夾、緊固線夾螺栓等任務，視覺系統在其中起到了“人眼”的功能：

1)通過計算機圖像分割技術將導線從復雜背景中分離，計算導線相對于相機的姿態。

2)通過YOLOv4目標檢測技術，實現引流線穿線位置的檢測以及位姿的調節。

2 導線檢測與姿態估計

2.1 目標導線分割與導線擬合

對灰度圖像進行二值化的基本思想是確定一個閾值，然后把每個像素點的灰度值和閾值比較，根據比較的結果把該像素劃分為兩類：目標和背景[4-5]。

設原始圖像為f(x，y)，二值化分割圖像的方法為：

(1)

式中：f(x，y)表示圖像中坐標(x，y)處的像素值；g(x，y)表示二值化處理后的圖像中坐標(x，y)處的像素值；T是二值化分割閾值。

算法根據以像素點為中心內的鄰域內的均值與方差共同決定該中心像素的二值化分割閾值。以(i，j)為中心、大小是k×k的窗口為例，這個窗口內各個像素灰度值的高斯加權均值為m，方差為s，該點的閾值T為：

T=(1-r)×m+t×s

(2)

式中：t為調整量，取t=-0.2；r為均值加權系數，取r=0.9。

在相機觀測的范圍內導線可以近似成直線處理。由導線目標分割的結果得到導線的像素坐標集合為

{(x1y1)，(x2y2)…(xnyn)}|(xiyi)∈L

(3)

采用最小二乘方法[6]實現直線的擬合，假定待擬合直線方程為φ(x)=ax+b，則偏差記為ei=yi-φ(xi)，因此可以得到待優化的目標為

(4)

分別對參數a、b求偏導可以得到：

(5)

(6)

轉化為矩陣，表示為：

(7)

通過矩陣運算可以得到待剝皮導線的直線方程φ(x)=ax+b。

2.2 導線位姿計算

根據剛體坐標變換理論，估計導線姿態相對A相機坐標系的關系(圖1)，等效于導線坐標系相對于A相機坐標系發生了一次旋轉和一次平移[7-8]。

X=RX′+TP

(8)

其中：R為旋轉矩陣；TP為平移向量；X′為變換前空間坐標；X為變換后空間坐標。

圖1 導線坐標系與相機坐標系A和B的姿態關系

相機A負責計算導線相對于A相機坐標系轉化到導線坐標系時z軸的歐拉角，相機B負責計算導線相對于A相機坐標系轉化到導線坐標系時x軸的歐拉角。

逆時針旋轉的角度為正(與右手系旋轉方向相同為旋轉正方向)，繞不同軸的旋轉結果：

(9)

(10)

(11)

式中：α、β、γ分別為導線坐標系變換到A相機坐標系時的z-y-x歐拉角。導線坐標系變換到A相機坐標系時變換矩陣R=Rx·Ry·Rz。如控制機械手運動變換矩陣R，此時可以保證相機坐標系與剝皮導線坐標系姿態一致。

2.3 雙目測距

雙目測距是基于小孔成像原理建立世界坐標與像素坐標之間的關系[9]。根據張正友標定方法[10-11]可以簡單、有效地得到相機的內參，包括焦距f，光心的像素坐標u、v。雙目測距的示意圖如圖2所示。

圖2 雙目測距示意圖

圖2中P是導線上的一點，OR與OL分別是兩個相機的光心，點P在兩個相機虛成像平面(虛成像平面是成像平面相對于光心翻轉)上分別為P1和P2，f為相機焦距，B為相機中心距，Z為深度信息，像點P1和P2的距離為雙目的視差。

dis=B-(XR-XL)

(12)

根據相似三角形原理得到：

(13)

(14)

公式中焦距f和攝像頭中心距B可通過標定得到，因此，只要計算XR-XL(視差)的值以及P點的像素相對于光心(u，v)的偏移坐標位置(x，y)，根據相機標定得到的焦距以及式(15)即可計算得到點P的空間坐標(X，Y，Z)。

(15)

機械手A在初始狀態拍攝照片M0，隨后沿相機坐標系的x軸方向，保持相機姿態不變，以直線運動Δxcm拍攝照片M1。則M0和M1構成了光心距離為Δxcm的雙目系統，根據兩次圖像的視差可以計算導線上任意一點的空間坐標(X，Y，Z)。

3 線夾穿線位置檢測

3.1 YOLOv4目標檢測

緊固線夾穿線位置識別屬于目標檢測范疇，傳統的方式是基于邊緣、形狀分割的方法，容易受到光線及復雜背景影響，識別魯棒性差。深度卷積神經網絡由于能夠自主完成對目標特征的學習，提取關鍵信息，因而具有較強的魯棒性。近年來，基于卷積神經網絡的目標檢測算法主要依托兩種思路，一種是基于目標候選框思想的 two-stage，另一種是基于回歸思想的 one-stage。two-stage 先提取目標候選框，再在其基礎上訓練檢測模型，如 Fast R-CNN、Faster R-CNN 等[12-13]。而 one-stage 則沒有了目標候選框提取操作，直接利用檢測網絡產生目標的類別和位置信息，擁有更高的檢測速度，如SSD、YOLOv3、YOLOv4等[14-15]。

YOLOv4的主干網絡CSPDarknet53是算法的核心，用來提取目標特征。YOLOv4在Darknet53的每個大殘差塊上加上CSP，將基礎層的特征映射劃分為兩部分，再通過跨階段結構合并。YOLOv4通過一系列模型架構設計以及模型訓練技巧的配合下，在減少計算量的同時保證了模型推理的準確率。

本文基于YOLOv4，推理預測圖像中是否存在緊固線夾，如果存在，則預測引流線穿線位置的中心以及中心與輪廓邊緣的距離，故本文YOLOv4中每個Cell預測:

[x，y，w1，w2，h1，h2，confidence]。

其中x、y為引流線穿線位置的中心；w1、w2分別為中心坐標與左邊緣和右邊緣距離；h1、h2分別為中心坐標與上邊緣和下邊緣距離；confidence為邊框的置信度分數。

3.2 數據收集與處理

本文訓練和測試數據通過單目相機在實驗場地拍攝采集，共組成4000張圖片。為了獲得更好的訓練效果，采用Mosaic數據增強的方式，對數據集隨機選取4張圖片，隨機縮放，再隨機分布進行拼接。這樣不僅大大擴充了原始采集的數據集，而且還豐富了圖片的背景，因而平衡了原始數據集目標尺度問題，提高了訓練網絡的魯棒性。

4 視覺引導實驗

4.1 視覺引導導線剝皮作業

通過機械手A上的單目相機，采集到當前時刻待剝皮導線的圖像數據(圖3)，經過圖像的自適應二值化，聯通區域篩選等操作，得到直線的二值化圖像(圖4)。通過最小二乘直線擬合計算得到當前時刻導線的傾斜角分別為14.48°與62.68°(圖5)，即繞x軸旋轉了14.48°，繞z軸旋轉了62.68°。

圖3 原始圖像

圖4 二值化圖像

圖5 最小二乘直線擬合結果

根據公式R=Rx×Ry×Rz可以計算得到旋轉矩陣R為

通過機械手A的控制柜，運動變換矩陣R，此時保證相機平面y軸與導線平行，相機平面x軸與導線垂直。控制機械手沿著x軸方向(垂直導線方向)分別運動10cm和20cm，采集相應的圖像數據(圖6)。

圖6 沿相機x方向機械手平移10cm和20cm的原始圖像

同樣對圖像進行二值化(圖7)、最小二乘擬合等操作，得到任意兩幅圖像間的視差后，根據雙目視覺原理估計導線相對于相機的位置信息(表1)。實際測得導線與相機平面距離為68.5cm，導線與相機x軸平均距離為8.6cm。

圖7 沿相機x方向機械手平移10cm和20cm的二值圖像

表1 平移10cm和20cm雙目測距結果

根據估計得到導線與相機平面距離和導線與相機x軸距離以及機械手與相機的裝配位置，進一步計算出導線相對于末端作業工具的位置。將計算結果(平移變換向量T)傳入機械手控制柜完成相應運動，待機械手運動到指定置位，配合作業工具完成導線剝皮工作，并且記錄當前導線剝皮的坐標(X，Y，Z)，即是線夾待安裝的位置。

4.2 視覺引導引流線穿入線夾作業

通過機械手B上的單目相機，采集到當前時刻線夾作業工具的圖像數據，通過YOLOv4模型推理預測結果。矩形區域(機械結構的喇叭口位置)為模型推理預測結果(圖8)。控制機械手B根據w1和w2、h1和h2的大小關系，調節機械手使得w1=w2，h1=h2；然后控制機械手B將引流線穿入線夾內，完成引流線穿線工作；最終機械手A將裝有線夾的作業工具運動到導線剝皮步驟記錄的坐標(X，Y，Z)處，完成線夾安裝與緊固工作。

圖8 采集到的原始圖像及YOLOv4推理結果

5 結語

文中根據配電網帶電接火工作環節的要求，立足于實現視覺引導的帶電接火智能化流程，設計了一整套視覺識別與檢測方法。通過視覺引導機械手完成導線剝皮和視覺引導機械手完成引流線穿線及線夾緊固實驗，驗證了本文設計的單目視覺引導機械手智能化作業方法的有效性以及可靠性，也進一步論證了智能化視覺系統在配電網帶電接火上的實用價值。