基于Jetson-TX2的輸電線路設備實時巡檢系統

楊學杰，陳文棟，許榮浩，李宋林，李建業

(1.國網淄博供電公司，山東 淄博 255022；2.國網智能科技股份有限公司，山東 濟南 250002)

遠距離輸電的輸電線路地處地勢復雜、環境惡劣的區域，電力巡檢工作面臨嚴峻挑戰。整個巡檢過程以人工操作為主，無法對設備情況進行實時判斷，作業效率低。無人機巡檢是目前最可靠、最常用的輸電線路巡檢方式[1]，通過無人機對巡檢區域的輸電線路及其設備進行拍照，拍攝的圖片數據經過人工整理后批量上傳至服務器進行識別[2]。

針對巡檢效率低的問題，業內專家進行了大量研究。劉狄[3]設計了輸電線路遠程智能圖像識別巡檢技術，對導線、絕緣子串進行有效識別與缺陷辨別；湯智謙等[4]在塔桿主材安裝高清視頻監測設備，用于監測輸電線路通道運行信息；田力[5]提出一種無人機桿塔自動精細巡檢系統，應用實時動態差分法(real-time kinematic，RTK)差分定位技術實現航線自動建立和自動飛行；董良[6]設計了一種500 kV輸電線路巡檢機器人，可初步實現輸電線路的自動巡檢；王麗娟[7]基于深度卷積神經網絡對輸電線路絕緣子故障進行檢測；戚銀城等[8]改進了SSD模型，用于輸電線路巡檢圖像金具檢測；張敏[9]設計了基于OneNet平臺的輸電線路在線監測系統，對輸電線路狀態進行實時監測；張昌賽[10]實現了機載光學定向和測距(light detection and ranging,Lidar)輸電線走廊點云數據自動分類。綜上所述，現有解決方案主要集中于對線路缺陷的自動分析和自動避障導航方面，對巡檢過程中自動完成輸電線路設備的識別并自動拍攝的研究較少。基于此，本文設計了一種基于Jetson-TX2的輸電線路設備實時巡檢系統，基于YOLO v3(you only look once,version 3)檢測算法，結合TensorRT加速引擎，通過Jetson-TX2嵌入式AI處理模塊，不依賴后端服務器，在無人機前端完成輸電線路設備的自主識別，實現云臺相機對輸電線路設備的實時智能采集。

1 系統整體介紹

基于Jetson-TX2的輸電線路設備實時巡檢系統主要由基于YOLO v3的Jetson-TX2主控模塊和云臺相機控制模塊組成。其中云臺相機控制模塊由廣角相機、長焦相機和三軸增穩云臺組成。廣角相機用于采集輸電線路整體環境圖像信息，并傳輸到Jetson-TX2主控模塊；Jetson-TX2主控模塊負責接收廣角相機傳輸的圖像信息并對其進行分析，得到輸電線路設備在圖像中的像素坐標，將其轉換為三軸云臺轉動角度和長焦相機的拉焦倍數并通過串口通信將角度和倍數進行傳遞；長焦相機用于變焦拍攝輸電線路設備的近距離圖像。Jetson-TX2主控模塊負責實時分析識別圖像信息中的輸電線路設備，給出設備在圖像中的像素位置坐標；三軸云臺用于轉動改變長焦相機位置，保證輸電線路設備位于長焦相機視野中央。其系統組成如圖1所示。

圖1 基于Jetson-TX2的輸電線路設備實時巡檢系統整體組成圖Fig.1 Overall composition diagram of the real-time inspection system for transmission line equipment based on Jetson-TX2

2 系統工作流程

該系統先由廣角相機獲取輸電線路周圍環境視頻流，通過USB接口將獲取的視頻流傳輸到前端Jetson-TX2主控模塊；Jetson-TX2主控模塊對視頻流進行分析，識別出輸電線路設備，得到其位置框的坐標信息，通過映射方程將坐標信息映射為云臺轉動角度和長焦相機拉焦倍數，控制云臺轉動和長焦相機拉焦。系統流程圖如圖2所示。

圖2 基于Jetson-TX2的輸電線路設備實時巡檢系統工作流程圖Fig. 2 Work flowchart of the real-time inspection system for transmission line equipment based on Jetson-TX2

3 系統算法實現

YOLO v3通過多尺度檢測方法，提高檢測精度，采用單階段檢測策略，提升檢測速度，因此適用于輸電線路巡檢等復雜的多目標檢測場景。YOLO v3將輸入圖片壓縮為416×416×3，通過特征提取網絡提取輸入圖像特征，得到大小為n×n的特征圖，將輸入圖像分成n×n個網格，若正確標簽某個目標的中心坐標位于某個網格中，則該網格預測該目標，每個網格會預測3個邊界框[11]。預測得到的輸出特征圖共有3個維度。

YOLO v3輸出3個不同尺度的特征圖，采用多尺度對不同大小的目標進行檢測，越精細的網格可檢測出越精準的物體。YOLO v3結構圖如圖3所示。

圖3 YOLO v3結構圖Fig.3 Structure diagram of YOLO v3

YOLO v3應用殘差網絡解決深度網絡的梯度消失問題，使用上采樣和級聯方法保留細粒度的特征以用于小目標檢測，其最主要的方式是通過特征金字塔網絡中相似的方式在3個不同的尺度上進行檢測。當圖像輸入到YOLO v3網絡時，從3個檢測層輸出有關對象檢測的信息(即bbox坐標、對象分數和類分數)，使用非最大抑制方法對3個檢測層的預測結果進行合并和處理。之后，確定最終的檢測結果。YOLO v3的主要特點在于：

(1)使用多標簽分類，通過邏輯分類器來計算具有特定標簽的對象的可能性，對于分類損失，使用每個標簽的二進制交叉熵損失。

圖4 預測邊框Fig.4 Bounding box

(2)使用不同的預測框，將客觀度得分與邊界框頂點關聯，該邊界框頂點坐標與正確標簽對象重疊得更多，忽略其他與正確標簽對象重疊超過選定閾值的頂點坐標，以圖像作為輸入并返回張量，如圖4所示。

(3)基于特征金字塔網絡概念的跨尺度預測。 YOLO v3以3個不同的尺度進行預測框輸出，從這些尺度中提取特征。這些檢測層的輸出張量具有與輸入相同的寬度和高度。

(4)使用Darknet-53的新卷積神經網絡(convolutional neural networks, CNN)特征提取器。這是一個53層的CNN，使用3×3和1×1卷積層，其浮點更少，速度更快。與ResNet-152相比，兩倍的速度具有相同的性能。

YOLO v3使用k均值聚類算法(k-means clustering algorithm)，以3個不同的尺度來預測9個先驗框，并從這些尺度中提取特征。使用較小的先驗框可以大規模獲取特征向量，從而可以獲取更多的目標邊緣信息。在COCO(common objects in context)數據集中，這些框是(10,13)，(16,30)，(33,23)，(30,61)，(62,45)，(59,119)，(116,90)，(156,198) ，(373,326)。在這里，為了檢測更多比例尺特征，使用了5種不同的比例尺，并根據所設置的邊界框提取了15個先驗框。 5個比例尺的尺寸分別是(322，642，1282，2562，5122)。通過計算獲得的15個先驗框分別為(9,11)，(17,14)，(22,27)，(31,44)，(37,25)，(51,22)，(62,45)，(68,30)，(75,37)，(88,121)，(90,40)，(99,156)，(108,122)，(119,57)，(128,137)。

在實驗過程中，我們發現，如果可以將高分辨率圖像裁剪到包含對象的小區域，則一些基于深度學習的網絡可以在這些小區域上很好地表現。按照這種方法，彩色圖像首先采用聚合通道特征區域提議(ACF)方法處理，該方法利用ACF獲取區域候選者，然后對這些候選者進行分析以生成潛在區域。然后，YOLO v3網絡利用這些潛在區域作為輸入進行精細檢測和定位。

我們訓練了YOLO v3神經網絡以檢測9類物體，例如絕緣子、防震錘、線夾等。在神經網絡的訓練過程中使用了不同的批次大小和優化算法。最初，使用隨機梯度下降，批次大小為64，學習率參數設置為10-5。在75個迭代之后，當損失函數在停止下降時，學習率增加到10-3。學習率的這種變化使損失函數值再次開始下降。同樣，批處理大小更改為256張圖像，優化算法更改為Adam優化器。

4 TensorRT加速

YOLO v3具有多層結構，在部署模型推理時，圖形處理器(graphics processing unit，GPU)通過啟動不同的CUDA(compute unified device architecture)核心來完成計算。CUDA核心啟動時，每一層輸入/輸出張量的讀寫操作會存在內存帶寬瓶頸，造成GPU資源的浪費。TensorRT通過對層間的橫向或縱向合并，使得層的數量大大減少。橫向合并可以把卷積、偏置和激活層合并成一個CBR(computer build report)結構，只占用一個CUDA核心。縱向合并可以把結構相同，但是權值不同的層合并成一個更寬的層[12]，只占用一個CUDA核心。合并之后的計算圖層次減少，占用的CUDA核心數減少，整個模型結構會更小、更快、更高效。

TensorRT支持INT8和FP16的計算，通過減少計算量和保持精度之間達到一個理想的權衡(trade-off)，達到加速的目的。 更為重要的是TensorRT對于網絡結構進行了重構和優化，主要體現為：

(1)對網絡結構垂直整合，將主流神經網路的conv、bn、relu 3個層融合為1層，進行網絡重構，如圖5所示。

圖5 網絡結構垂直整合Fig.5 Vertically merged network structure

(2)對于網絡水平組合，將輸入為相同張量和執行相同操作的層融合一起，如圖6所示。

圖6 網絡結構水平整合Fig.6 Horizontally merged network structure

5 雙視場協同控制云臺

5.1 雙視場協同實現方式

視場在攝影中等同于視角的概念，視角有水平、垂直、對角線3種測量方法。如圖7所示。

圖7 視角測量方法Fig.7 Angle measurement method

本文中的雙視場屬于多攝像機視頻系統，該系統利用多個攝像機協同工作，實現增大視頻范圍，提高檢測精度等結果。攝像機之間的協同問題可分為兩大類：(1)視場有重疊；(2)視場無重疊。對于視場有重疊的多攝像機系統，使用重疊視場來選擇性地觀察現場的特定部分，并把冗余要素傳進攝像機網絡，從而減小遮蔽模糊，提高目標定位的準確性；對于視場無重疊的系統，相鄰視場間的不可見空間可以視為一種靜態遮蔽，并用類似于單一視場遮蔽分析的方法進行分析。本文系統屬于視場有重疊的多視場攝像機系統，雙視場包括廣角相機和長焦相機兩部分，廣角相機固定焦距，具有52°水平視角，200萬像素；長焦相機具有20 兆像素傳感器和30倍光學變焦能力；兩個相機在云臺上位置相對靜止，其相對位置如圖8所示。廣角相機位于長焦相機正上方，其成像范圍如圖9所示。

圖8 相機云臺相對位置Fig.8 Relative position of the camera gimbal

圖9 相機成像范圍Fig.9 Camera imaging range

長焦相機視野較窄，其拉焦過程中的視野范圍始終位于廣角相機視野之內。在廣角相機視野內任意目標A，其中心點在廣角相機視野內像素坐標為(x,y)；云臺相機工作過程中需通過云臺轉動使A移動到長焦相機視野中心點B，其在長焦相機視野內像素坐標為(X,Y)，在長焦相機拉焦過程中，長焦相機視野中心點B在廣角相機視野內的坐標是固定的，此問題可轉化為將廣角相機視野內的點A移動到廣角相機視野內的點C(xc,yc)，C點為B點在廣角相機視野內的坐標。

云臺轉動角度與像素移動距離線性相關，故通過式(1)即可算出云臺在相關方向的轉動角度：

(1)

其中，xangle為云臺在水平方向的轉動角度；yangle為云臺在豎直方向的轉動角度；xturn為像素在水平方向的移動角度；yturn為像素在豎直方向的移動角度；α為云臺左右轉動系數；β為云臺上下轉動系數。

設目標檢測框左上角坐標為(xl,yl)，右下角坐標為(xr,yr)，則目標A的中心坐標(x,y)可通過目標檢測框得到，如式(2)所示：

(2)

長焦相機的拉焦系數γ由目標檢測框長寬在廣角相機視野中所占的比例決定。目標檢測框的長寬可由式(3)計算：

(3)

其中,w表示檢測框寬度，h表示檢測框高度。將w和h的范圍劃分為30份，對應30倍變焦范圍，即當w≥h時，以w的范圍作為判定條件，則有xi≤w

Jetson-TX2主控模塊通過上述步驟計算得到3個參數并通過串口通信將參數傳遞給雙視場三軸云臺，三軸云臺根據參數完成動作定位與拉焦拍照。

5.2 云臺PID算法控制

主控模塊通過上述步驟計算得到云臺跟蹤目標所需旋轉的角度信息，并進行PID控制。PID 控制算法分為3個部分：比例控制、積分控制和微分控制。PID控制系統原理框圖如圖10所示。

圖10 PID控制系統原理Fig.10 Principle of the PID control system

PID控制結合比例控制、積分控制和微分控制后的動態方程如式(4)所示。

(4)

其中，u(t)表示PID控制器調整輸出，e(t)表示系統輸入偏差，KI表示積分時間常數，TD表示微分時間常數。

PID控制通過三者的結合，可快速減小偏差、消除靜差，進而有效抑制偏差e(t)的增大。PID算法包括增量式PID和位置式PID，增量式PID控制精確，不易出現累積誤差，但計算量大；位置式PID計算量小，但誤差累積過多會引起超調，影響控制效果。本文三軸云臺采用STM32F103作為主控芯片，為保證控制系統整體性能，采用對計算資源要求較低的位置式PID進行控制。位置式PID動態方程如式(5)和式(6)所示。

u(t)=P(t)+I(t)+D(t)，

(5)

(6)

其中，u(t)表示PID控制器調整輸出，P(t)表示比例控制輸出，I(t)表示積分控制輸出，D(t)表示微分控制輸出，e(t)表示系統輸入偏差，KP表示比例常數，KI表示積分時間常數，KD表示微分時間常數。

云臺電機內部集成了電流環。可將電機轉動的角度，通過CAN總線反饋給STM32F103，并根據機械角度反饋構建位置閉環，進行PID計算，并將需矯正的位姿調整值發送給電機驅動板，完成PID控制。云臺PID控制流程圖如圖11所示。

圖11 云臺PID控制流程圖Fig.11 PTZ PID control system flowchart

6 測試結果

測試試驗采用大疆M210無人機，掛載Jetson-TX2的輸電線路設備實時巡檢系統，于山東省濟南市某500 kV輸電線路進行野外測試，并與人工巡檢時間進行對比。樣機如圖12所示。

圖12 基于Jetson-TX2的輸電線路設備實時巡檢系統樣機Fig.12 Prototype of the real-time inspection system for transmission line equipment based on Jetson-TX2

本次測試，共進行了4個飛行架次的巡檢任務，每個架次飛行25 min，基于Jetson-TX2的輸電線路設備實時巡檢與人工控制無人機拍照巡檢對比，如表1所示。

表1 基于Jetson-TX2的輸電線路設備實時巡檢與人工巡檢對比

經試驗，在一個架次飛行時間內，實時巡檢系統比人工巡檢可多巡檢1～2級桿塔，多巡檢1 ～ 2.5 km，其優勢主要體現為對輸電線路設備的識別時間中，可直接在巡檢過程中完成對輸電線路設備情況的識別分析和設備照片采集，不需要帶回基地通過人工上傳服務器進行分析，有效提高了無人機輸電線路設備巡檢采集效率，效果圖如圖13所示。

圖13 基于Jetson-TX2的輸電線路設備實時巡檢系統巡檢效果圖Fig.13 Inspection effect diagram of the real-time inspection system for transmission line equipment based on Jetson-TX2

7 結論

本文針對輸電線路巡檢效率低的問題，設計了一種基于Jetson-TX2的輸電線路設備實時巡檢系統，結合YOLO v3檢測算法和TensorRT加速策略，實現了視頻流中設備目標實時識別與定位，并通過PID算法控制云臺相機實現輸電線路設備的高清圖像采集，在500 kV輸電線路巡線中，可有效提高輸電線路設備巡檢效率。