基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)

楊學(xué)杰，陳文棟，許榮浩，李宋林，李建業(yè)

(1.國網(wǎng)淄博供電公司，山東 淄博 255022；2.國網(wǎng)智能科技股份有限公司，山東 濟(jì)南 250002)

遠(yuǎn)距離輸電的輸電線路地處地勢復(fù)雜、環(huán)境惡劣的區(qū)域，電力巡檢工作面臨嚴(yán)峻挑戰(zhàn)。整個巡檢過程以人工操作為主，無法對設(shè)備情況進(jìn)行實(shí)時判斷，作業(yè)效率低。無人機(jī)巡檢是目前最可靠、最常用的輸電線路巡檢方式[1]，通過無人機(jī)對巡檢區(qū)域的輸電線路及其設(shè)備進(jìn)行拍照，拍攝的圖片數(shù)據(jù)經(jīng)過人工整理后批量上傳至服務(wù)器進(jìn)行識別[2]。

針對巡檢效率低的問題，業(yè)內(nèi)專家進(jìn)行了大量研究。劉狄[3]設(shè)計(jì)了輸電線路遠(yuǎn)程智能圖像識別巡檢技術(shù)，對導(dǎo)線、絕緣子串進(jìn)行有效識別與缺陷辨別；湯智謙等[4]在塔桿主材安裝高清視頻監(jiān)測設(shè)備，用于監(jiān)測輸電線路通道運(yùn)行信息；田力[5]提出一種無人機(jī)桿塔自動精細(xì)巡檢系統(tǒng)，應(yīng)用實(shí)時動態(tài)差分法(real-time kinematic，RTK)差分定位技術(shù)實(shí)現(xiàn)航線自動建立和自動飛行；董良[6]設(shè)計(jì)了一種500 kV輸電線路巡檢機(jī)器人，可初步實(shí)現(xiàn)輸電線路的自動巡檢；王麗娟[7]基于深度卷積神經(jīng)網(wǎng)絡(luò)對輸電線路絕緣子故障進(jìn)行檢測；戚銀城等[8]改進(jìn)了SSD模型，用于輸電線路巡檢圖像金具檢測；張敏[9]設(shè)計(jì)了基于OneNet平臺的輸電線路在線監(jiān)測系統(tǒng)，對輸電線路狀態(tài)進(jìn)行實(shí)時監(jiān)測；張昌賽[10]實(shí)現(xiàn)了機(jī)載光學(xué)定向和測距(light detection and ranging,Lidar)輸電線走廊點(diǎn)云數(shù)據(jù)自動分類。綜上所述，現(xiàn)有解決方案主要集中于對線路缺陷的自動分析和自動避障導(dǎo)航方面，對巡檢過程中自動完成輸電線路設(shè)備的識別并自動拍攝的研究較少。基于此，本文設(shè)計(jì)了一種基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)，基于YOLO v3(you only look once,version 3)檢測算法，結(jié)合TensorRT加速引擎，通過Jetson-TX2嵌入式AI處理模塊，不依賴后端服務(wù)器，在無人機(jī)前端完成輸電線路設(shè)備的自主識別，實(shí)現(xiàn)云臺相機(jī)對輸電線路設(shè)備的實(shí)時智能采集。

1 系統(tǒng)整體介紹

基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)主要由基于YOLO v3的Jetson-TX2主控模塊和云臺相機(jī)控制模塊組成。其中云臺相機(jī)控制模塊由廣角相機(jī)、長焦相機(jī)和三軸增穩(wěn)云臺組成。廣角相機(jī)用于采集輸電線路整體環(huán)境圖像信息，并傳輸?shù)絁etson-TX2主控模塊；Jetson-TX2主控模塊負(fù)責(zé)接收廣角相機(jī)傳輸?shù)膱D像信息并對其進(jìn)行分析，得到輸電線路設(shè)備在圖像中的像素坐標(biāo)，將其轉(zhuǎn)換為三軸云臺轉(zhuǎn)動角度和長焦相機(jī)的拉焦倍數(shù)并通過串口通信將角度和倍數(shù)進(jìn)行傳遞；長焦相機(jī)用于變焦拍攝輸電線路設(shè)備的近距離圖像。Jetson-TX2主控模塊負(fù)責(zé)實(shí)時分析識別圖像信息中的輸電線路設(shè)備，給出設(shè)備在圖像中的像素位置坐標(biāo)；三軸云臺用于轉(zhuǎn)動改變長焦相機(jī)位置，保證輸電線路設(shè)備位于長焦相機(jī)視野中央。其系統(tǒng)組成如圖1所示。

圖1 基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)整體組成圖Fig.1 Overall composition diagram of the real-time inspection system for transmission line equipment based on Jetson-TX2

2 系統(tǒng)工作流程

該系統(tǒng)先由廣角相機(jī)獲取輸電線路周圍環(huán)境視頻流，通過USB接口將獲取的視頻流傳輸?shù)角岸薐etson-TX2主控模塊；Jetson-TX2主控模塊對視頻流進(jìn)行分析，識別出輸電線路設(shè)備，得到其位置框的坐標(biāo)信息，通過映射方程將坐標(biāo)信息映射為云臺轉(zhuǎn)動角度和長焦相機(jī)拉焦倍數(shù)，控制云臺轉(zhuǎn)動和長焦相機(jī)拉焦。系統(tǒng)流程圖如圖2所示。

圖2 基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)工作流程圖Fig. 2 Work flowchart of the real-time inspection system for transmission line equipment based on Jetson-TX2

3 系統(tǒng)算法實(shí)現(xiàn)

YOLO v3通過多尺度檢測方法，提高檢測精度，采用單階段檢測策略，提升檢測速度，因此適用于輸電線路巡檢等復(fù)雜的多目標(biāo)檢測場景。YOLO v3將輸入圖片壓縮為416×416×3，通過特征提取網(wǎng)絡(luò)提取輸入圖像特征，得到大小為n×n的特征圖，將輸入圖像分成n×n個網(wǎng)格，若正確標(biāo)簽?zāi)硞€目標(biāo)的中心坐標(biāo)位于某個網(wǎng)格中，則該網(wǎng)格預(yù)測該目標(biāo)，每個網(wǎng)格會預(yù)測3個邊界框[11]。預(yù)測得到的輸出特征圖共有3個維度。

YOLO v3輸出3個不同尺度的特征圖，采用多尺度對不同大小的目標(biāo)進(jìn)行檢測，越精細(xì)的網(wǎng)格可檢測出越精準(zhǔn)的物體。YOLO v3結(jié)構(gòu)圖如圖3所示。

圖3 YOLO v3結(jié)構(gòu)圖Fig.3 Structure diagram of YOLO v3

YOLO v3應(yīng)用殘差網(wǎng)絡(luò)解決深度網(wǎng)絡(luò)的梯度消失問題，使用上采樣和級聯(lián)方法保留細(xì)粒度的特征以用于小目標(biāo)檢測，其最主要的方式是通過特征金字塔網(wǎng)絡(luò)中相似的方式在3個不同的尺度上進(jìn)行檢測。當(dāng)圖像輸入到Y(jié)OLO v3網(wǎng)絡(luò)時，從3個檢測層輸出有關(guān)對象檢測的信息(即bbox坐標(biāo)、對象分?jǐn)?shù)和類分?jǐn)?shù))，使用非最大抑制方法對3個檢測層的預(yù)測結(jié)果進(jìn)行合并和處理。之后，確定最終的檢測結(jié)果。YOLO v3的主要特點(diǎn)在于：

(1)使用多標(biāo)簽分類，通過邏輯分類器來計(jì)算具有特定標(biāo)簽的對象的可能性，對于分類損失，使用每個標(biāo)簽的二進(jìn)制交叉熵?fù)p失。

圖4 預(yù)測邊框Fig.4 Bounding box

(2)使用不同的預(yù)測框，將客觀度得分與邊界框頂點(diǎn)關(guān)聯(lián)，該邊界框頂點(diǎn)坐標(biāo)與正確標(biāo)簽對象重疊得更多，忽略其他與正確標(biāo)簽對象重疊超過選定閾值的頂點(diǎn)坐標(biāo)，以圖像作為輸入并返回張量，如圖4所示。

(3)基于特征金字塔網(wǎng)絡(luò)概念的跨尺度預(yù)測。 YOLO v3以3個不同的尺度進(jìn)行預(yù)測框輸出，從這些尺度中提取特征。這些檢測層的輸出張量具有與輸入相同的寬度和高度。

(4)使用Darknet-53的新卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)特征提取器。這是一個53層的CNN，使用3×3和1×1卷積層，其浮點(diǎn)更少，速度更快。與ResNet-152相比，兩倍的速度具有相同的性能。

YOLO v3使用k均值聚類算法(k-means clustering algorithm)，以3個不同的尺度來預(yù)測9個先驗(yàn)框，并從這些尺度中提取特征。使用較小的先驗(yàn)框可以大規(guī)模獲取特征向量，從而可以獲取更多的目標(biāo)邊緣信息。在COCO(common objects in context)數(shù)據(jù)集中，這些框是(10,13)，(16,30)，(33,23)，(30,61)，(62,45)，(59,119)，(116,90)，(156,198) ，(373,326)。在這里，為了檢測更多比例尺特征，使用了5種不同的比例尺，并根據(jù)所設(shè)置的邊界框提取了15個先驗(yàn)框。 5個比例尺的尺寸分別是(322，642，1282，2562，5122)。通過計(jì)算獲得的15個先驗(yàn)框分別為(9,11)，(17,14)，(22,27)，(31,44)，(37,25)，(51,22)，(62,45)，(68,30)，(75,37)，(88,121)，(90,40)，(99,156)，(108,122)，(119,57)，(128,137)。

在實(shí)驗(yàn)過程中，我們發(fā)現(xiàn)，如果可以將高分辨率圖像裁剪到包含對象的小區(qū)域，則一些基于深度學(xué)習(xí)的網(wǎng)絡(luò)可以在這些小區(qū)域上很好地表現(xiàn)。按照這種方法，彩色圖像首先采用聚合通道特征區(qū)域提議(ACF)方法處理，該方法利用ACF獲取區(qū)域候選者，然后對這些候選者進(jìn)行分析以生成潛在區(qū)域。然后，YOLO v3網(wǎng)絡(luò)利用這些潛在區(qū)域作為輸入進(jìn)行精細(xì)檢測和定位。

我們訓(xùn)練了YOLO v3神經(jīng)網(wǎng)絡(luò)以檢測9類物體，例如絕緣子、防震錘、線夾等。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中使用了不同的批次大小和優(yōu)化算法。最初，使用隨機(jī)梯度下降，批次大小為64，學(xué)習(xí)率參數(shù)設(shè)置為10-5。在75個迭代之后，當(dāng)損失函數(shù)在停止下降時，學(xué)習(xí)率增加到10-3。學(xué)習(xí)率的這種變化使損失函數(shù)值再次開始下降。同樣，批處理大小更改為256張圖像，優(yōu)化算法更改為Adam優(yōu)化器。

4 TensorRT加速

YOLO v3具有多層結(jié)構(gòu)，在部署模型推理時，圖形處理器(graphics processing unit，GPU)通過啟動不同的CUDA(compute unified device architecture)核心來完成計(jì)算。CUDA核心啟動時，每一層輸入/輸出張量的讀寫操作會存在內(nèi)存帶寬瓶頸，造成GPU資源的浪費(fèi)。TensorRT通過對層間的橫向或縱向合并，使得層的數(shù)量大大減少。橫向合并可以把卷積、偏置和激活層合并成一個CBR(computer build report)結(jié)構(gòu)，只占用一個CUDA核心。縱向合并可以把結(jié)構(gòu)相同，但是權(quán)值不同的層合并成一個更寬的層[12]，只占用一個CUDA核心。合并之后的計(jì)算圖層次減少，占用的CUDA核心數(shù)減少，整個模型結(jié)構(gòu)會更小、更快、更高效。

TensorRT支持INT8和FP16的計(jì)算，通過減少計(jì)算量和保持精度之間達(dá)到一個理想的權(quán)衡(trade-off)，達(dá)到加速的目的。 更為重要的是TensorRT對于網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了重構(gòu)和優(yōu)化，主要體現(xiàn)為：

(1)對網(wǎng)絡(luò)結(jié)構(gòu)垂直整合，將主流神經(jīng)網(wǎng)路的conv、bn、relu 3個層融合為1層，進(jìn)行網(wǎng)絡(luò)重構(gòu)，如圖5所示。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)垂直整合Fig.5 Vertically merged network structure

(2)對于網(wǎng)絡(luò)水平組合，將輸入為相同張量和執(zhí)行相同操作的層融合一起，如圖6所示。

圖6 網(wǎng)絡(luò)結(jié)構(gòu)水平整合Fig.6 Horizontally merged network structure

5 雙視場協(xié)同控制云臺

5.1 雙視場協(xié)同實(shí)現(xiàn)方式

視場在攝影中等同于視角的概念，視角有水平、垂直、對角線3種測量方法。如圖7所示。

圖7 視角測量方法Fig.7 Angle measurement method

本文中的雙視場屬于多攝像機(jī)視頻系統(tǒng)，該系統(tǒng)利用多個攝像機(jī)協(xié)同工作，實(shí)現(xiàn)增大視頻范圍，提高檢測精度等結(jié)果。攝像機(jī)之間的協(xié)同問題可分為兩大類：(1)視場有重疊；(2)視場無重疊。對于視場有重疊的多攝像機(jī)系統(tǒng)，使用重疊視場來選擇性地觀察現(xiàn)場的特定部分，并把冗余要素傳進(jìn)攝像機(jī)網(wǎng)絡(luò)，從而減小遮蔽模糊，提高目標(biāo)定位的準(zhǔn)確性；對于視場無重疊的系統(tǒng)，相鄰視場間的不可見空間可以視為一種靜態(tài)遮蔽，并用類似于單一視場遮蔽分析的方法進(jìn)行分析。本文系統(tǒng)屬于視場有重疊的多視場攝像機(jī)系統(tǒng)，雙視場包括廣角相機(jī)和長焦相機(jī)兩部分，廣角相機(jī)固定焦距，具有52°水平視角，200萬像素；長焦相機(jī)具有20 兆像素傳感器和30倍光學(xué)變焦能力；兩個相機(jī)在云臺上位置相對靜止，其相對位置如圖8所示。廣角相機(jī)位于長焦相機(jī)正上方，其成像范圍如圖9所示。

圖8 相機(jī)云臺相對位置Fig.8 Relative position of the camera gimbal

圖9 相機(jī)成像范圍Fig.9 Camera imaging range

長焦相機(jī)視野較窄，其拉焦過程中的視野范圍始終位于廣角相機(jī)視野之內(nèi)。在廣角相機(jī)視野內(nèi)任意目標(biāo)A，其中心點(diǎn)在廣角相機(jī)視野內(nèi)像素坐標(biāo)為(x,y)；云臺相機(jī)工作過程中需通過云臺轉(zhuǎn)動使A移動到長焦相機(jī)視野中心點(diǎn)B，其在長焦相機(jī)視野內(nèi)像素坐標(biāo)為(X,Y)，在長焦相機(jī)拉焦過程中，長焦相機(jī)視野中心點(diǎn)B在廣角相機(jī)視野內(nèi)的坐標(biāo)是固定的，此問題可轉(zhuǎn)化為將廣角相機(jī)視野內(nèi)的點(diǎn)A移動到廣角相機(jī)視野內(nèi)的點(diǎn)C(xc,yc)，C點(diǎn)為B點(diǎn)在廣角相機(jī)視野內(nèi)的坐標(biāo)。

云臺轉(zhuǎn)動角度與像素移動距離線性相關(guān)，故通過式(1)即可算出云臺在相關(guān)方向的轉(zhuǎn)動角度：

(1)

其中，xangle為云臺在水平方向的轉(zhuǎn)動角度；yangle為云臺在豎直方向的轉(zhuǎn)動角度；xturn為像素在水平方向的移動角度；yturn為像素在豎直方向的移動角度；α為云臺左右轉(zhuǎn)動系數(shù)；β為云臺上下轉(zhuǎn)動系數(shù)。

設(shè)目標(biāo)檢測框左上角坐標(biāo)為(xl,yl)，右下角坐標(biāo)為(xr,yr)，則目標(biāo)A的中心坐標(biāo)(x,y)可通過目標(biāo)檢測框得到，如式(2)所示：

(2)

長焦相機(jī)的拉焦系數(shù)γ由目標(biāo)檢測框長寬在廣角相機(jī)視野中所占的比例決定。目標(biāo)檢測框的長寬可由式(3)計(jì)算：

(3)

其中,w表示檢測框?qū)挾龋琱表示檢測框高度。將w和h的范圍劃分為30份，對應(yīng)30倍變焦范圍，即當(dāng)w≥h時，以w的范圍作為判定條件，則有xi≤w

Jetson-TX2主控模塊通過上述步驟計(jì)算得到3個參數(shù)并通過串口通信將參數(shù)傳遞給雙視場三軸云臺，三軸云臺根據(jù)參數(shù)完成動作定位與拉焦拍照。

5.2 云臺PID算法控制

主控模塊通過上述步驟計(jì)算得到云臺跟蹤目標(biāo)所需旋轉(zhuǎn)的角度信息，并進(jìn)行PID控制。PID 控制算法分為3個部分：比例控制、積分控制和微分控制。PID控制系統(tǒng)原理框圖如圖10所示。

圖10 PID控制系統(tǒng)原理Fig.10 Principle of the PID control system

PID控制結(jié)合比例控制、積分控制和微分控制后的動態(tài)方程如式(4)所示。

(4)

其中，u(t)表示PID控制器調(diào)整輸出，e(t)表示系統(tǒng)輸入偏差，KI表示積分時間常數(shù)，TD表示微分時間常數(shù)。

PID控制通過三者的結(jié)合，可快速減小偏差、消除靜差，進(jìn)而有效抑制偏差e(t)的增大。PID算法包括增量式PID和位置式PID，增量式PID控制精確，不易出現(xiàn)累積誤差，但計(jì)算量大；位置式PID計(jì)算量小，但誤差累積過多會引起超調(diào)，影響控制效果。本文三軸云臺采用STM32F103作為主控芯片，為保證控制系統(tǒng)整體性能，采用對計(jì)算資源要求較低的位置式PID進(jìn)行控制。位置式PID動態(tài)方程如式(5)和式(6)所示。

u(t)=P(t)+I(t)+D(t)，

(5)

(6)

其中，u(t)表示PID控制器調(diào)整輸出，P(t)表示比例控制輸出，I(t)表示積分控制輸出，D(t)表示微分控制輸出，e(t)表示系統(tǒng)輸入偏差，KP表示比例常數(shù)，KI表示積分時間常數(shù)，KD表示微分時間常數(shù)。

云臺電機(jī)內(nèi)部集成了電流環(huán)。可將電機(jī)轉(zhuǎn)動的角度，通過CAN總線反饋給STM32F103，并根據(jù)機(jī)械角度反饋構(gòu)建位置閉環(huán)，進(jìn)行PID計(jì)算，并將需矯正的位姿調(diào)整值發(fā)送給電機(jī)驅(qū)動板，完成PID控制。云臺PID控制流程圖如圖11所示。

圖11 云臺PID控制流程圖Fig.11 PTZ PID control system flowchart

6 測試結(jié)果

測試試驗(yàn)采用大疆M210無人機(jī)，掛載Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)，于山東省濟(jì)南市某500 kV輸電線路進(jìn)行野外測試，并與人工巡檢時間進(jìn)行對比。樣機(jī)如圖12所示。

圖12 基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)樣機(jī)Fig.12 Prototype of the real-time inspection system for transmission line equipment based on Jetson-TX2

本次測試，共進(jìn)行了4個飛行架次的巡檢任務(wù)，每個架次飛行25 min，基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢與人工控制無人機(jī)拍照巡檢對比，如表1所示。

表1 基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢與人工巡檢對比

經(jīng)試驗(yàn)，在一個架次飛行時間內(nèi)，實(shí)時巡檢系統(tǒng)比人工巡檢可多巡檢1～2級桿塔，多巡檢1 ～ 2.5 km，其優(yōu)勢主要體現(xiàn)為對輸電線路設(shè)備的識別時間中，可直接在巡檢過程中完成對輸電線路設(shè)備情況的識別分析和設(shè)備照片采集，不需要帶回基地通過人工上傳服務(wù)器進(jìn)行分析，有效提高了無人機(jī)輸電線路設(shè)備巡檢采集效率，效果圖如圖13所示。

圖13 基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)巡檢效果圖Fig.13 Inspection effect diagram of the real-time inspection system for transmission line equipment based on Jetson-TX2

7 結(jié)論

本文針對輸電線路巡檢效率低的問題，設(shè)計(jì)了一種基于Jetson-TX2的輸電線路設(shè)備實(shí)時巡檢系統(tǒng)，結(jié)合YOLO v3檢測算法和TensorRT加速策略，實(shí)現(xiàn)了視頻流中設(shè)備目標(biāo)實(shí)時識別與定位，并通過PID算法控制云臺相機(jī)實(shí)現(xiàn)輸電線路設(shè)備的高清圖像采集，在500 kV輸電線路巡線中，可有效提高輸電線路設(shè)備巡檢效率。