深度學(xué)習(xí)在輸電線路工程驗(yàn)收智能缺陷識(shí)別中的應(yīng)用

鄒 捷，許瑞慶，習(xí)雨同

（國(guó)網(wǎng)江西省電力有限公司建設(shè)分公司，江西南昌 330043）

0 引言

近些年來(lái)，隨著電網(wǎng)建設(shè)的不斷加速，傳統(tǒng)輸變電工程的人力竣工驗(yàn)收模式會(huì)在一定程度上制約工期，同時(shí)由于城市農(nóng)村發(fā)展建設(shè)，可用征地走廊越來(lái)越有限，導(dǎo)致在驗(yàn)收過程許多關(guān)鍵點(diǎn)沒有得到有效控制，給后期輸電線路建設(shè)帶來(lái)不便，因此有必要提高驗(yàn)收效率和準(zhǔn)確度。無(wú)人機(jī)技術(shù)的不斷發(fā)展，給項(xiàng)目管理工作提供了新的平臺(tái)與視角，可實(shí)現(xiàn)輸電線路的高效和自動(dòng)化開展，以便及時(shí)發(fā)現(xiàn)輸電設(shè)備的緊急或重大缺陷。

通過無(wú)人機(jī)端采集大量圖像數(shù)據(jù)可提高驗(yàn)收效率，但是實(shí)現(xiàn)對(duì)大批量的數(shù)據(jù)進(jìn)行智能化缺陷分析歸類就顯得尤為重要，需要根據(jù)驗(yàn)收工程建立相應(yīng)桿塔模型庫(kù)和缺陷庫(kù)，進(jìn)行比對(duì)分析，從根本上優(yōu)化圖像識(shí)別還原算法才能真正地使得線路工程缺陷驗(yàn)收分析數(shù)字化。

1 無(wú)人機(jī)立體智能驗(yàn)收應(yīng)用平臺(tái)

“無(wú)人機(jī)立體智能驗(yàn)收系統(tǒng)平臺(tái)”包括無(wú)人機(jī)飛行控制系統(tǒng)和數(shù)據(jù)管理系統(tǒng)。其中，無(wú)人機(jī)飛行控制系統(tǒng)包含從地面飛行至輸電線路巡視目標(biāo)以及從驗(yàn)收巡視目標(biāo)返回地面兩個(gè)過程，涉及禁飛區(qū)域的識(shí)別、飛行路徑的確定和障礙物避險(xiǎn)、飛行巡視路徑自動(dòng)規(guī)劃等。數(shù)據(jù)管理是指無(wú)人機(jī)飛行任務(wù)結(jié)束后返回，將采集的數(shù)據(jù)進(jìn)行過濾清除，數(shù)據(jù)分類預(yù)識(shí)別，缺陷智能識(shí)別，缺陷問題智能分類、自動(dòng)導(dǎo)出驗(yàn)收?qǐng)?bào)告、深度學(xué)習(xí)自動(dòng)優(yōu)化缺陷庫(kù)等。

2 輸電線路缺陷圖像智能識(shí)別

2.1 線路工程典型缺陷

通過統(tǒng)計(jì)大量線路工程驗(yàn)收工作中不同缺陷種類發(fā)生的頻率，得到了11種最為常見的缺陷，常見缺陷大致分為金具及絕緣子、桿塔、導(dǎo)線三大類，具體典型的有鳥巢、導(dǎo)線異物、絕緣子自爆、絕緣子污穢、導(dǎo)地線斷散股、銷釘缺失、均壓環(huán)傾斜及損壞、螺母缺失、防振錘損壞、放電間隙損壞、線夾傾斜共計(jì)11種細(xì)類別缺陷，據(jù)統(tǒng)計(jì)，其中銷釘缺失、均壓環(huán)傾斜及損壞占金具缺陷的70%，鳥巢及塔位施工垃圾占桿塔缺陷的75%，導(dǎo)線異物和導(dǎo)地線斷散股占導(dǎo)線缺陷的80%。而目前針對(duì)這些缺陷的識(shí)別通常采用人工航拍巡視的方法，然而人工識(shí)別缺陷圖像存在工作量大、效率低的問題，因此有研究者引入了傳統(tǒng)的圖像分類方法來(lái)對(duì)輸電線路工程驗(yàn)收過程中巡檢圖像的故障進(jìn)行檢測(cè)分類，他們將檢測(cè)過程一共分為了圖像特征提取、圖像分割、圖像目標(biāo)定位和圖像故障分類四個(gè)步驟。文獻(xiàn)[1]著重研究了在非下采樣輪廓波變換條件下的絕緣子提取方法；文獻(xiàn)[2-3]則重點(diǎn)研究了在巡視照片中典型防震錘和絕緣子圖像定位技術(shù)；文獻(xiàn)[4-6]主要研究絕緣子在航拍巡檢圖像中的分離算法；文獻(xiàn)[7-12]主要研究了對(duì)巡視圖像中絕緣子故障、導(dǎo)線斷股、間隔棒故障、覆冰等缺陷隱患的檢測(cè)。同時(shí)比較傳統(tǒng)HOG+SVM、DPM[13-14]等算法，這些算法在目標(biāo)圖像處理中比較容易受到大小、形態(tài)、背景、目標(biāo)材質(zhì)等因素的影響，且計(jì)算過程也較為耗時(shí)，因此在實(shí)際工程中也難以應(yīng)用。因此有學(xué)者引入了深度學(xué)習(xí)技術(shù)來(lái)解決這些問題，深度學(xué)習(xí)類技術(shù)通過對(duì)大量巡查圖像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，最終生成一個(gè)支持多目標(biāo)的識(shí)別分類模型，相比于傳統(tǒng)的圖像處理方法，深度學(xué)習(xí)技術(shù)具有特征提取能力強(qiáng)、抗干擾能力強(qiáng)和表達(dá)能力強(qiáng)等優(yōu)點(diǎn)。在文獻(xiàn)[15]中，作者采用AlexNet作為圖像特征提取的網(wǎng)絡(luò)結(jié)構(gòu)，并使用隨機(jī)森林算法來(lái)對(duì)變壓器、絕緣子等已標(biāo)注的圖像進(jìn)行識(shí)別分類。在文獻(xiàn)[13-14]、[16-17]中，作者使用的Faster R-CNN算法則有別于傳統(tǒng)的將目標(biāo)檢測(cè)任務(wù)分為多個(gè)子任務(wù)的方式，該算法實(shí)現(xiàn)了鳥巢、絕緣子破損等多類輸電線路巡視圖像故障和缺陷的端到端的識(shí)別檢測(cè)，并能夠?qū)D像中的故障進(jìn)行準(zhǔn)確的分類和定位，很好的避免了圖片細(xì)節(jié)損失的弊端。

上述的深度學(xué)習(xí)類的輸電線路缺陷圖像識(shí)別分類算法雖然較傳統(tǒng)的圖像處理算法具有一定的優(yōu)勢(shì)，但也依舊具有一定的局限性，一方面上述算法的研究主要圍繞鳥巢、絕緣子破損等常見故障以及防震錘、絕緣子、均壓屏蔽環(huán)等電力線路部件缺陷，依舊是選擇了部分缺陷種類進(jìn)行檢測(cè)，缺陷覆蓋范圍還存在一定不足。一方面隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和進(jìn)步，上述算法也依舊存在很大的優(yōu)化空間。因此本文提出引入基于R-FCN的輸電線路工程驗(yàn)收?qǐng)D像缺陷識(shí)別方法，全卷積目標(biāo)檢測(cè)器R-FCN方法可通過生成選擇性池化和位置區(qū)域敏感得分圖的方式直接得到識(shí)別候選框的分類與數(shù)據(jù)回歸結(jié)果，其算法系統(tǒng)中的檢測(cè)子網(wǎng)絡(luò)由全連接層簡(jiǎn)化成了池化操作，這樣能大大提高了運(yùn)行速度，能夠滿足線路驗(yàn)收工程缺陷識(shí)別的計(jì)算需要。應(yīng)用該算法對(duì)11類缺陷圖像目標(biāo)進(jìn)行數(shù)據(jù)識(shí)別和學(xué)習(xí)，并與Faster R-CNN[18]、YOLOv3[19]的方法進(jìn)行對(duì)比。

2.2 典型缺陷圖像智能解譯體系

基于深度學(xué)習(xí)的輸電線路工程典型缺陷圖像智能解譯體系如圖1所示。

圖1 典型缺陷圖像智能解譯體系流程圖

2.2.1 工程驗(yàn)收缺陷數(shù)據(jù)集的構(gòu)建

本文數(shù)據(jù)集主要來(lái)源于線路工程驗(yàn)收過程中無(wú)人機(jī)所拍攝的圖片，圖片在季節(jié)上涵蓋了春、夏、秋、冬4個(gè)季節(jié)，拍攝地點(diǎn)和地形多樣化，多方位拍攝角度，且無(wú)人機(jī)采集的圖片具有很高的分辨率，樣本覆蓋大量實(shí)際工程。

首先對(duì)輸電線路工程無(wú)人機(jī)驗(yàn)收工作發(fā)現(xiàn)的缺陷種類進(jìn)行統(tǒng)計(jì)匯總，得到11種常見缺陷類別，并從圖像集中挑選相應(yīng)缺陷類別的5 000張圖片，圖像集涵蓋多種輸電線路驗(yàn)收工作場(chǎng)景，之后依據(jù)目標(biāo)和缺陷類別對(duì)圖像集中的目標(biāo)及缺陷逐一進(jìn)行人工標(biāo)注。其中圖像對(duì)應(yīng)的標(biāo)注信息共包含鳥巢、銷釘缺失、導(dǎo)線異物、絕緣子自爆、絕緣子污穢、導(dǎo)地線斷散股、均壓環(huán)傾斜及損壞、螺母缺失、防振錘損壞、放電間隙損壞、線夾傾斜，共計(jì)11種類別缺陷。圖2-圖4為三類典型輸電線路航拍巡查場(chǎng)景的缺陷示例，依次為絕緣子污穢、導(dǎo)地線斷散股、鳥巢缺陷。

圖2 某220 kV線路工程39號(hào)塔絕緣子臟污缺陷

圖3 某220 kV線路工程18號(hào)塔散股缺陷

圖4 某200 kV線路工程16號(hào)塔鳥巢缺陷

最后，將標(biāo)注好的圖片集按照缺陷類別比例進(jìn)行隨機(jī)劃分，其中4 000張圖片指定為訓(xùn)練集，用于算法模型訓(xùn)練，1 000張圖片指定為測(cè)試集，用于算法模型評(píng)估。

2.2.2 模型算法對(duì)比選擇

結(jié)合實(shí)際輸電線路工程驗(yàn)收對(duì)輸電線路巡視圖像缺陷識(shí)別的速率和準(zhǔn)確率的實(shí)際需求，本文提出一種基于R-FCN[11]算法的輸電線路巡檢圖像部件及故障檢測(cè)方法，構(gòu)建11類輸電線路工程驗(yàn)收智能缺陷識(shí)別數(shù)據(jù)集，并將該方法與目前主流的兩個(gè)有代表性的圖像目標(biāo)檢測(cè)算法進(jìn)行實(shí)驗(yàn)效果對(duì)比，這兩個(gè)算法分別是Faster R-CNN算法、YOLOv3算法，其中Faster RCNN算法此前被廣泛的應(yīng)用于輸電線路巡檢圖像目標(biāo)檢測(cè)，設(shè)定三種算法在IoU閾值為0.5情況下，比較其mAP（mean Average Precision，平均精度均值）差異。

2.3 模型訓(xùn)練學(xué)習(xí)方法

本文算法的基礎(chǔ)網(wǎng)絡(luò)為ResNet-101，其中模型的訓(xùn)練采用MXNet 1.1.0深度學(xué)習(xí)框架，硬件GPU采用英偉達(dá)的NVIDIA GeForce Titan Xp顯卡。其中模型權(quán)重的初始化采用微軟常見目標(biāo)數(shù)據(jù)集（Microsoft Common Objects in Context，MS COCO）預(yù)訓(xùn)練模型。模型訓(xùn)練數(shù)據(jù)集圖像分辨率大小統(tǒng)一歸一化為800*1200大小，同時(shí)采用小批量梯度下降法（mini-batch SGD），每個(gè)批次（batch）大小為2張圖像，學(xué)習(xí)率分為兩個(gè)，在前2000 batch時(shí)為的預(yù)熱（warm-up）學(xué)習(xí)策略，后續(xù)則采用為的學(xué)習(xí)率，其中學(xué)習(xí)率衰減策略采用階梯式衰減。衰減系數(shù)為0.1，衰減批次分別為22，000、26，800、32，000，一共訓(xùn)練36，000個(gè)批次。

RPN網(wǎng)絡(luò)層錨框（anhor）[18]的寬高比例為0.5、1、2共三種，錨框基礎(chǔ)尺寸為2、4、8、16、32共五種，二者組合共計(jì)15種錨框。

如圖5所示為R-FCN算法的網(wǎng)絡(luò)結(jié)構(gòu)，與Faster RCNN算法相比該算法主要從以下兩個(gè)方面進(jìn)行了優(yōu)化改進(jìn)，首先由于池化操作會(huì)導(dǎo)致目標(biāo)位置信息的丟失，因此算法采用PSROIPooling“位置敏感”的區(qū)域池化層（Position Sensitive Region Of Interest Pooling Layer）來(lái)替換ROIPooling層；其次在區(qū)域池化層之前通過卷積神經(jīng)網(wǎng)絡(luò)生成目標(biāo)屬于每個(gè)類別概率大小和相對(duì)位置的分值，然后通過PSROIPooling層將得到的這兩個(gè)分值映射為相同的大小，之后再對(duì)映射后的分值求他們的平均值就可得到圖像每個(gè)區(qū)域?qū)儆诓煌悇e的概率和相對(duì)位置。

圖5 R-FCN網(wǎng)絡(luò)結(jié)構(gòu)

其中R-FCN算法與Faster R-CNN算法的RPN網(wǎng)絡(luò)層參數(shù)和學(xué)習(xí)率參數(shù)取值一樣。而YOLOv3算法的圖像樣本分辨率大小設(shè)為800×800。模型訓(xùn)練共進(jìn)行4000個(gè)批次，其中前1000個(gè)批次采用逐漸增大的動(dòng)態(tài)學(xué)習(xí)率，學(xué)習(xí)率衰減策略為階梯式衰減，衰減批次為2500及3200，衰減系數(shù)為0.1，后續(xù)批次的學(xué)習(xí)率為0.001，其中每個(gè)批次取64張圖像；在此采用在MS COCO數(shù)據(jù)集上聚類得到的9組錨框。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 模型評(píng)估

在特定交并比（IOU，Intersection over Union）閾值條件下，召回率（Recall）和準(zhǔn)確率（Precision）是衡量一個(gè)算法模型性能好壞的基本指標(biāo)，然而召回率和準(zhǔn)確率卻都受置信度閾值的影響，他們之間此消彼長(zhǎng)，因此單單考慮其中的一個(gè)性能指標(biāo)是無(wú)法對(duì)算法模型有一個(gè)準(zhǔn)確評(píng)價(jià)。因此本文采用平均準(zhǔn)確率AP（Average Precision）來(lái)作為評(píng)價(jià)算法精度的指標(biāo)，即在不同召回率下的準(zhǔn)確率均值。同時(shí)算法的綜合評(píng)價(jià)指標(biāo)采用的是平均準(zhǔn)確率在不同類別間的均值mAP（mean Average Precision）。

3.2 模型結(jié)果及對(duì)比

按照11類缺陷對(duì)測(cè)試集進(jìn)行分類，并用于檢測(cè)和測(cè)算YOLOv3算法、Faster R-CNN算法和R-FCN算法的目標(biāo)平均準(zhǔn)確率AP，從得到的所有缺陷的AP值來(lái)看，如表1所示R-FCN算法均優(yōu)于其他兩類算法。

表1 R-FCN算法及對(duì)比算法的目標(biāo)檢測(cè)AP

在IoU閾值為0.5時(shí)，YOLOv3算法、Faster R-CNN算法和R-FCN算法的mAP（記作mAP@0.5，下同）如表2所示。R-FCN算法的mAP與Faster R-CNN高約4%，比YOLOv3 800算法的mAP高約7%。

表2 R-FCN及對(duì)比算法目標(biāo)檢測(cè)mAP及推理時(shí)間對(duì)比%

可見R-FCN的目標(biāo)定位相比Faster R-CNN和YOLOv3算法更加準(zhǔn)確，R-FCNN算法在部分典型缺陷識(shí)別效果如圖6-圖8所示。

圖6 絕緣子臟污識(shí)別

圖7 鳥巢識(shí)別

圖8 散斷股識(shí)別

3.3 典型缺陷識(shí)別率分析

針對(duì)線路工程典型缺陷進(jìn)行識(shí)別準(zhǔn)確率分析。本文提出引用的R-FCN算法在11種輸電線路缺陷識(shí)別中，鳥巢、防振錘損壞、絕緣子自爆等缺陷的識(shí)別具有較高的缺陷檢出率，平均識(shí)別準(zhǔn)確率達(dá)到90%，其原因是該類缺陷較背景因素影響較小及缺陷結(jié)構(gòu)特征同時(shí)較為明顯。同時(shí)導(dǎo)線異物、導(dǎo)地線散斷股、銷釘缺失等缺陷檢出率較低，原因可能如下：1）缺陷類別目標(biāo)較小；2）缺陷結(jié)構(gòu)特征不夠明顯，且缺陷訓(xùn)練數(shù)據(jù)集不足；3）缺陷標(biāo)注中外界背景因素干擾過多。

4 結(jié)語(yǔ)

本文圍繞輸電線路工程驗(yàn)收應(yīng)用中缺陷識(shí)別的智能化展開，針對(duì)工程驗(yàn)收這一特定場(chǎng)景，對(duì)工程中典型缺陷進(jìn)行研究分析，提出了一種基于R-FCN的計(jì)算方法，通過在同一訓(xùn)練集和測(cè)試集上的識(shí)別結(jié)果對(duì)比，證明了在輸電線路工程驗(yàn)收巡視圖像多目標(biāo)故障檢測(cè)方面的有效性，該方法在絕緣子自爆、防震錘損壞、鳥巢等典型缺陷具有較高的識(shí)別精度，可以滿足智能化驗(yàn)收工作的要求，能夠提高驗(yàn)收過程中的缺陷的識(shí)別準(zhǔn)確度，有利于對(duì)工程質(zhì)量的高保證要求，同時(shí)減少投運(yùn)后運(yùn)行維護(hù)巡檢缺陷和隱患的發(fā)生。