基于層次多任務深度學習的絕緣子自爆缺陷檢測

徐建軍 黃立達 閆麗梅 伊 娜

基于層次多任務深度學習的絕緣子自爆缺陷檢測

徐建軍 黃立達 閆麗梅 伊 娜

（東北石油大學電氣信息工程學院 大慶 163318）

絕緣子是電力線路中重要且使用廣泛的器件，隨著近年來無人機巡線的迅速普及，從航拍圖像中檢測絕緣子自爆缺陷成為熱點問題。在航拍圖像中，自爆絕緣子與正常絕緣子的區分難度相對更大，該文提出一種基于層次多任務深度學習的絕緣子自爆缺陷檢測模型，使用專用的卷積神經網絡區分自爆絕緣子和正常絕緣子，并結合多任務學習和特征融合方法提高分類準確率。同時，針對缺乏自爆類數據的問題，提出制作合成圖像的數據增強方法。實驗結果表明，添加合成圖像能有效提高自爆類召回率；層次多任務學習模型與平面分類模型及普通層次模型相比具有更強的分類能力。

絕緣子 多任務學習 缺陷檢測 深度學習 層次分類

0 引言

絕緣子是輸電線路重要的組成部分，架空線通過絕緣子實現對桿塔和大地的絕緣。絕緣子在過電壓作用下會出現閃絡[1-2]，是故障多發元件，傳統的巡線方式是人工巡線，可用熱紅外成像技術[3]方法檢測缺陷。由于無人機巡線具有更高效、更安全等優勢，近年來無人機巡線迅速發展，利用計算機視覺技術對拍攝的絕緣子航拍圖進行分析成為研究的熱點問題。

傳統的絕緣子自爆缺陷檢測算法主要先利用圖像分割技術從航拍圖中分割出絕緣子串，得到絕緣子的輪廓特征，再按照人工設計的特征判斷是否存在缺陷，其中Otsu方法[4]等技術得到了充分應用和發展。然而航拍得到的圖像的背景多為桿塔、農田、山巒等復雜場景，且不同環境條件下得到的圖像差異較大。傳統圖像處理方法應用于航拍圖像時，難以獲得滿足算法要求的分割結果，造成準確率低的問題。

神經網絡已被應用于多個領域[5-9]，在圖像領域中卷積神經網絡（Convolutional Neural Networks，CNN）能夠實現端到端的學習，且得到的特征相比于傳統的人工設計的特征具有更強的泛化性，已有國內外學者將深度學習方法應用于絕緣子自爆缺陷檢測。應用于絕緣子自爆檢測的深度學習方法按處理步驟可分為兩種：單階段方法和雙階段方法。單階段方法直接在航拍圖上進行自爆缺陷檢測；雙階段方法則先得到絕緣子串所在區域，再對絕緣子串區域進行進一步處理。

單階段方法采用的算法可分為兩種，一種是采用區域提名或回歸分類的目標檢測算法直接對自爆缺陷進行檢測。文獻[10]利用在線困難樣本挖掘、樣本優化等方法改進基于區域的全卷積網絡，實現對包括絕緣子自爆缺陷在內的多種目標的檢測。文獻[11]運用Faster R-CNN[12]，實現了對包括絕緣子自爆缺陷在內的輸電線路六種目標的檢測。文獻[13]使用經過輕量化的YOLOv3模型[14]對絕緣子串和自爆缺陷區域進行檢測。然而自爆缺陷在航拍圖像中所占比例較小，屬于小目標檢測，由于目標檢測算法中多次使用下采樣，在多次下采樣后自爆缺陷區域的特征圖變得很小，丟失圖像特征，因而采用目標檢測算法的單階段方法準確率較低。第二種是先由滑動窗口對航拍圖片進行裁剪，再對裁剪得到的圖片塊進行分類。文獻[15]在用滑動窗口裁剪航拍圖片后，在分類模型中添加空間金字塔池化模塊對圖片塊進行分類。

雙階段方法在檢測絕緣子串所在區域時所用方法多為目標檢測算法；在檢測自爆缺陷時或使用目標檢測算法進行檢測，或使用滑動窗口裁剪絕緣子串區域后再對得到的圖片塊進行分類。文獻[16]先使用Faster R-CNN算法實現對絕緣子的定位，并將絕緣子角度校正，再裁剪成小塊后輸入具有反饋機制的卷積神經網絡進行分類。文獻[17]采用級聯形式的網絡，先使用目標檢測方法實現絕緣子串定位，然后將絕緣子區域輸入下一級目標檢測網絡實現對自爆絕緣子區域的定位。文獻[18]實現一個級聯網絡，先由一個分類網絡進行分類，若分類結果為正常則輸入下一級由Fast R-CNN構成的檢測器進行自爆缺陷檢測作為驗證。文獻[19]將弱監督細粒度分類思想應用于絕緣子自爆缺陷檢測，在得到絕緣子串區域后，使用多個卷積神經網絡分別提取絕緣子的物體級和部位級特征，然后對兩種特征進行特征融合，利用融合后的特征對絕緣子進行分類。可見雙階段方法中非級聯網絡需要訓練多個網絡以分別實現絕緣子串定位和自爆缺陷檢測，加大了模型的訓練難度；級聯網絡由于需要實現兩個功能，參數量和需要的計算量都較大，對硬件要求較高。

基于上述分析，本文選擇對由滑動窗口裁剪后得到的圖片塊進行分類的方法，用一個網絡實現絕緣子自爆缺陷檢測。考慮到無人機在航拍過程中易受天氣等因素干擾導致圖像模糊[20]，影響圖像的質量和信息，造成檢測算法漏檢，本文在實現自爆缺陷檢測的同時實現對模糊圖像的識別。相對于背景，自爆絕緣子與正常絕緣子的區分難度更大，本文提出一種基于層次多任務深度學習的絕緣子自爆缺陷檢測模型，使用專用的卷積神經網絡區分自爆絕緣子和正常絕緣子，提高分類準確率。針對層次分類中的路徑錯誤問題，本文將層次分類模型與多任務學習算法相結合以增加粗粒度類別分類準確率，從而減少路徑錯誤問題。

此外，由于目前沒有標準的自爆絕緣子數據集，而航拍圖片中存在自爆缺陷的絕緣子數量、形態有限，導致卷積神經網絡學習到的自爆缺陷特征不足。卷積神經網絡學習到的特征決定了模型的性能，若學習到的特征不足將導致模型泛化能力弱，發生過擬合問題，因此需要對自爆絕緣子類別進行數據增強。

傳統的數據增強方法主要是翻轉、隨機裁剪、亮度變換等。在此基礎上，文獻[21]提出了使用3D軟件進行正常絕緣子建模的方法，但背景純凈的絕緣子圖片失去了絕緣子航拍圖像的背景復雜的特點。文獻[17]提出運用U-Net[22]將破損絕緣子串分割出來，再與復雜背景圖融合的方法進行數據增強，然而只是更換了背景和進行旋轉，自爆缺陷特征并未有效增加，并且由于圖像分割的精度有限，絕緣子圖像周圍存在背景的殘余像素。本文結合兩種方法，提出將仿真自爆缺陷絕緣子與復雜背景融合得到合成圖片以實現數據增強。

1 本文算法

1.1 層次多任務模型

1.1.1 層次分類

在分類任務中，一些類別比其他類別更難區分，傳統的平面分類（flat classification）將所有類別映射到同一個特征空間，忽視了不同類別之間的視覺可分離性是非常不均勻的。層次分類（hierarchical classification）使用粗粒度分類器先進行粗粒度分類，再使用細粒度分類器對粗粒度類別下的細粒度類別進行分類。對于細粒度分類器，其區分的類別數小于總的細粒度類別數，降低了分類的復雜度，且使其可以專注于該粗粒度類別下的視覺特性[23]。

1.1.2 用于自爆缺陷檢測的層次多任務分類模型

標簽樹由各種標簽按照一定的邏輯關系組織形成，絕緣子航拍圖片的標簽樹如圖1所示。依托標簽樹結構構建層次分類網絡，其重點在于契合粗粒度類別與細粒度類別間的關系，需要解決的是路徑錯誤問題，即當中間節點分類錯誤時必然會導致子類錯誤。文獻[24]依托深度為3的標簽樹構建了層次分類網絡（Hierarchical Deep-CNN, HD-CNN），由粗粒度分類器得到粗粒度類別概率，按閾值使對應的細粒度分類器動作得到細粒度類別概率，最終以粗粒度類別概率作為細粒度類別概率的權重得到最終預測概率，然而沒有考慮深度更深的標簽樹對應的網絡的構建。文獻[24]在構建層次分類模型時為避免路徑錯誤，若不在同一粗粒度類別下的多個細粒度類別特征相似，則將這些細粒度類別一起添加到多個粗粒度類別下，以訓練更具分類能力的分類器。

圖1 絕緣子航拍圖的標簽樹

圖1的絕緣子航拍圖標簽樹的特點在于一些粗粒度類別下沒有細粒度類別，即A中的模糊類和B中的背景類。由于背景類下沒有細粒度類別，背景和絕緣子的分類將僅依賴背景與絕緣子分類任務的結果，可能會發生路徑錯誤。本文借鑒文獻[24]，依托絕緣子航拍圖的標簽樹構建層次多任務卷積神經網絡，并根據絕緣子航拍圖的標簽樹的特點結合多任務學習改進。

本文采用的模型如圖2所示。粗粒度層A與粗粒度層B和細粒度層C對應的網絡分別為網絡1、網絡2和網絡3。將航拍圖片的圖片塊按模糊圖片和清晰圖片分類的二分類任務作為任務1；按背景圖片和絕緣子圖片分類的二分類任務作為任務2；按背景圖片、正常絕緣子圖片和自爆絕緣子圖片分類的三分類任務作為任務3。對于任務2和任務3，由于源域相同（清晰圖片），目標域相近，故將任務3添加到粗粒度層B的網絡與任務2構成多任務學習。多任務學習在模型中的作用有三點，一是提高粗粒度層B對應網絡的泛化能力；二是在預測時綜合兩個任務的輸出概率作為背景和絕緣子二分類的最終概率（見1.3節），以提高分類準確率，避免發生路徑錯誤；三是對于絕緣子圖片塊，其經過粗粒度層B對應的卷積網絡提取的特征中，包含了正常與自爆的分類特征，因此粗粒度層B對應的網絡提取到的圖片特征可以作為細粒度層C提取得到的圖片特征的補充信息。以正常絕緣子和自爆絕緣子二分類任務為任務4。

圖2 層次多任務學習模型

輸入的圖片塊大小為3×224×224（通道數×高×寬，下同），網絡1、網絡2和網絡3共享底層卷積層，即共享層。3個子網絡都由卷積神經網絡和全連接層組成，全連接層與對應的Softmax層構成分類器，對圖片經過CNN2輸出的特征與CNN3輸出的特征以特征向量級聯的方式進行特征融合，并切斷任務4損失函數向CNN2的反向傳播。訓練時通過標簽和損失函數的設置，圖片數據流向對應的標簽樹層級所對應的網絡。該模型具有較強的功能擴展性，若要增加識別雨天、霧天圖片，可添加到粗粒度層A，對網絡1，即共享層、CNN1和全連接層1進行微調（固定共享層的參數）；若要對其他絕緣子缺陷進行識別，則將任務添加到粗粒度層C對應的網絡3，此時需要對整個模型進行訓練。樣本標簽見表1。

表1 樣本標簽

Tab.1 Labels of samples

使用Softmax層輸出分類的概率值，將預測結果與標簽值輸入損失層，然后通過隨機梯度下降法（Stochastic Gradient Descent, SGD）迭代更新網絡參數。Softmax公式（省略偏置項）為

損失函數采用負對數似然函數，即

式（3）中m和k隨變化的取值見表2。

表2m和k的取值

Tab.2 Values of mn and kn

總損失函數為

1.2 網絡結構及參數

綜合特征提取能力、參數量和計算量的考慮，本文采用Resnet網絡[25]作為特征提取網絡進行實驗。Resnet網絡在2015年的ILSVRC(imagenet large scale visual recognition challenge)中的分類任務上取得第一，其引入了短路連接結構構成殘差模塊，解決了卷積神經網絡訓練中可能出現的梯度消散問題和當網絡較深時出現的網絡退化問題，使更深的卷積神經網絡得以實現。考慮任務的難度，網絡1選擇Resnet-18結構，網絡2和網絡3選擇Resnet-50結構，并改動了全連接層的參數，網絡結構及參數見表3。由于網絡3的全局平均池化層輸出的特征向量與網絡2的進行級聯，因此對于全連接層4，其輸入為4 096維的特征向量。倒數第二層之前的全連接層的輸出按順序經過BN層、ReLU激活函數和概率為0.5的dropout層后輸入下一層。倒數第二層的全連接層的輸出按順序經過BN層和ReLU激活函數后輸入最后一層。最后一層全連接層后為Softmax層，輸出各個類概率值。

表3 網絡結構及參數

Tab.3 Network structure and parameters

1.3 推斷的算法

2 絕緣子航拍圖像數據集

2.1 對自爆類進行數據增強

現實中輸電線路上的絕緣子占絕大多數且為正常絕緣子，自爆絕緣子航拍圖片難以收集，導致自爆類數據量不足。公開數據集CPLID(Chinese power line insulator dataset)[17]中有600張正常絕緣子航拍圖和248張有自爆缺陷的絕緣子圖片，而248張自爆絕緣子航拍圖片是由9張原始自爆絕緣子航拍圖片經過數據增強得到的，自爆類數據量過少。訓練數據不足將導致卷積神經網絡過擬合，影響模型性能，因此對自爆類進行數據增強是必要的。經過觀察，真實自爆絕緣子的特點是傘裙缺失而鐵帽、鋼腳仍然存留。根據其特點可通過對正常絕緣子航拍圖像進行圖像處理，以及通過合成自爆類圖像對自爆類數據進行數據增強。

2.1.1 對正常絕緣子航拍圖進行圖像處理

使用圖像處理軟件對正常絕緣子的航拍圖像進行圖像處理以獲得自爆絕緣子[26]，如圖3所示。通過該方法獲得的自爆絕緣子圖片樣本作為真實來源的樣本用于卷積神經網絡的訓練和測試。

2.1.2 合成自爆類圖片

利用3D建模軟件進行絕緣子建模，并將仿真絕緣子與復雜背景融合實現自爆類數據增強。使用這種方法可得到傘形、角度、顏色和尺度等特征不同且具有自爆缺陷的大量絕緣子航拍圖片。

圖3 對正常絕緣子圖像進行圖像處理

觀察數據集CPLID中的絕緣子特征，傘形為雙傘形或鐘罩形，長度為500~800像素。按照這些特征在3D建模軟件中進行絕緣子串建模與渲染。存在自爆缺陷的雙傘形和鐘罩形仿真絕緣子串如圖4所示。

圖4 雙串仿真絕緣子

圖5 制作合成航拍圖過程

圖6為對正常絕緣子的航拍圖像進行圖像處理得到的自爆絕緣子（上欄）與特征相似的合成自爆絕緣子（下欄）的對比。可見與合成絕緣子圖片相比，對正常絕緣子圖像進行圖像處理得到的圖片更接近真實圖片，但是絕緣子串的形態無法更改；合成自爆絕緣子圖片方法能夠獲得與真實自爆絕緣子相似的形狀特征，具有能快速獲得大量不同傘形、不同角度、不同光照、不同尺度的具有自爆缺陷的絕緣子圖片的優點。

圖6 真實絕緣子圖像與合成絕緣子圖像

2.2 制作數據集

由于合成圖像在顏色上與真實的差異較大，因此對圖片塊進行灰度化處理。采用較小的滑動窗口對航拍圖像進行裁剪再將圖片塊放大為224×224作為網絡輸入，以避免在下采樣過程中損失過多圖像特征。最后對圖像塊進行水平翻轉和水平剪切變換的數據增強操作。模糊航拍圖片由互聯網收集得到，最終數據集中數據分布情況見表4。

表4 數據集中的數據分布

Tab.4 Distribution of picture samples in data set

3 實驗結果與分析

使用準確率評價分類器整體性能，使用精確率、召回率和F1分值評價對某一類別的分類性能。

3.1 實驗環境及訓練參數

本文使用torch7框架進行實驗，操作系統為Ubuntu16.04，顯卡驅動為Nvidia 384.130，GPU并行計算庫為Cuda8.0。硬件配置中CPU為Intel(R) Xeon(R)Bronze 3106，主頻1.70GHz，顯卡為兩塊Nvidia GeForce GTX 1080ti。訓練參數見表5。

表5 訓練參數

Tab.5 Training parameters

（續）

3.2 驗證合成數據集有效性

為了驗證本文提出的制作合成自爆類圖像的數據增強方法的有效性，比較平面分類模型下未添加合成圖片時與添加合成圖片后的自爆類測試召回率。平面分類模型由特征提取網絡和全連接層構成，其中特征提取網絡為Resnet-50，全連接層結構同表3中的全連接層3，任務為模糊圖片、背景、正常絕緣子和自爆絕緣子四分類任務。自爆類召回率的結果如圖7所示。從圖7中可以看出，不添加合成圖片時，由于訓練集中自爆絕緣子數據過少，特征泛化能力差，召回率較低且存在振蕩；添加合成圖片后自爆絕緣子召回率顯著提高，且收斂較快，證明了制作合成自爆類圖像的數據增強方法的有效性。

圖7 測試中添加合成圖片前后的自爆類召回率曲線

3.3 層次多任務學習模型整體分類性能

層次多任務模型四個任務的測試準確率隨時期的變化曲線如圖8所示。從圖8中可看出，區分模糊圖像和清晰圖像的任務1的準確率最高，接近于1；區分背景和絕緣子的任務2的準確率收斂后達到了98%以上；任務3和任務4的主要分類難點為正常絕緣子和自爆絕緣子的分類，準確率最低，符合層次分類中粗粒度和細粒度的分類難度。由于CNN2與CNN3進行了特征融合，任務3和任務4的準確率曲線非常相近，且由于任務4只區分正常類和自爆類，任務4在準確率上整體略高于任務3，體現了層次分類優于平面分類。

圖8 層次多任務模型四個任務的測試準確率曲線

當任務4的準確率最高時的模型為最優模型，最優模型的四個任務的測試準確率見表6。

表6 最優模型的四個任務的測試準確率

Tab.6 Test accuracy of the four tasks of the optimal model

3.4 任務2及任務3的權重的選擇

以任務4準確率最高時的模型為最優模型，為減少路徑錯誤，找到最優模型下區分背景和絕緣子類的性能最優的權重和，令從0開始以0.001的數值增加到1，相應的從1開始以0.001的數值減小到0，得到(0,1)，(0.001,0.999)，…，(1,0)共1 001個權重組，其中權重組(0,1)表示分類結果完全根據任務3決定。每個權重組都對應一組絕緣子類的精確率、召回率及F1分值，畫出絕緣子類的精確率、召回率和F1分值隨權重組的變化曲線，如圖9所示。以F1分值為最終評價指標，第335個權重組下F1分值為最高值，對應的權重為(0.334,0.666)，此時精確率為0.996 7，召回率為0.990 6，F1分值為0.993 6。

圖9 絕緣子類分類結果隨權重組的變化曲線

3.5 層次多任務學習有效性實驗

在得到最優權重后，綜合四個任務的結果得到層次分類模型的自爆類分類性能。由被誤分類為自爆類的模糊類、背景類和正常類的數量之和與自爆類中分類正確的數量計算自爆類精確率；由自爆類中分類錯誤的數量與分類正確的數量計算自爆類召回率。

為了驗證本文提出的層次多任務模型的有效性，比較層次多任務模型、普通層次模型（即無任務3和特征融合結構）與平面分類模型對自爆類的分類性能，實驗結果見表7。

表7 三種模型的自爆類分類性能實驗結果

Tab.7 The experimental results of classification performance of the self-explosion class for three models

由表7可以看出，三種模型的自爆類精確率都較高，說明被誤分類為自爆類的圖片數量較少。層次多任務模型及普通層次模型的自爆類F1分值高于平面分類模型，說明采用層次模型提高了卷積神經網絡的特征學習能力，比平面分類模型更好地解決了絕緣子自爆缺陷檢測問題。層次多任務模型在三個指標上優于普通層次模型，說明層次多任務學習模型采用的多任務學習以及特征融合方法使模型的分類能力得到提升。

4 結論

為了解決自爆絕緣子圖片數據不足的問題，本文提出利用3D軟件進行絕緣子建模并與復雜航拍背景融合制作合成圖片的方法。由于自爆絕緣子與正常絕緣子的區分難度更大，本文提出一種基于層次多任務深度學習的絕緣子自爆缺陷檢測模型，并實現了對模糊圖片和清晰圖片的分類。針對層次分類模型中的路徑錯誤問題，在層次分類模型中引入多任務學習，減少路徑錯誤。實驗結果顯示，合成數據實現了數據增強，有效地防止了網絡出現過擬合問題；選擇合適的權重綜合任務2和任務3的結果后減少了路徑錯誤；層次多任務學習模型的自爆絕緣子分類召回率達到97.21%，F1分值達到0.983 1，相比于平面分類模型和普通層次模型更高，說明采用層次多任務模型的特征學習能力更強。

下一步應收集覆冰絕緣子等其他絕緣子缺陷類型圖像，實現對各種絕緣子缺陷的有效檢測。

[1]王淵, 馬國明, 周宏揚, 等. SF6/N2混合氣體中直流疊加雷電沖擊復合電壓作用下絕緣子閃絡特性[J].電工技術學報, 2019, 34(14): 3084-3092. Wang Yuan, Ma Guoming, Zhou Hongyang, et al. Flashover characteristics of spacers in SF6/N2-filled under composite voltage of DC and lightning impulse[J]. Transactions of China Electrotechnical Society, 2019, 34(14): 3084-3092.

[2]張漢花, 鄒軍, 田蓓, 等. 高空核爆電磁脈沖激勵下架空輸配電線路絕緣子閃絡情況分析[J]. 電工技術學報, 2020, 35(2): 435-443. Zhang Hanhua, Zou Jun, Tian Bei, et al. Flashover possibility analysis of overhead power transmission and distribution line insulators with the excitation of high altitude electromagnetic pulse[J]. Transactions of China Electrotechnical Society, 2020, 35(2): 435-443.

[3]王旭紅, 李浩, 樊紹勝, 等. 基于改進SSD的電力設備紅外圖像異常自動檢測方法[J]. 電工技術學報, 2020, 35(增刊1): 302-310. Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310.

[4]周封, 任貴新. 基于顏色空間變量的輸電線圖像分類及特征提取[J]. 電力系統保護與控制, 2018, 46(5): 89-98. Zhou Feng, Ren Guixin. Image classification and feature extraction of transmission line based on color space variable[J]. Power System Protection and Control, 2018, 46(5): 89-98.

[5]左國玉, 馬蕾, 徐長福, 等. 基于跨連接卷積神經網絡的絕緣子檢測方法[J]. 電力系統自動化, 2019, 43(4): 101-108. Zuo Guoyu, Ma Lei, Xu Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(4): 101-108.

[6]王浩, 楊東升, 周博文, 等. 基于并聯卷積神經網絡的多端直流輸電線路故障診斷[J]. 電力系統自動化, 2020, 44(12): 84-95. Wang Hao, Yang Dongsheng, Zhou Bowen, et al. Fault diagnosis of multi-terminal HVDC transmission line based on parallel convolutional neural network[J]. Automation of Electric Power Systems, 2020, 44(12): 84-95.

[7]馮雙, 陳佳寧, 湯奕, 等. 基于SPWVD圖像和深度遷移學習的強迫振蕩源定位方法[J]. 電力系統自動化, 2020, 44(17): 78-91. Feng Shuang, Chen Jianing, Tang Yi, et al. Location method of forced oscillation source based on SPWVD image and deep transfer learning[J]. Automation of Electric Power Systems, 2020, 44(17): 78-91.

[8]李建閩, 林海軍, 梁成斌, 等. 基于雙分辨率S變換和學習向量量化神經網絡的電能質量擾動檢測方法[J]. 電工技術學報, 2019, 34(16): 3453-3463. Li Jianmin, Lin Haijun, Liang Chengbin, et al. Detection method of power quality disturbances based on double resolution S transform and learning vector quantization neural network[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3453-3463.

[9]向川, 王惠, 史鵬飛, 等. 基于改進脈沖耦合神經網絡模型的真空電弧燃燒過程研究[J]. 電工技術學報, 2019, 34(19): 4028-4037. Xiang Chuan, Wang Hui, Shi Pengfei, et al. Research on the combustion process of vacuum arc based on an improved pulse coupled neural network model[J]. Transactions of China Electrotechnical Society, 2019, 34(19): 4028-4037.

[10]劉思言, 王博, 高昆侖, 等. 基于R-FCN的航拍巡檢圖像目標檢測方法[J]. 電力系統自動化, 2019, 43(13): 162-172. Liu Siyan, Wang Bo, Gao Kunlun, et al. Object detection method for aerial inspection image based on region-based fully convolutional network[J]. Automation of Electric Power Systems, 2019, 43(13): 162-172.

[11]白潔音, 趙瑞, 谷豐強, 等. 多目標檢測和故障識別圖像處理方法[J]. 高電壓技術, 2019, 45(11): 3504-3511. Bai Jieyin, Zhao Rui, Gu Fengqiang, et al. Multi-target detection and fault recognition image processing method[J]. High Voltage Engineering, 2019, 45(11): 3504-3511.

[12]Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[13]吳濤, 王偉斌, 于力, 等. 輕量級YOLOV3的絕緣子缺陷檢測方法[J]. 計算機工程, 2019, 45(8): 275-280. Wu Tao, Wang Weibin, Yu Li, et al. Insulator defect detection method for lightweight YOLOV3[J]. Computer Engineering, 2019, 45(8): 275-280.

[14]Redmon J, Farhadi A. YOLOv3: an incremental improvement[EB/OL]. [2018-12-13]. https: //arxiv. org/pdf/ 1804. 02767. pdf.

[15]Bai Ruixian, Cao Hui, Yu Yajie, et al. Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (Match 2018)[C]// 2018 3rd IEEE International Conference on Advanced Robotics and Mechatronics (ICARM), Singapore, 2018: 824-828.

[16]張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經網絡絕緣子狀態檢測方法[J]. 電工技術學報, 2019, 34(16): 3311-3321. Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[17]Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.

[18]侯春萍, 章衡光, 張巍, 等. 輸電線路絕緣子自爆缺陷識別方法[J]. 電力系統及其自動化學報, 2019, 31(6): 1-6. Hou Chunping, Zhang Hengguang, Zhang Wei, et al. Recognition method for faults of insulators on transmission lines[J]. Proceedings of the CSU-EPSA, 2019, 31(6): 1-6.

[19]潘哲, 張興忠, 楊罡, 等. 弱監督細粒度分類在絕緣子故障識別中的應用[J/OL]. 山西大學學報: 自然科學版, 2020: 1-12. Pan Zhe, Zhang Xingzhong, Yang Gang, et al. Application of weakly supervised fine-grained classification in insulator fault identification[J]. Journal of Shanxi University: Natural Science Edition, 2020: 1-12.

[20]李喆, 李建增. 小型無人機模糊圖像復原問題分析[J]. 兵器裝備工程學報, 2019, 40(3): 165-168. Li Zhe, Li Jianzeng. Analysis of blurred image restoration for small UAV[J]. Journal of Ordnance Equipment Engineering, 2019, 40(3): 165-168.

[21]程海燕, 韓璞, 董澤, 等. 無人機航拍電力部件圖像準確分類[J]. 計算機仿真, 2018, 35(8): 424-428. Cheng Haiyan, Han Pu, Dong Ze, et al. Accurate classification of UAV aerial images contained power facilities[J]. Computer Simulation, 2018, 35(8): 424-428.

[22]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//International Conference on MedicalImage Computing and Computer-Assisted Intervention, 2015: 234-241.

[23]趙其魯, 李宗民. 基于深度多任務學習的層次分類[J].計算機輔助設計與圖形學學報, 2018, 30(5): 886-892. Zhao Qilu, Li Zongmin. Deep multi-task learning for hierarchical classification[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(5): 886-892.

[24]Yan Zhicheng, Zhang Hao, Piramuthu R, et al. HD-CNN: hierarchical deep convolutional neural networks for large scale visual recognition[C]//Proceedings of International Conference on Computer Vision, Los Alamitos: IEEE Computer Society Press, 2015: 2740-2748

[25]He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, DOI: 10. 1109/CVPR. 2016. 90

[26]Han Jiaming, Yang Zhong, Zhang Qiuyan, et al. A method of insulator faults detection in aerial images for high-voltage transmission lines inspection[J]. Applied Sciences, 2019, 9(10): 2009.

Insulator Self-Explosion Defect Detection Based on Hierarchical Multi-Task Deep Learning

Xu Jianjun Huang Lida Yan Limei Yi Na

（School of Electrical Engineering and Information Northeast Petroleum University Daqing 163318 China）

Insulators are important and widely used devices in power lines. With the rapid popularization of unmanned aerial vehicles in recent years, detecting insulator self-explosion defect from aerial images has become a hot issue. In aerial images, distinguishing self-explosion insulators from normal insulators is more difficult than from other contents. The paper proposed an insulator self-explosion defect detection model based on hierarchical multi-task deep learning, using a dedicated convolutional neural network to distinguish self-explosion insulators from normal insulators. To improve the classification accuracy, multi-task learning and feature fusion method were used in the hierarchical model. Furthermore, in view of the lack of self-explosion insulator data, the paper proposed to use synthetic pictures for data augmentation. The experimental results show that adding synthetic pictures can effectively improve the recall rate of self-explosion class, and the hierarchical multi-task learning model achieves stronger classification performance than the flat classification model and the ordinary hierarchical model.

Insulator, multi-task learning, defect detection, deep learning, hierarchical classification

TP216

10.19595/j.cnki.1000-6753.tces.L90049

國家自然科學基金（51774088）和黑龍江省自然科學基金（LH2019E016）資助項目。

2020-06-10

2020-12-09

徐建軍 男，1971年生，教授，博士生導師，研究方向為電力系統安全穩定。E-mail：xujj@nepu. edu. cn

閆麗梅 女，1971年生，教授，博士，研究方向為電力系統安全穩定。E-mail：yanlimeidaqing@163.com（通信作者）

（編輯 郭麗軍）