基于Yolact++的氧化鋅避雷器紅外圖譜智能識別診斷

葉兆平 黃亞藝 劉 旭 紀錫亮 戴沈祥

(1.國網福建省電力有限公司電力科學研究院,福建 福州 350007；2.福建中試所電力調整試驗有限責任公司，福建 福州 350007；3.國網福建省電力有限公司，福建 福州 350003；4.南京南瑞信息通信科技有限公司，江蘇 南京 210015)

0 引言

隨著帶電檢測工作的發展和應用，紅外成像檢測成為評估變電站設備的重要手段[1-5]，避雷器的內部受潮或者閥片劣化，均能引起避雷器的發熱[6-9]。根據《帶電設備紅外診斷應用規范》(DL/T 664-2016)，紅外測溫檢測工作已經納入變電設備的例行檢測工作，330kV～750kV變電站全站設備，每年不宜少于2次紅熱檢測，220kV及以下變電站，每年不少于1次檢測。

以福建省為例，全省每年可產生數萬張避雷器紅外熱成像圖譜?，F階段，對紅外圖譜中的設備進行故障判別，可采用人工直觀觀察法和軟件后期判斷法，使用人工直觀觀察避雷器紅外圖譜，由于避雷器缺陷溫差小，易造成誤判或漏判；采用紅外后期軟件處理，需檢測人員手動標注避雷器溫度框，標準溫度框如圖1所示，進而讀取每一溫度框中的溫度，進行不同區域或不同相溫度比對，判斷避雷器有無缺陷及缺陷等級，造成極大人力負擔。 本文采用軟件圖譜智能識別，能夠自動完成紅外圖譜中避雷器本體的識別，圖像分割、避雷器溫度提取、溫度自動比對及缺陷分類工作，減少檢測人員的工作量，降低缺陷設備的漏檢率。

圖1 紅外熱成像人工讀取溫度方框

目前，圖譜識別一般分為傳統分割算法和深度學習方法[10]。傳統分割算法有閾值分割法、局部區域聚類及邊緣檢測分割算法等[11-17]，深度學習算法有Mask-RCNN、Fast-RCNN、U-net等[18-25]。采用Mask-RCNN、Fast-RCNN等算法在紅外圖譜識別上已經取得了一定的應用效果[21-24]，但上述算法在圖像分割速度達百毫秒級別[26-27]，無法滿足現場圖譜的實時判斷及診斷。本項目提出了基于Yolact++的避雷器紅外圖譜的分割技術，能夠實時識別設備目標、輪廓分割及溫度提取。該算法可進一步應用在無人機及變電站巡視機器人等實時性要求高的系統。

1 圖譜智能識別手段

本項目采用目標檢測和實例分割相結合的方法，將避雷器實例分割過程分為二步，第一步進行目標檢測，確定目標避雷器的矩形框，除去紅外圖譜背景中的雜亂信息，本文采用Yolov 5s算法；第二步實例分割，對含有避雷器紅外圖像的矩形框進行實例分割，得到的實例掩碼即為避雷器的實例掩碼，本文采用Yolact++算法。

1.1 Yolov 5s算法

Yolov 5s由Ultralytics LLC公司提出，該模型整體結構與Yolov 4類似，分為Input、Backbone、Neck和Prediction 4個部分，Input 部分包括數據增強、自適應錨框計算、自適應圖片縮放等創新點； Backbone含有Focus結構和CSP結構，為Yolov 5s主體結構；Neck由FPN及PAN結構組成，利用上一部分提取到的信息，提高提取能力；Prediction使用GIOU_Loss作為損失函數。

該部分為目標檢測部分，智能識別電氣設備類型，屏蔽紅外圖譜中背景信息，減少訓練庫圖譜數量，提高精度。

1.2 Yolact++算法原理

Yolact++是一種實時實例分割算法，為Daniel Bolya等在Yolact算法上加以改進[28]，在保證精度的同時，進一步提升實時性。不同于Mask-RCNN算法，Yolact++是一種單階(one-stage)模型算法，該算法分成兩個并行子分支，并在Yolact算法基礎上，對以下幾個方面加以改進[27,29]：①Backbone加入可變形卷積，提升主干網絡對不同形狀實例的特征采樣能力；②優化預測頭，使用更好的anchor長寬比以提高大目標的召回；③引入了一個掩膜重評分支。

1.2.1 可變形卷積

可變形卷積(DCNs)將采樣位置偏移作為可學習參數的自由式采樣代替了傳統CNN中采樣位置偏移為零作為先驗假設的剛性網格采樣，提高了圖像分割模型的精度，可變形卷積的實現方式如圖2所示。

圖2 3×3可變形卷積示意圖

從圖2可以看出，可變形卷積是在不同的卷積層后面加入一個卷積層來學習輸入特征圖中每個像素點的位置偏移ΔP。傳統CNN中對pk處的值的計算公式如下：

(1)

其中，R為剛性網格感受野位置集合；pi是對R中所列位置枚舉；y(pk)為卷積結果。

可變形卷積對pk處的值的計算公式如下：

(2)

其中，R為剛性網格感受野位置集合；pi是對R中所列位置枚舉；y(pk)為卷積結果；ΔP為每個像素點的位置偏移；Δpi∈ΔP，由于Δpi一般不是整數，因此x(pk+pi+Δpi)的值需要通過雙線性插值計算后得到。

1.2.2 Prediction Head優化

Prediction Head分支的網絡結構如圖3所示。

圖3 Prediction Head 網絡結構

該結構有3個分支Class Layer、Box Layer和Mask Layer，對不同尺寸的特征圖采用共享參數的方式，在減少卷積網絡參數的同時提高了推理速度，使得網絡推理速度能達到實時分割的效果。特征圖的每一個像素點生成3個anchor，由于生成了大量的anchor，根據IoU的計算特點，提出了 Fast NMS篩選算法，在輕微損失精度的情況下，提高了篩選效率。由于Yolact++沒有使用全連接(FC)網絡和拼接操作，使得Yolact++網絡的推理速度相較于Mask-RCNN有了較大的提升。

1.2.3 掩膜重評分支

掩膜重評(Mask Re-Scoring)分支使用 Yolact 生成的裁剪后的原型 mask(未進行閾值化操作)作為輸入，輸出對應每個類別的GT-mask的IoU。該結構分為69×69×8、35×35×16、18×18×32、9×9×64、5×5×128及5×5×c等6層卷積和1個池化層組成。

1.3 項目目標識別及溫度提取

本項目整體流程圖如圖4所示，該算法優先對目標檢測，可擴展性強，若有其他電氣設備開展此工作，可以對標注對象進行動態調整，利于模型的更換迭代訓練。另外，該方法可處理拍攝紅外圖譜中設備輕微遮擋情況。

圖4 避雷器輪廓識別流程圖

1.4 整體模型介紹

在對避雷器進行實例分割的基礎上，通過紅外圖譜處理軟件的接口或者采用溫度數據與溫度值對應關系的擬合曲線[21]，讀取避雷器區域的溫度，過程如圖5所示。

圖5 避雷器狀態智能判斷流程圖

根據《帶電設備紅外診斷應用規范》(DL/T 664-2016)，氧化鋅避雷器正常為整體輕微發熱，分布均勻，當存在一處溫度高于整體溫度的0.5～1K，判斷避雷器存在異常情況，把上述判斷導則寫入圖5的缺陷診斷部分，最后以狀態情況結果呈現。

對于紅外熱成像圖譜，常用的有3種分辨率：640×480、320×240、160×120，如今，現場檢測普遍采用640×480，本項目采用640×480的紅外熱成像圖譜。

2 實例測試結果及分析

避雷器相比變壓器、斷路器等其他電力設備，結構較為單一，按照避雷器的外形進行分類，35kV～110kV氧化鋅避雷器一般為單節避雷器，220kV氧化鋅避雷器一般具有上下兩節，500kV氧化鋅避雷器一般分為上、中、下三節，在訓練樣本庫中分為上述三類。本次收集各電壓等級避雷器樣本，含不同廠家的瓷外套及復合外套的避雷器，35kV～110kV避雷器共收集樣本365張，220kV避雷器收集樣本210張，500kV避雷器收集樣本150張。

①為避免彩色圖像帶來的算法泛化性能差的問題，對避雷器紅外圖譜進行灰度處理，在灰度值與溫度值的關系中應用最小二乘擬合[30]，把紅外圖譜的真彩色線性映射到[0,255]灰度區間。

②對收集的圖譜進行翻轉、旋轉、平移，增強紅外圖譜數據工作。

③采用Labelme軟件對避雷器紅外圖譜進行預處理，使用人工的方法對收集到的每一張紅外圖譜進行輪廓框圖，制成訓練樣本庫，如圖6所示。

圖6 避雷器紅外圖譜預處理

2.1 數據處理及模型訓練

2.1.1 數據處理

由于偽彩色圖譜的顏色可以進行色彩調整，因此直接采用偽彩色圖像進行訓練得到的模型參數難以進行推廣應用。本文首先從紅外圖譜中解析出溫度數據，然后剔除異常數據，最后通過映射變換將溫度數據映射到[0,255]區間以生成灰度圖像，圖譜映射如公式(3)所示。以灰度圖像作為訓練數據，提升模型的泛化能力和魯棒性。

(3)

其中，T為經過處理后的溫度矩陣，Tmin為T的最低溫，Tmax為T的最高溫，?」為向下取整運算符。

2.1.2 模型訓練

為了加快模型收斂，在模型訓練過程中采用了遷移學習的方式進行模型訓練。首先將氧化鋅避雷器的灰度圖像按照3∶7的比例將數據劃分為測試集和訓練集兩部分，然后加載以COCO數據集為基礎進行訓練的權重文件，進行20000次的模型訓練，記錄每輪模型的損失函數。各個損失函數的變化情況如圖7所示，其中box_loss，cls_loss,mask_loss，seg_loss，instance_loss，total_loss分別代表方框回歸損失、目標分類損失、掩碼損失、分割損失、實例損失、總損失。

圖7 20000次迭代損失函數變化

通過觀察圖7各損失函數變化，各損失值隨著訓練次數的增加逐漸減小并趨于穩定?？梢钥闯?，損失函數并不是每次都會降低而是整體上趨于下降，在16000次以后損失函數逐漸穩定，沒有明顯下降，而是在一個小范圍內震蕩。

2.2 避雷器智能識別情況

如圖8所示，在只有單只氧化鋅避雷器的情況下，避雷器的輪廓完全被紅外的綠色掩膜標記出，并對避雷器的邊緣進行了細致描繪，紅外的分割掩碼也完全覆蓋在避雷器的目標上，此方法從理論上能夠完全正確識別紅外圖譜中的避雷器，并正確對紅外圖譜中的避雷器的特征進行框選。

圖8 單只避雷器識別情況

圖9為2只避雷器的紅外圖譜的結果分析，目標可以清晰被識別出來，并分析出2個避雷器的特征部位，取得了理想結果。

圖9 多只避雷器識別情況

2.3 性能對比測試情況

采用Yolact++，對像素640×480的避雷器紅外圖譜進行智能識別，讀取避雷器區域每個像素的溫度，測試結果為：在CPU為Intel Core i7-6800K，GPU為RTX2080ti環境下，目標檢測時間14ms～15ms，實例分割時間29ms～30ms，溫度解析、數據分析及處理時間為200ms～300ms，平均精度32.1。

在相同測試條件下，采用Mask-RCNN的目標檢測和實例分割算法，時間總長達約2000ms，平均精度34.7，現有路線與Mask-RCNN相比，在平均精度持平的情況下，時長得到了很大提高。

2.4 避雷器紅外圖譜特點及識別難點

由于紅外圖譜的自身情況及拍攝者的技能差別，紅外圖譜在智能識別訓練過程中，存在以下幾個難點：

①部分紅外圖譜質量較差，存在圖譜照片所呈現的設備較模糊，對圖譜樣本造成一定污染，需前期篩選剔除。

②部分避雷器紅外圖譜存在遮擋特點，現場拍攝過程只拍攝出部分設備。

③紅外圖譜的數據格式不統一，讀取圖譜溫度的難度增大，全國范圍每一廠家紅外圖譜格式不相同，單一程序不能有效讀取全種類圖譜溫度。本次采用國家電網統一的紅外圖譜格式，便于后期圖譜溫度的讀取。

3 結束語

本項目基于Yolact++的紅外圖譜智能識別技術，能夠實時、準確判斷變電站避雷器設備，并對其進行實例分割，通過軟件后期處理，讀取避雷器本體部分的溫度，判斷避雷器的運行狀態。實例證明，該算法能夠快速準確地完成避雷器紅外圖譜的實時實例分割，滿足現場無人機或機器人實時判斷，下一步工作將研究推廣至變壓器、斷路器、互感器等設備。

另外，在算法成熟的基礎上，建立基于人工智能平臺，實現現場紅外圖譜自動上傳、自動識別及智能診斷的全流程作業，提高設備狀態檢測智能化水平，降低現場人員的工作量。