復合絕緣子夜間巡視圖像智能處理技術研究

王仁書 吳文斌 董懿飛 梁曼舒 劉志鵬

(1.國網福建省電力有限公司電力科學研究院，福建 福州 350007；2.福州大學電氣工程與自動化學院,福建 福州 350108；3.國網福建省電力有限公司莆田供電公司,福建 莆田 351100)

0 引言

據統計，自1980年以來，已有600多萬支復合絕緣子在現場使用。長期使用的復合絕緣子，受到潮濕環境、工業污染、近海鹽霧等因素影響，會出現不同程度的酥朽老化、污閃、異常發熱等問題，給線路的安全運行造成隱患。因此，需要在巡視過程中及時發現這些問題。

目前，開始廣泛使用無人機作為巡視拍攝工具，其中以大疆御2行業進階版和M300為代表，具備了同時拍攝可見光和紅外圖像的功能，極大提升了線路巡視效率，但仍存在以下問題：①目前巡視工作主要是在白天開展，由于日照升溫、陽光干擾等因素，影響巡視紅外圖像的拍攝效果，甚至無法進行異常發熱判斷；②復合絕緣子上污閃放電現象較微弱時，在日間陽光干擾下難以發現；③目前的紅外圖像分析主要依賴人工方式進行溫度查看和狀態診斷，效率低且易出錯[1-3]。因此，為了實現準確、高效的線路巡視，一方面需要減少巡視過程中的干擾，如采用夜巡方式提高故障發現的概率；另一方面需要借助先進智能算法，提升結果分析的可靠性。

夜間巡視有利于發現異常放電點和紅外圖像拍攝，但也存在兩個問題：一是現場作業光線不足，作業人員難以發現巡視目標；二是現場進行紅外圖像分析存在一定困難。針對上述問題，本文開展夜巡圖像(包括可見光和紅外圖像)的處理技術研究。首先，進行可見光圖像的處理，自適應增強圖像照度和放電點標識，輔助作業人員發現缺陷目標；其次，基于深度學習算法對紅外圖像進行智能識別，從紅外圖像中識別復合絕緣子，同時提取絕緣子溫度，并且進行絕緣子缺陷的智能判斷。通過采用智能分析技術，實現夜巡圖像快速處理，實現復合絕緣子的狀態快速診斷。

1 整體流程介紹

為了配合提升夜間巡視現場作業效率，在現有的無人機巡視作業流程基礎上，進一步融合了可見光和紅外圖像智能處理算法，具體流程如圖1所示。

圖1 夜間巡視流程中的圖像處理

在夜間無人機巡視作業過程中，作業人員先進行可見光圖像的拍攝，通過可見光圖像增強和放電點的自動標識，輔助作業人員在夜間照度不足的情況下快速發現故障目標；在確定故障目標后，進行紅外圖像拍攝，拍攝的紅外圖像使用深度學習智能算法先進行智能分割，提取目標絕緣子在紅外圖像中的位置，然后再提取溫度值，為故障狀態智能判斷提供基礎。

2 可見光圖像處理方法

2.1 可見光圖像處理流程

可見光圖像處理流程如圖2所示，首先進行圖像照度檢測，對輸入的可見光圖像判斷照度數值是否滿足設定值，如果不滿足設定值要求，則需要進行照度增強處理。其中，照度設定值是使用檢測方法對日常巡視圖像進行照度檢測后得出的合理照度值范圍。若圖像照度已滿足要求，則進一步進行放電點的標識，當完成放電標識后，即結束可見光圖像處理流程。

圖2 可見光圖像處理流程

2.2 照度增強理論

圖像增強是采用量化處理技術改善圖像的視覺效果，并選擇性地突出圖像中所關注的特征[4]。其中，針對圖像亮度不足的情況，Land于1963年提出Retinex圖像增強方法[5]。如圖3所示，該方法認為人眼觀測到的圖像亮度是由光源照射分量和物體反射系數決定的，通過濾除照射分量，保留物體反射屬性，實現低照度圖像的增強。與一些線性圖像增強只能處理某一類特征不同，Retinex方法可以綜合平衡動態范圍壓縮、邊緣增強和顏色恒常等因素，從而實現對不同圖像的自適應增強[6]。

圖3 Retinex理論中的圖像分解

可用以下公式表示：

S(x,y)=R(x,y)·L(x,y)

(1)

其中，S(x,y)為最后拍攝觀測到的圖像，R(x,y)為反射圖像，L(x,y)為亮度圖像。基于Retinex方法的圖像增強方法中，圖像由入射圖像和反射圖像構成。圖像的處理公式如下：

(2)

上式中，r(x,y)為處理后圖像的對數值，F(x,y)是中心環繞函數，c為高斯環繞尺度，λ是調節尺度。因此，得到圖像表達式如下：

r(x,y)=logS(x,y)-log[F(x,y)?S(x,y)]

(3)

從上式可以看出，Retinex算法通過中心環繞函數實現圖像的處理。

2.3 放電點的自動標識

在圖像增強處理后，放電點在圖像以淡藍色區域呈現，為了進一步標識出放電點區域，采用區域生長算法進行放電區域標識。

①在已有的歷史圖像中，提取包含放電點的圖像區域，并分析圖像區域中心點的圖像像素特征值，并設定為種子像素的選擇標準。

②對待處理的圖像進行掃描，進行種子像素的特征匹配，確定圖中的第i個種子像素(xi，yi)，并設置堆棧Ti。

③以(xi，yi)為中心，以r為半徑進行區域擴展，搜索區域內與種子像素匹配的點，如果匹配，則將該點寫入堆棧Ti；如果未發現匹配的像素點，則結束生長。

④在第3步中完成堆棧寫入后，繼續增加生長半徑為r+step，其中step為生長次數，并重復第3步計算。

3 紅外圖像智能處理方法

3.1 紅外圖像處理流程

目前，學者針對紅外圖像處理技術開展了諸多研究，特別是深度學習算法逐漸成為處理紅外圖像的有效方法，但在紅外圖像目標提取以及溫度解析方面，不同研究之間還存在差異，需要根據具體場景進行優化設計[7-9]。本文根據無人機拍攝紅外圖像特點和現場作業流程，制定紅外圖像處理過程如圖4所示。原始的紅外圖像中包括溫度數值信息，通過圖像預處理得到了RGB圖像和溫度數值矩陣。然后，為了提升目標分割提取的準確度，在利用U-net模型進行絕緣子分割時，將紅外圖像和溫度數值都進行特征挖掘和融合。在分割圖像后，再進一步定位絕緣子中心線，并映射到溫度矩陣中，從而得到絕緣子的中心線溫度。最后，再利用卷積神經網絡模型對絕緣子的狀態進行智能診斷。

圖4 基于特征融合的紅外圖像處理流程

3.2 基于U-net的分割模型

3.2.1 U-net模型簡介

U-net算法最早由 Olaf Ronneberger等人于2015年首次提出，并成功應用于醫學影像的分割[10]。U-net由下采樣路徑、上采樣路徑和跨層融合三部分組成，構成了一個“U”型結構，如圖5所示。U-net網絡采用了編碼器—解碼器的結構。其中，編碼器是對圖像進行特征提取，通過多層卷積運算和下采樣，得到尺寸較小的特征圖；解碼器則是通過上采樣對特征圖進行尺寸恢復，同時在尺寸恢復過程中，通過跨層連接，將下采樣過程的中間輸出特征與上采樣的特征進行融合，直至恢復到原始圖像的大小。

圖5 原始U-net模型框架

3.2.2 復合絕緣子目標處理

首先進行紅外圖像溫度數值提取。對無人機拍攝的紅外圖像，利用Thermal SDK溫度數值轉化程序進行轉化，如圖6所示。通過溫度數值轉換，實現了紅外圖像中每一個像素點溫度數值的解析。

(a)紅外原圖 (b)數值矩陣(Excel色階)

在紅外圖像溫度數據提取的基礎上，進一步開展絕緣子的分割提取和定位，如圖7所示。

圖7 紅外圖像分割及中心線定位

對于紅外圖像和溫度數值矩陣，通過利用U-net進行特征提取和特征融合，可以得到紅外圖像中的復合絕緣子圖像。在紅外圖像分割的基礎上，需要進一步對絕緣子在圖中的位置進行定位。定位算法以單個絕緣子為對象進行中心線定位。分割后，可以得到絕緣子上的點集合為I={(ix1,iy1),(ix2,iy2),...,(ixn,iyn)}，中間存在一條中心線，有m個點C={(cx1,cy1),(cx2,cy2),...,(cxm,cym)}，滿足以下條件：

①C?I；

②根據絕緣子的坐標范圍，判定絕緣子是水平還是垂直方向，得到分割絕緣子的長度值為l；

③垂直于復合絕緣子長邊方向，將絕緣子劃為k個切片，第i個切片中，Si={(si,x1,si,y1),(si,x2,si,y2),...,(si,xp,si,yp)}，在每個切片中，選取一個中心點si，c=(si,xj,si,yj)，該點到切片內其他點的距離之和最小，即min sum(d((si,xj,si,yj),(si,xq,si,yq)))，其中q=1,2,...,p，且q≠j。

④在確定k個切片中心后，根據長度l進行插值計算，得到與絕緣子長度一致的中心線。

3.3 復合絕緣子缺陷診斷

在紅外圖像絕緣子中心線定位的基礎上，通過中心線的坐標可以映射得到對應的溫度曲線(沿絕緣子長度方向的一組序列數據)，因此，對絕緣子的狀態分析就是對序列數據進行分類。

根據歷史數據統計，復合絕緣子的缺陷類型可分為芯棒酥朽、污閃導致傘裙發熱、高壓端發熱問題。其特征總結為：

①芯棒酥朽。絕緣子有多處發熱點，且一處發熱點跨越多個傘裙；隨著酥朽程度的增加，溫升可達到40℃以上。

②污閃導致傘裙發熱。由于污染物、鹽霧等附著在絕緣子表面，導致電氣距離下降而引發閃絡，通常會有多處發生閃絡且是在兩個傘裙之間，溫升范圍在3～12℃。

③高壓端發熱。由于護套受潮、老化等因素，導致絕緣子靠近高壓部位發生溫升，發熱部位跨越多個傘裙，主要的溫升范圍在2～20℃之間。

根據上述不同缺陷特征，利用卷積神經網絡進行復合絕緣子溫度序列數據的分類,如圖8所示。

圖8 絕緣子溫度序列分類處理

首先對數據進行歸一化預處理。考慮在還需要進行序列填充(在序列的一端填充0)，為避免填充數值影響結果，因此將不同絕緣子的溫度數值統一轉化在[10,20]之間。

tg,i=10+(ti-tmin)/(tmax-tmin)×10

(4)

然后，對不同長度的序列數據進行填充。考慮絕緣子的最大長度約占圖像的75%～80%，因此，填充后的數據長度設置為500。

最后，對填充序列進行一維卷積計算，輸出序列分類結果。

4 圖像處理測試結果

4.1 可見光圖像處理

夜巡圖像放電點查找中受到的干擾主要來自周圍光源，以福建地區某110kV線路夜巡圖像為例，選取2種不同背景下的巡視圖像，如圖9所示。圖9(a)為桿塔周圍有光源的情況，圖9(b)為桿塔周圍中無燈光的情況。

(a)背景有光源的圖像 (b)無明顯光源的圖像

對圖像照度進行檢測，得到以上圖像的照度情況。其中，圖9(a)照度數值為37.91，圖9(b)照度為17.33(參考基準為日常巡視正常圖片的照度數值約為120)。針對上述兩圖分別進行圖像照度增強，結果如圖10和圖11所示。可以看出，絕緣子上放電部位都被標識出，尤其是故障絕緣子上放電點的發現率超過80%，并且與紅外圖片中的發熱區域對應。

(a)原始圖像 (b)增強圖像

(a)原始圖像 (b)增強圖像

4.2 紅外圖像處理

4.2.1 基本配置

本文所采用的紅外圖像數據集來源于某220kV以上輸電線路的復合絕緣子無人機紅外巡檢圖像庫。通過運用Labelme軟件標注復合絕緣子區域，生成JSON文件并獲得二值標簽圖，作為網絡模型訓練的標簽。在訓練服務器上進行模型訓練后，在應用電腦上部署智能識別軟件。部署電腦的軟硬件配置情況如表1所示。

表1 配置參數

4.2.2 絕緣子溫度提取

直接利用歷史數據進行紅外圖像處理模型測試，在絕緣子目標提取的基礎上，可以進一步進行絕緣子溫度的提取分析，如圖12所示。

圖12 紅外圖像中絕緣子分割及溫度曲線分析

通過分析融合圖片和溫度數據矩陣的特征，有效防止特征的梯度消散，保證目標區域的正確選取，同時降低了背景及周圍物體的干擾。在分割出的圖片中，目標絕緣子邊緣清晰，可以準確定位中心線位置，并實現絕緣子溫度值的提取。在得到絕緣子溫度分布曲線后，可以直接診斷絕緣子狀態。根據歷史數據特征，可以判定圖12中的復合絕緣子分別為污閃、正常狀態。

4.3 現場應用測試

在實現可見光和紅外圖像處理功能的基礎上，為了實現夜間巡視圖像的現場快速處理，通過軟件開發將可見光圖像照度增強、紅外圖像絕緣子識別定位、絕緣子狀態判斷等功能進行集成。2021年11月，作業人員使用M300無人機對莆田地區某220kV輸電線路桿塔復合絕緣子進行夜間巡視，同時拍攝可見光圖像和紅外圖像，并利用開發的軟件在現場進行圖像處理，如圖13所示。其中，可見光增強后的圖像能夠有效輔助作業人員在黑暗條件下進行桿塔目標的辨識；紅外圖像復合絕緣子自動診斷，幫助作業人員快速完成對絕緣子狀態的判斷。

圖13 夜巡功能集成及現場測試應用

5 結束語

本文提出了夜間巡視可見光和紅外圖像的處理技術，針對輸電線路絕緣子目標，完成以下工作：

①對于夜間低照度可見光圖片，利用圖像照度增強算法實現圖像照度增強，并在圖中標識出放電點，輔助夜間作業。

②以U-net模型為基礎，充分挖掘紅外圖像信息，將圖像特征和溫度數據特征進行融合，提升了紅外圖像中的絕緣子目標提取的準確度。

③在圖像分割的基礎上，實現了復合絕緣子溫度提取，輔助作業人員進行絕緣子狀態的判斷，同時開展基于溫度數值的絕緣子狀態智能分析。

此外，首次在現場實現了夜間巡視圖像的就地分析處理，有效提升了夜間巡視的作業效率和設備狀態判斷的準確度，后續還將繼續完善相關功能與作業流程的結合。