基于改進YOLOx-S的輸電線路上金具檢測方法

趙振兵，呂雪純 ，王帆帆，蔣志鋼，4，張凌浩，楊迎春

(1.華北電力大學 電子與通信工程系，河北 保定 071003；2.華北電力大學 復雜能源系統智能計算教育部工程研究中心，河北 保定 071003；3.華北電力大學 河北省電力物聯網技術重點實驗室，河北 保定 071003；4.國網四川省電力公司計量中心，四川 成都 610045；5.國網四川省電力公司電力科學研究院，四川 成都 610095；6.國網四川省電力公司，四川 成都 610041)

0 引言

輸電線路是構建我國能源互聯網的重要基礎設施,輸電線路能否長期安全、穩定運行是保障我國能源安全和國家經濟穩定的關鍵,故需要在第一時間對潛在的安全隱患進行干預[1]。金具是輸電線路上廣泛使用的鐵制或鋁制金屬附件,是最常見、數量最繁多的部件之一[2],主要用于支持、固定、接續裸導線、導體及絕緣子等[3]。由于輸電線路長期運行在戶外,受到各種氣象環境和線路荷載因素的影響,輸電線路上各種金具極易發生銹蝕、破損和變形等問題[4-5]。

隨著電網系統的快速建設,直升機、無人機巡檢已成為輸電線路巡檢的主要手段之一[6]。通過計算機視覺的手段對金具的航拍圖像進行檢測可以大大提高效率,實現輸電線路巡檢高精度、高效率、強智能、多層次、便捷化、低成本和全覆蓋的要求,該技術的應用具有可操作性及靈活性,可提高輸電線路巡檢效率[7]。現階段構建智能化、專業化的自動巡檢體系是電網運維發展的必經之路[8]。

近年來快速發展的深度學習卷積神經網絡具有特征提取能力,但是針對不同檢測目標還需根據其特點構建特有的網絡結構,以達到滿意的結果[9]。文獻[10]針對煙霧特征提取誤差較高的問題,提出了一種煙霧特征與卷積神經網絡結合(Characteristic Analysis NetCNN,CANCNN)算法,此算法包含特征分析與目標識別兩部分,特征分析部分主要利用的是煙霧的獨特特征,比經典卷積神經網絡算法性能有了一定的提升。文獻[11]針對復雜環境下紅外弱小目標檢測查準率與查全率低的問題,以YOLOv4-Tiny[12]模型為基礎,為了避免忽略弱小目標的有用信息,對模型的特征提取部分通過增加卷積層數與卷積核尺寸來增加紅外圖像特征提取的信息量;同時對YOLOv4-Tiny模型的激活函數進行了修改,提高對弱小目標的細節學習能力。文獻[13]針對由于金具尺度變化大且部分金具為小尺度目標進而導致金具檢測精確度低的問題,在Cascade R-CNN (Cascade Region-based Convolutional Neural Network)[14]模型的基礎上,引入了遞歸特征金字塔,加入基于NAS(Network Attached Storage)搜索空洞卷積孔洞率的NAS-AC模塊提高模型對小尺度金具特征的表達能力和預測能力。針對小樣本及復雜環境下輸電線路關鍵設備缺陷檢測難等問題,文 獻[15]提出了一種融合深度卷積神經網絡和卡爾曼濾波的圖像檢測方法。采用MobileNet構建模型骨干網絡,融合了柔性非極大值抑制算法以解決目標部件遮擋問題;將上下文感知RoI(Region of Interest)池化層取代原始池化層,通過卡爾曼濾波對檢測結果進行修正,有效提高小目標的檢測精度。文獻[16]針對輸電線路中尺度變化大、小目標多、光線暗和部分遮擋問題采用兩階段深度網絡,針對性修改RPN(Region Proposal Network)中候選框生成網絡且采用多任務損失函數提升網絡預測能力。

盡管上述研究在一定程度上實現了輸電線路金具目標的檢測,但是離生產實際要求還有一定距離。為了能夠在背景復雜的航拍圖像中快速、準確地識別多類金具,基于YOLOx-S[17]目標檢測模型對輸電線路上金具進行檢測,并結合金具數據集的特點對該模型進行了優化與改進。

1 改進YOLOx-S目標檢測模型

1.1 YOLOx-S模型框架

由于YOLOx-S模型在具有優秀的檢測能力、模型參數量不多的同時兼具不錯的檢測速度,因此本文選擇YOLOx-S模型為基礎模型。YOLOx-S在YOLOv5-S的基礎上改進而來,整體可分為輸入端、骨干網絡(Backbone)、頸部(Neck)以及預測(Prediction)共計4個部分,骨干網絡使用CSP網絡并結合Focus結構,在下采樣的過程中通過切片的手法保證信息不丟失,再經過卷積操作得出特征圖,Neck部分采用FPN+PAN結合的結構,加強了網絡特征的融合能力,Prediction部分采用了收斂速度更快、精度更高的解耦頭部(Decoupled Head),并且引入無錨節點(Anchor-free)技術[18],最后采用簡化的SimOTA方法求解最優解,完成最終預測。與YOLOv5-S相比,其改進主要有四部分:在輸入端,基于Mosaic數據增強的作用,還采用了MixUp數據增強;在模型的Backbone部分和Neck部分的激活函數都采用SiLU函數;在模型的輸出端將檢測頭改為Decoupled Head,并引入了Anchor Free和SimOTA等技術。YOLOx-S目標檢測模型中添加ECA(Efficient Channel Attention)模塊和自適應空間特征融合(Adaptively Spatial Feature Fusion,ASFF)模塊后的總體結構如圖1所示。

圖1 修改后的YOLOx-S目標檢測模型結構Fig.1 Modified YOLOx-S target detection model structure

1.2 融入通道注意力

出于安全考慮,無人機在對輸電線路進行航拍時不允許近距離拍攝,導致待檢測目標在圖像中像素占比較小,如圖2所示為未處理原始航拍圖像。圖像中的預絞式懸垂線夾與整張圖像相比本身占比較小,且位于航拍圖像中的右方角落視野盲區,并且部分被桿塔所遮擋的同時,有著與桿塔較為相近的顏色,另外還存在圖像虛化的問題。這些問題都會導致目標檢測模型在金具數據集上出現檢測精度不佳的情況。

圖2 原始航拍圖像中的預絞式懸垂線夾Fig.2 Preformed suspension clamp in the original aerial image

針對上述問題,本文選擇在YOLOx-S目標檢測模型中融入ECA[19],它通過對通道之間的關系建模,自適應地重新校準通道方向的特征響應,提高模型提取特征的能力,以提升檢測模型在較小目標檢測任務上的精度。ECA如圖3所示。定義一個輸入為C×H×W的特征圖X,對輸入的特征圖進行全局平均池化(Global Average Pooling,GAP)是為了對輸入特征圖進行空間特征壓縮,以此得到C×1×1的特征圖,具體計算如式(1)所示:

(1)

式中:Xc表示特征圖X中第c個二維矩陣。進行該操作之后就獲得了一個C×1×1的輸出,相當于得到了特征圖的數值分布,也意味著全局信息。給定通過GAP獲得的特征,壓縮后的特征圖要進行通道特征學習,在做卷積操作時,它的卷積核大小會影響到感受野;為解決不同輸入特征圖,提取不同范圍的特征時,ECA使用了動態的卷積核來做1×1卷積,學習不同通道之間的重要性。ECA通過大小為k的快速一維卷積來生成信道權重,k表示本地跨通道交互的覆蓋范圍,即有多少個相近鄰參與一個通道的注意力預測,k的取值可以通過通道維度C的映射自適應地確定,如式(2)所示:

(2)

式中:|t|odd表示最接近t的奇數,k表示卷積核大小,C表示通道數。

圖中σ表示Sigmoid函數,sc是通過全局平均池化和Sigmoid函數后得到,函數定義如式(3)所示:

(3)

Uc通過式(4)得到:

Uc=sc×Xc。

(4)

將輸入特征圖與處理好的特征圖權重進行相乘,權重就會加在特征圖上,會將模型訓練好的目標聚焦到感興趣的特征圖區域。

1.3 自適應特征融合機制

在YOLOx-S目標檢測模型中,Neck部分采用了FPN+PAN的結構,如圖4所示。采用FPN+PAN結構對多尺度特征圖進行融合并輸出,FPN+PAN在FPN的基礎上加入了自下而上的增強結構,從原來的單向融合轉為雙向融合。通過FPN+PAN結構,既可以自頂向下傳達強語義特征,又可以自底向上傳達強定位特征,從不同的主干層對不同的檢測層進行特征聚合,達到提升檢測精度的目的。其中自頂向下的融合路徑(1)是將特征圖通過上采樣 2倍之后,再和前一層特征圖相加;自底向上則同理,只需將上采樣改為下采樣即可。

盡管FPN+PAN結構已經充分考慮到了深層特征圖和淺層特征圖相融合對于目標檢測具有重要意義,但是該結構在特征圖融合時采用的方法卻略顯粗糙,在YOLOx-S中只是簡單地使用張量拼接,而顯然沒有考慮到深層特征圖和淺層特征圖對于不同大小尺度的待檢測目標具有不一樣的意義。

針對此問題,本文采用一種ASFF[20]的方式對FPN+PAN進行改進,通過學習得到權重參數,對不同階層的特征圖自適應進行融合,具體設計如圖5所示。

圖5 基于自適應特征融合的FPN+PAN結構示意Fig.5 Structure diagram of FPN+PAN based on adaptive feature fusion

圖中的X1、X2、X3表示FPN+PAN中3個尺度的輸出特征圖,在YOLOx-S中分別為20×20、40×40以及80×80。以ASFF-3為例說明,特征圖X1和X2分別通過1×1的卷積壓縮成與X3相同的通道數,再分別進行4倍和2倍的上采樣,使得特征圖X1和X2都獲得與特征圖X3相同的維度,分別記為X1-3和X2-3;定義Xijn-3表示特征圖Xn-3上位置(i,j)處的特征向量,則ASFF-3輸出特征圖Y3上位置(i,j)處計算如式(5)所示:

(5)

(6)

1.4 損失函數優化

在YOLOx-S目標檢測模型中,損失函數由三部分組成,分別是邊界框回歸損失(Lossbox)、置信度損失(Lossobj)和分類損失(Losscls)。其中邊界框位置采用的還是相對傳統的GIoU Loss(Generalized Intersection over Union Loss),計算如式(7)所示,其中C表示包含真實框和預測框的最小矩形。

它的提出是為了解決IoU無法精確地反映二者重合度大小的問題,即使用IoU時,會出現相同的IoU,重合度卻不同的情況;同時IoU還存在當2個物體沒有交集時,就退化為常數1,無法進行訓練的問題。GIoU的優點很明顯,具有尺度不變性。但是同時GIoU自身缺點也很明顯,當目標框完全包裹預測框時,IoU和GIoU的值都一樣,此時GIoU退化為IoU,無法區分其相對位置關系,如圖6所示的 3種情況中GIoU Loss是完全一致的。

針對上述情況,本文使用DIoU Loss(Distance Intersection over Union Loss)[21]對YOLOx-S目標檢測模型進行優化。DIoU定義如式(9)所示:

(9)

式中:ρ表示歐式距離,c表示GIoU中矩形C的對角線長,如圖7所示。

DIoU把目標與anchor之間的距離、重疊率以及尺度都考慮在內,使目標框回歸更加穩定,訓練過程中不會出現發散等問題。相比于GIoU,DIoU同樣具有尺度不變性,并且解決了GIoU完全包裹預測框時Loss值一樣的缺點,如圖8所示。

圖8 不同情況下3種Loss值示意Fig.8 Schematic diagram of three Loss values under different conditions

2 實驗結果及分析

2.1 數據集構建

在采集到航拍圖像后,并不能直接用于深度模型的訓練,還需要人工對圖像上目標進行標注。本文選擇軟件LabelImg,分別對輸電線路上防振錘、均壓環和屏蔽環等金具進行了標注并保存為XML文件。

根據上述方法建立了輸電線路上金具檢測圖像數據集,數據集共有圖像1 456張,有標注目標 3 297個,包含屏蔽環、均壓環和防振錘等金具共計14類,將數據集以8∶2劃分為訓練集與測試集,詳細情況如表1所示。

表1 數據集詳細情況Tab.1 Dataset details

2.2 實驗環境配置

本文實驗主要基于Python3.7版本的Torch1.8深度學習框架的軟件運行環境。服務器系統為Ubuntu16.04,內存為24 GB,顯卡為NVIDIA RTX A5000,批處理(batch_size)參數為16,動量(momentum)為0.9,IoU閾值為0.5,初始學習率(init_learning_rate)為0.001,迭代(epoch)次數為150。

本文使用召回率(Recall,R)、準確率 (Precision,P)、AP(Average Precision)以及mAP(mean Average Precision)作為評價標準,對于召回率和準確率的描述如式(10)～式(11)所示;mAP的定義如式(12)所示。首先將預測結果與真實標簽比較后,將檢測結果分為4類:模型預測為正例且預測正確的真陽性(True Positive,TP),模型預測為正例但預測錯誤的假陽性(False Positive,FP),模型預測為負例且預測正確的真陰性(True Negative,TN),模型預測為負例但預測錯誤的假陰性(False Negative,FN)。

2.3 實驗結果及分析

為了驗證本文提出的改進方法的有效性,使用準確率、召回率、AP以及mAP作為評價標準對各模塊進行對比實驗,實驗結果如表2所示。

表2 消融實驗Tab.2 Ablation experiment

從表2可以看出,針對待檢測目標較小難以檢測的問題而引入的ECA機制使得模型檢測精度提升了4.06%;針對YOLOx-S模型Neck部分中FPN+PAN結構特征圖融合提出的自適應特征融合機制使得模型檢測精度上升了4.28%;通過優化損失函數使得模型檢測精度提高了2.17%。本文提出的方法在金具檢測數據集上獲得了5.15%的檢測精度提升,召回率提高了1.62%,證明了本文方法的有效性。具體每一類輸電線路上金具檢測的AP值如表3所示。

表3 每一類金具檢測AP值Tab.3 AP value of each type of fitting detection

從表3可以看出,本文提出的方法在預絞式懸垂線夾、聯板、U型掛環、掛板和壓縮耐張線夾等 5類金具檢測上取得最優的結果。在共計14類的金具目標檢測任務中,基線模型僅僅在目標較大的均壓環和重錘的檢測上取得了最優精度,并且與改進模型在此2類金具上的檢測精度相差無幾。在預絞式懸垂線夾、間隔棒和防振錘等小目標的檢測上都是改進模型取得了更好的檢測精度。由此可見,本文提出的改進方法一定程度上提升了輸電線路上金具檢測的準確率,特別是對于背景復雜、較小目標的金具檢測效果提升較為突出。

圖9為基線YOLOx-S、ECA通道注意力、自適應特征融合機制、DIoU損失函數以及本文提出模型在訓練過程中total_loss值隨迭代次數變化的曲線。從圖9可以看出,5個模型在訓練時均已收斂,其中本文提出的方法大概在第30個epoch時已經收斂,收斂速度明顯快于基線模型,并且在后面的訓練中沒有出現明顯的波動,且整個訓練過程中始終維持在較小值。圖10所示為3組不同輸電線路金具圖像的檢測結果,其中圖10(a)、圖10(c)、圖10(e)為基線模型的檢測結果,圖10(b)、圖10(d)、圖10(f)為本文改進模型的檢測結果。

圖9 模型訓練過程Loss收斂曲線Fig.9 Loss convergence curve during model training

圖10 基線模型與本文改進模型金具檢測結果Fig.10 Fitting test results of baseline model and improved model

由圖10可以明顯看出,本文改進模型的檢測結果明顯優于基線模型。以圖10(a)和圖10(b)為例,在針對小目標檢測而加入注意力機制和自適應特征融合機制后,作為小目標的提包線夾和均壓環的置信度有了大幅提升,同時作為大目標的重錘的置信度并沒有受到太大影響。從圖10(c)和圖10(d)可以明顯看出,本文提出模型在作為小目標的防振錘的檢測上全面超過了基線模型。同時,從圖10(e)和圖10(f)對比可以看出,模型不僅在檢測精度上有所提升,也明顯減少了誤檢,圖10(e)左下角一塊較長的聯板被誤檢成了2塊,類似的情況還出現在該圖中U型掛環的檢測上,而本文提出的模型則沒有出現這種情況。

3 結束語

本文基于YOLOx-S目標檢測模型對輸電線路上金具進行檢測,并結合金具檢測數據集的特點對該檢測模型進行了優化與改進。針對輸電線路航拍圖像存在背景復雜且多變、檢測目標在圖像中像素占比較小、部分視覺信息較差的陰影、模糊等困難樣本的問題,本文從特征融合角度出發,首先使用通道注意力使得模型更加關注復雜背景下的關鍵特征提取區域,接著基于ASFF機制使得淺層和深層的特征圖更合理地融合,最后對檢測模型的損失函數進行改進,解決損失函數無法準確反映真實框與預測框的重合度大小的問題。本文所提方法最終在自建金具檢測數據集達到了79.66%的檢測精度,相比于基線模型提高了5.15%,更加適用于輸電線路上金具目標檢測。