基于改進YOLOv4模型的無人機巡檢圖像桿塔缺陷檢測方法研究

陳杰, 安之煥, 唐占元, 盧志超

(國網(wǎng)青海省電力公司經(jīng)濟技術(shù)研究院, 西寧 810000)

0 引 言

隨著雙碳目標(biāo)的提出以及物聯(lián)網(wǎng)技術(shù)、人工智能技術(shù)的快速發(fā)展,我國電網(wǎng)投資規(guī)模不斷擴大,電網(wǎng)結(jié)構(gòu)更加復(fù)雜[1]。為確保輸電線正常運行,各電力企業(yè)積極探索新的巡檢方式,無人機巡檢逐漸成為主流[2]。作為輸電線路基礎(chǔ)設(shè)施之一的輸電桿塔,其缺陷直接影響電力系統(tǒng)穩(wěn)定[3]。因此,對基于無人機圖像的輸電線路桿塔缺陷進行檢測具有一定的實際意義。

目前,國內(nèi)外對桿塔缺陷檢測方法的研究還處于起步階段[4]。在文獻[5]中,提出了一種用于輸電線路桿塔缺陷識別方法的層級識別模型。結(jié)果表明,所提方法與常規(guī)方法相比,桿塔缺陷識別的平均精度均值和查全率都最優(yōu),分別為0.762和0.826。在文獻[6]中,提出了一種Faster_RCNN模型用于輸電線路柱塔上鳥巢的自動檢測。結(jié)果表明,與常規(guī)方法相比,所提方法能有效檢測復(fù)雜環(huán)境下鳥巢目標(biāo),且檢測平均準(zhǔn)確率達93.87%,召回率達92.38%,檢測速度為0.154秒。在文獻[7]中,提出了一種將粒子群優(yōu)化和極限學(xué)習(xí)機相結(jié)合用于輸電線路桿塔狀態(tài)分類。結(jié)果表明,所提方法與常規(guī)方法相比具有更好的檢測和分類效果,分類準(zhǔn)確率為88.33%。在文獻[8]中,提出了一種融合多源信息的模型用于輸電線路桿塔檢測。結(jié)果表明,所提模型能夠比較準(zhǔn)確地檢測出桿塔在圖像中的位置和異常狀態(tài)。由于無人機拍攝圖像的背景比較復(fù)雜,上述方法在輸電線路桿塔圖像缺陷檢測中存在精度低和效率差等問題,適應(yīng)性有待進一步提高。

在此基礎(chǔ)上,提出了一種用于輸電線路桿塔圖像鳥巢檢測的改進YOLOv4模型。通過MobileNetV2網(wǎng)絡(luò)降低復(fù)雜度,通過注意力機制CBAM增強特征的表達,通過平均池化替換SPP模塊的最大池化,提高算法對小目標(biāo)的檢測精度。通過試驗驗證了所提方法的優(yōu)越性。

1 無人機巡檢圖形采集與處理系統(tǒng)

無人機巡檢圖像采集與處理系統(tǒng)通過結(jié)合傳感器技術(shù)、通信技術(shù)和人工智能等技術(shù),實現(xiàn)輸電線的全方位圖像采集[9]。采集圖像時還需要采集地理信息數(shù)據(jù),實現(xiàn)無人機智能化巡檢[10]。圖1為無人機巡檢圖像采集和處理系統(tǒng)結(jié)構(gòu)圖。本文主要對采集的桿塔圖像進行鳥巢檢查。

圖1 系統(tǒng)結(jié)構(gòu)

2 改進YOLOv4桿塔圖像缺陷檢測方法

2.1 YOLOv4網(wǎng)絡(luò)

YOLOv4網(wǎng)絡(luò)是基于YOLOv3網(wǎng)絡(luò)的改進和優(yōu)化[11]。YOLOv4網(wǎng)絡(luò)主要由四部分組成(輸入、輸出、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò))[12]。輸入層主要進行桿塔鳥巢圖像的輸入,骨干網(wǎng)絡(luò)層主要對桿塔鳥巢圖像的特征進行提取,頸部網(wǎng)絡(luò)層主要包括SPPnet、FPNet、PANEt,主要進行特征層的池化和特征融合操作。輸出層是YOLOv4的輸出層,主要輸出檢測結(jié)果。YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLOv4結(jié)構(gòu)

(1)輸入層在數(shù)據(jù)處理中增加了一些新方法,其中Mosaic數(shù)據(jù)擴展技術(shù)是YOLOv4基于YOLOv3進行的改進之一;

(2)骨干網(wǎng)絡(luò)由特征金字塔池化網(wǎng)絡(luò)(SPP)和路徑聚合層(PANeT)構(gòu)成[13]。SPP模塊主要由四個不同大小的最大池化層組成,四個最大池化操作的大小分別為1*1、5*5、9*9、13*13,SPP模塊主要融合圖像特征,在特征圖中進行多個特征提取,可以極大的提高算法的檢測精度[14]。SPP模塊結(jié)構(gòu)圖如圖3所示。

圖3 SPP模塊結(jié)構(gòu)

(3)頸部網(wǎng)絡(luò)的作用是通過解碼操作預(yù)測所獲得的特征[15];

(4)輸出層采用3個CBL模塊、3*3大小和1*1大小的卷積層輸出3個不同尺度的特征圖。輸出部分對每個輸出特征層經(jīng)過預(yù)測而生成的3個預(yù)測框進行判別,判斷其中是否包含必要的檢測特征信息后,通過非極大值抑制及先驗框的調(diào)整,得到最終的預(yù)測框[16]。

為了提高整個模型的性能,本文在YOLOv4的基礎(chǔ)上進行了改進。采用輕型MobileNetV2網(wǎng)絡(luò)替代CSPDarkNet53網(wǎng)絡(luò),提高特征提取速度,在SPP模塊中采用平均池化替換最大池化,提高算法對小目標(biāo)的檢測精度,引入注意力機制CBAM增強特征表達。

2.2 MobileNetV2網(wǎng)絡(luò)優(yōu)化

在實際的檢測環(huán)境中,因計算資源有限,需要對網(wǎng)絡(luò)進行輕量化設(shè)計[17]。本文將輕量級網(wǎng)絡(luò)MobileNetv2取代YOLOv4的骨干網(wǎng)CSPDarkNet53網(wǎng)絡(luò),實現(xiàn)輕量級設(shè)計[18]。

MobileNetV2網(wǎng)絡(luò)通過濾波器對輸入通道進行濾波,進行逐深度卷積,將全部輸出和卷積核尺寸1×1卷積進行結(jié)合降低模型的計算成本。

對于DF×DF×M維輸入,卷積核心的大小為DK×DK,輸出通道N個與常規(guī)卷積計算成本比值如式(1)所示[19]:

(1)

式中C1和C2分別為深度可分卷積和常規(guī)卷積計算成本。

用MB模塊替換骨干網(wǎng)絡(luò)5個CSP殘差模塊。

2.3 SPP模塊優(yōu)化

YOLOv4網(wǎng)絡(luò)框架中的SPP模塊部分包括四個不同尺度的最大池化(1*1、5*5、9*9、13*13),最大池化操作可以減少特征信息,進一步降低計算量,提高網(wǎng)絡(luò)訓(xùn)練速度[20]。其次,池化操作降低特征維度,能夠在某種程度上防止網(wǎng)絡(luò)過擬合。當(dāng)輸電線桿塔鳥巢圖像背景信息復(fù)雜且背景信息類似鳥巢的情況下,在檢測中采用最大池化操作只會保留背景信息,丟失桿塔鳥巢信息,導(dǎo)致漏檢或誤檢[21]。

針對上述問題,本文基于YOLOv4的結(jié)構(gòu),對其SPP模塊進行了改進,以9*9的平均池化代替9*9的最大池化,在尺度融合時可以保留更多的桿塔鳥巢目標(biāo)信息,改進后的SPP結(jié)構(gòu)如圖4所示。

圖4 SPP模塊結(jié)構(gòu)

2.4 注意力機制CBAM優(yōu)化

在利用網(wǎng)絡(luò)解析提取圖像特征時,本文輸電線桿塔鳥巢目標(biāo)小且背景占圖像大部分,所以要將重點放在目標(biāo)鳥巢信息上[22]。對于圖像中的其他部分信息,關(guān)注度小于鳥巢信息。但是手動調(diào)整網(wǎng)絡(luò)把重點放在目標(biāo)鳥巢信息上非常困難。

將注意力機制模塊CBAM引入到MobileNetV2的各反向殘差塊中,使網(wǎng)絡(luò)特征的表達更加準(zhǔn)確[23]。考慮到使用降維運算來降低模型的復(fù)雜性會干擾信道和權(quán)重之間的直接關(guān)系,本文使用k×k一維卷積來代替全連通網(wǎng)絡(luò),以實現(xiàn)局部通道間的相關(guān)性。改進的通道注意力MC如式(2)所示[24]:

MC(F)=σ(f1dk(Favg)+f1dk(Fmax))

(2)

式中σ為Sigmoid函數(shù);Favg、Fmax為平均和最大池化操作后的一維張量;f1dk為卷積核為k的一維卷積。

k值如式(3)所示[25]:

(3)

式中 |x|odd為奇數(shù)值(距離x最近);C為通道數(shù)。

輸出空間注意力MS如式(4)所示[26]:

(4)

式中f為卷積計算;fconcat為維度上的拼接。

通過在MobileNetV2逆向殘差模塊的第二個PW卷積后加入改進的CBAM模塊,如圖5所示。

圖5 SPP模塊結(jié)構(gòu)

3 試驗結(jié)果與分析

3.1 試驗參數(shù)

為了驗證所提方法的準(zhǔn)確性和優(yōu)越性,在Python環(huán)境下基于Pytorch深度學(xué)習(xí)框架進行了試驗[27]。表1為系統(tǒng)參數(shù)。

表1 系統(tǒng)參數(shù)

通過無人機共采集不同拍攝角度和不同光照條件的輸電線路桿塔照片5 000張,其中鳥巢照片2 000張,數(shù)據(jù)集分為訓(xùn)練集、驗證集、測試集,訓(xùn)練集:試驗集:測試集=6:2:2。本文通過訓(xùn)練集圖像訓(xùn)練改進的YOLOv4模型,試驗參數(shù)如表2所示。

表2 試驗參數(shù)

不同的指標(biāo)通常會產(chǎn)生不同的評價結(jié)果,因此需要選擇有效的指標(biāo)進行評價。目前,目標(biāo)檢測領(lǐng)域有很多指標(biāo)。本文選取準(zhǔn)確率、召回率和平均準(zhǔn)確率均值和運行速度進行評價。

(1)準(zhǔn)確度

預(yù)測結(jié)果中實際包含的正樣本數(shù)。只有兩種可能的預(yù)測結(jié)果:正確的預(yù)測TP和錯誤的預(yù)測FP。如式(5)所示[28]:

(5)

(2) 召回率

所有正樣本都有兩種可能的預(yù)測結(jié)果,正確預(yù)測數(shù)TP和未預(yù)測數(shù)FN,如式(6)所示:

(6)

(3)平均準(zhǔn)確度均值

要計算平均準(zhǔn)確度精度,首先計算某一類別的平均準(zhǔn)確度,如式(7)所示:

(7)

即在平滑PR曲線上,召回率R等于0.1、0.2、…、1.0等11處準(zhǔn)確度的平均值。

平均準(zhǔn)確度均值mAP是對所有的AP求平均值,如式(8)所示[29]:

(8)

式中APi為第i個類別的平均準(zhǔn)確度;n為類別的數(shù)量。

(4)運行速度

本文采用每秒圖像檢測幀數(shù)作為模型運行速度的評估指標(biāo)。

3.2 試驗分析

為了驗證本文方法的優(yōu)越性,與優(yōu)化前的基礎(chǔ)模型YOLOv4進行對比分析,在150次迭代過程中,分別采用數(shù)據(jù)集對優(yōu)化前后的模型進行訓(xùn)練學(xué)習(xí),訓(xùn)練過程中的損失函數(shù)變化對比圖如圖6所示。

圖6 隨迭代變化的損失曲線

由圖6可以看出,在訓(xùn)練過程中優(yōu)化前后模型的損失值總體下降較快。本文方法在10次迭代后損失之穩(wěn)定在0.3左右,而YOLOv4模型在30次左右迭代后穩(wěn)定在0.6左右,在訓(xùn)練后期,波動都較小。綜合分析損失值變化情況,本文方法效果較好。

比較優(yōu)化前后的性能,為了表的美觀性,用A表示MobileNetv2網(wǎng)絡(luò)優(yōu)化,用B表示SPP模塊優(yōu)化,用C表示注意機制CBAM優(yōu)化。優(yōu)化方法的檢測結(jié)果如表3所示。

表3 優(yōu)化前后檢測結(jié)果

由表3可知,與優(yōu)化前相比,優(yōu)化后的檢查精度、召回率、平均精度均值、檢測速度均有一定的提高。引入MobileNetv2網(wǎng)絡(luò)優(yōu)化后,檢測精度有一定下降,但檢測速度提高明顯,檢測精度可以忽略不計。這是因為通過MobileNetv2網(wǎng)絡(luò)降低了模型體積。通過優(yōu)化SPP模塊能夠保持更多的目標(biāo)信息,能夠?qū)崿F(xiàn)較好的處理效果。在特征網(wǎng)絡(luò)中增加了改進的CBAM模塊,增強了網(wǎng)絡(luò)的表征能力。驗證了所提優(yōu)化方法的有效性。

為了進一步驗證本文模型的優(yōu)越性,結(jié)合評價指標(biāo),將本文方法與文獻[30]和YOLOv5模型進行了對比分析。不同模型在幾個指標(biāo)上的檢測結(jié)果如表4所示。

表4 檢測結(jié)果

由表4可以看出,本文模型的準(zhǔn)確率、召回率、平均準(zhǔn)確度均值和運行速度都是最優(yōu)的,與文獻[30]相比,本文方法的精度、召回率、平均精度平均值和運行速度分別提高了0.30%、0.20%、0.10%和10 FPS,與YOLOv5模型相比,本文方法的精度、召回率、平均精度平均值和運行速度分別為3.90%、2.60%、3.00%和35 FPS。本模型為追求輕量化設(shè)計而引入MobileNetv2網(wǎng)絡(luò),對檢測精度造成了一定的損失,但檢測精度和檢測速度更加均衡,更符合實際輸電線路桿塔鳥巢缺陷檢測中的硬件要求。

總結(jié)上述試驗,將訓(xùn)練好的模型用于檢測本文的測試集,本試驗測試集共包含1 000張高壓輸電線桿塔圖像,其中鳥巢桿塔圖像400張。得到的部分實際檢測效果圖如圖7所示。

圖7 部分優(yōu)化前后結(jié)果對比

從圖7可知,最終的識別精度比優(yōu)化前的YOLOv4模型整體提高了7個百分點左右,輸電線路桿塔鳥巢圖像識別的提高非常明顯,對目標(biāo)檢測算法在輸電線路缺陷檢測中的應(yīng)用有一定的參考作用。

4 結(jié)束語

本文提出了一種改進的YOLOv4模型用于輸電線路桿塔圖像的鳥巢檢測。結(jié)果表明,MobileNetv2網(wǎng)絡(luò)的引入提高了檢測速度,SPP模塊的優(yōu)化提高了對小目標(biāo)的檢測精度,注意力機制CBAM的引入增強了特征的表達能力。與傳統(tǒng)的檢測方法相比,所提方法在輸電線路桿塔鳥巢缺陷檢測中具有較高的檢測精度和較快的檢測速度,檢測精度為94.40%,檢測速度為60 FPS,檢測精度和檢測速度更加均衡,更加符合實際需要。但仍存在一些不足,如檢測模型性能還有待提高和僅對輸電線路桿塔鳥巢缺陷進行檢測,后期可以豐富輸電線路缺陷檢測種類以及結(jié)合一些模型提高檢測能力。