一種改進(jìn)YOLOv5 算法的光伏熱斑檢測方法?

蔣成晨 何堅(jiān)強(qiáng) 陸 群 王江峰 殷宇翔 駱 楊

（鹽城工學(xué)院電氣工程學(xué)院 鹽城 224000）

1 引言

隨著光伏電站的日常運(yùn)維壓力日益增加，針對光伏電站面積大、人工檢測效率低、傳感器檢測成本高昂等問題，選擇使用性比價(jià)較高的無人機(jī)智能巡檢方法。通過無人機(jī)搭載紅外模組采集光伏電站的熱斑數(shù)據(jù)，配合使用卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行圖像數(shù)據(jù)處理。為了提高對光伏電站的智能化巡檢對熱斑的識別能力，使用改進(jìn)的YOLOv5 算法對光伏組件運(yùn)行過程中產(chǎn)生的熱斑進(jìn)行識別，設(shè)計(jì)技術(shù)路線如圖1所示。

圖1 技術(shù)路線

使用深度學(xué)習(xí)算法對熱斑的檢測有很多學(xué)者對此有很多研究，浙江大學(xué)之江實(shí)驗(yàn)室的夏杰峰［1］、唐武覃等改進(jìn)Canny 算法和深度學(xué)習(xí)算法結(jié)合，實(shí)現(xiàn)了多形態(tài)熱斑的識別。榮黎明［2］設(shè)計(jì)一種改進(jìn)YOLOv5s 的集成輕量化ECA 注意力機(jī)制，用對圓形熱斑和矩形熱斑的識別。孫海蓉［3］、李號等設(shè)計(jì)出一種基于深度遷移學(xué)習(xí)的方法，提取并處理熱斑的紅外特征來進(jìn)行對熱斑的檢測。王道累等［4］將SpotFPN 應(yīng)用在二階段目標(biāo)檢測網(wǎng)絡(luò)中提高模型的檢測熱斑的精度。徐小奇等［5］利用卷積神經(jīng)玩過對光伏陣列紅外熱成像圖進(jìn)行識別編碼，實(shí)現(xiàn)了對熱斑故障的精確定位。潘子杰等［6］設(shè)計(jì)除了一種卷積自編碼網(wǎng)絡(luò)針對較小的熱斑數(shù)據(jù)集，提取出更多的樣本特征。華北電力大學(xué)的姚慧［7］提出了包括Canny 邊緣檢測和Hough 直線檢測的方法，預(yù)處理含有光伏熱斑的圖像，提高卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。張一鳴等［8］設(shè)計(jì)出一種地面移動機(jī)器人，可在自動巡檢光伏組串，檢查熱斑是否存在。劉海波等［9］使用脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對光伏熱斑的故障預(yù)測，針對不同狀態(tài)樣式、大小的熱斑，判斷出光伏組串的異常原因和故障狀態(tài)。樊濤等［10］在卷積神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)智，提高網(wǎng)絡(luò)模型對小目標(biāo)熱斑的特征學(xué)習(xí)能力，提高算法的運(yùn)行效率。

2 YOLOv5算法結(jié)構(gòu)

YOLOv5 屬于單階段目標(biāo)檢測算法，具有較快的推理速度和實(shí)時(shí)檢測能力，能夠更好地滿足現(xiàn)實(shí)場景的應(yīng)用需求。YOLOv5 算法按照網(wǎng)絡(luò)深度、大小、特征圖寬度分為s、m、l、x這4個模型分支，本文使用的是s 模型。YOLOv5s 是同時(shí)兼?zhèn)漪敯粜浴⑤p量化、實(shí)時(shí)性，因?yàn)槠渥R別速度很快，在視覺檢測領(lǐng)域應(yīng)用范圍非常廣闊。該算法使用Pytorch 框架，支持Windows 和Linux 系統(tǒng)環(huán)境下運(yùn)行。YOLOv5的網(wǎng)絡(luò)模型中包括Mosaic數(shù)據(jù)增強(qiáng)方法、自適應(yīng)圖片縮放、錨框子自適應(yīng)計(jì)算等多個兩點(diǎn)功能。

YOLOv5s 模型網(wǎng)絡(luò)的結(jié)構(gòu)如圖2 所示，由輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、特征融合網(wǎng)絡(luò)（Neck）、輸出端（Prediction）四個部分組成。輸入端和主干網(wǎng)絡(luò)由Focus、Conv、BottleneckCSP、SPP等模塊組成。NECK 和輸出端由BottleneckCSP1、BottleneckCSP2、Conv、Upsample、Concat 等模塊組成，使用sigmoid 激活函數(shù)。模型含有三中損失函數(shù)，包括分類損失（cls_loss）、定位損失（box_loss）、置信度損失（obj_loss）。其作用分別是計(jì)算錨框和標(biāo)定分類名稱是否吻合、預(yù)測框和標(biāo)定框之間的誤差、目標(biāo)檢測的置信度。定位損失使用的是GIOU損失函數(shù)。

圖2 YOLOv5s結(jié)構(gòu)圖

3 算法改進(jìn)

3.1 PuzzleMix圖像數(shù)據(jù)增廣

光伏組串的部分位置會被周圍其他雜物所遮擋或覆蓋，造成局部陰影，就會導(dǎo)致局部電池發(fā)熱，產(chǎn)生所謂“熱斑”現(xiàn)象如圖3，熱斑本身屬于小目標(biāo)。原算法網(wǎng)絡(luò)使用了Mosaic 數(shù)據(jù)增強(qiáng)方式，Mosaic 增強(qiáng)的主要作用是將四張輸入的圖片進(jìn)行左右的翻轉(zhuǎn)、大小的縮放、色域變化（對原始圖片的明亮度、飽和度、色調(diào)進(jìn)行改變）等操作后拼接到一起成為一個新的圖片作為訓(xùn)練數(shù)據(jù)。這種方式的優(yōu)點(diǎn)是豐富檢測物體的背景的同時(shí)增加了數(shù)據(jù)多樣性，間接性的提高了batch_size。但是這種方式應(yīng)用在對光伏熱斑數(shù)據(jù)集的訓(xùn)練時(shí)，如果數(shù)據(jù)集的圖像數(shù)據(jù)中本身就有很多小目標(biāo)，Mosaic處理之后會導(dǎo)致小目標(biāo)變得更小，模型泛化能力變差并且精度降低，導(dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果大打折扣。

圖3 熱斑

使用PuzzleMix［11］增強(qiáng)代替Mosaic 增強(qiáng)，這種方式加強(qiáng)了顯著性分析的能力。PuzzleMix 在對數(shù)據(jù)集進(jìn)行處理時(shí)會計(jì)算各個圖片的顯著區(qū)域，之后剪裁顯著性區(qū)域進(jìn)行圖像拼接移位、旋轉(zhuǎn)、調(diào)節(jié)明暗、添加噪點(diǎn)等一系列操作，相比于原算法中的Mosaic 增強(qiáng)，這種方式不會使得小目標(biāo)失真，反而使模型更加關(guān)注這些顯著性區(qū)域。熱斑在光伏組串上對比于其背景色非常明顯，因此PuzzleMix算法很容易篩選出熱斑顯著的區(qū)域，并將其裁剪出來。

3.2 SimAM模塊

YOLOv5 網(wǎng)絡(luò)在進(jìn)行特征傳遞的時(shí)候，會遺漏一些小目標(biāo)部位的特征要素信息，同時(shí)訓(xùn)練過程中也會受到復(fù)雜背景信息的干擾。為了解決這個問題，在YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中Backbone 中引入3D 無參SimAM 注意力機(jī)制。SimAM［12］（A Simple，Parameter-Free Attention Module for Convolutional Neural Networks）是我國中山大學(xué)于2021 年提出的一種全新的、概念簡單且非常有效的注意力模塊。SimAM 是基于神經(jīng)科學(xué)理論，優(yōu)化一個能量函數(shù)，通過找到每一個神經(jīng)元的重要性后計(jì)算其最小能量，使用操作符來細(xì)化特征。與現(xiàn)有的其他通道、空域注意力模塊不同之處在于該模塊無需額外參數(shù)，便可以為特征圖推導(dǎo)出3D 注意力權(quán)值。與SENet 注意力模塊相比，SimAM 不會引入額外參數(shù)量，而SE則會引入額外的參數(shù)量。

SimAM模塊的引入，幫助模型提高了全面評估特征權(quán)重的能力，增強(qiáng)其對有熱斑特征部位的關(guān)注，減弱數(shù)據(jù)集中復(fù)雜紅外背景的干擾。它優(yōu)化了模型整體的干擾抑制能力，可以更好地聚焦主體目標(biāo)。處理模型所提取出帶熱斑部位的這些小目標(biāo)關(guān)鍵信息時(shí)，減少噪聲干擾，賦予其更大的權(quán)重。

3.3 CIOU損失函數(shù)

原始代碼中使用的是GIoU 來作邊界框的回歸損失函數(shù)，使用二進(jìn)制交叉熵和Logits 計(jì)算目標(biāo)得分的損失，公式如式（1）、（2）、（3）所示。GIOU的缺點(diǎn)是在兩個個預(yù)測框有包含關(guān)系時(shí)，會有和IOU一樣的缺陷，邊界框預(yù)測值不準(zhǔn)確。其本身收斂速度緩慢，只考慮到重疊面積關(guān)系，效果不佳。

式（1）、（2）、（3）中Losscoord 含義是目標(biāo)位置損失函數(shù)；是單元格i 產(chǎn)生的先驗(yàn)框j 包含目標(biāo)；J是邊框交集的面積，U是邊框并集的面積；A代表邊框最小外界矩形的面積；wi和wi分別是預(yù)測框的長與寬。

CIOU 損失函數(shù)增加ρ和ν兩個因素，使神經(jīng)網(wǎng)絡(luò)模型在預(yù)測時(shí)產(chǎn)生的回歸框定位更精確。并且CIOU 增加了檢測框尺度的loss，增加了長和寬的loss，這樣預(yù)測框就會更加的符合真實(shí)框，CIOU損失函數(shù)被定義為式（4）。式（4）中α為平衡比例參數(shù)；b是anchor框的中心點(diǎn)；bgt是目標(biāo)框的中心點(diǎn)；ρ是兩個中心點(diǎn)的歐式距離；c1是覆蓋anchor和目標(biāo)框的最小矩形的對角線長度。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境配置

在Windows10 操作系統(tǒng)下，配置如表1 的深度學(xué)習(xí)下卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行環(huán)境，使用同等配置對YOLOv5 及其改進(jìn)版本進(jìn)行對比實(shí)驗(yàn)。計(jì)劃對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行300輪次的訓(xùn)練。

表1 環(huán)境配置

4.2 自制熱斑數(shù)據(jù)集

為了保證卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，均使用DJI-M30T無人機(jī)搭配紅外相機(jī)模組在大型光伏電站進(jìn)行拍攝，圖片的大小控制在9.4MB～17.5MB 之間高清圖像。照片內(nèi)容是在各種不同背景下的光伏組串因各種異常原因造成的熱斑現(xiàn)象的紅外圖，包含單個熱斑和多熱斑且密集排布，數(shù)據(jù)集訓(xùn)練數(shù)據(jù)圖總數(shù)為1500 張，驗(yàn)證集圖數(shù)量為100 張，確保數(shù)據(jù)集蘊(yùn)含的特征內(nèi)容廣泛。使用Label Img 軟件對數(shù)據(jù)集內(nèi)圖像的特征目標(biāo)進(jìn)行手動標(biāo)注，生成txt文本保存標(biāo)簽數(shù)據(jù)。

4.3 實(shí)驗(yàn)數(shù)據(jù)

通過在自制光伏熱斑數(shù)據(jù)集上的訓(xùn)練，選取最佳的訓(xùn)練權(quán)重，對YOLOv5 原始算法和改進(jìn)后的算法在相同圖像上進(jìn)行識別對比。如圖4 所示，圖（a）、（c）是改進(jìn)后算法識別得出，圖（b）、（d）是原始算法識別得出。圖（a）、（b）是對含有單個熱斑的圖像進(jìn)行時(shí)別，原始YOLO 算法的置信度是0.6，改進(jìn)后的YOLO 算法置信度是0.71。圖（c）、（d）是對含有多個熱斑且目標(biāo)密集的圖像進(jìn)行識別，改進(jìn)后的算法識別平均置信度為0.579，原始算法的平均置信度為0.523，并且原始算法有兩個誤檢。

圖4 識別對比圖

為了客觀全面的判斷改進(jìn)模型的識別能力和網(wǎng)絡(luò)性能，使用訓(xùn)練損失函數(shù)穩(wěn)態(tài)值L（Loss）、精確率P（Precision）、召回率R（Recall）、精度均值mAP這幾個主要指標(biāo)來衡量。具體公式如式（5）、（6）、（7）：

式（5）、（6）、（7）中，TP 表示被正確地劃分為正例的個數(shù)，即樣本為正，預(yù)測結(jié)果為正；FP 表示被錯誤地劃分為正例的個數(shù)，既樣本為負(fù)，預(yù)測結(jié)果為正；FN表示被錯誤地劃分為負(fù)例的個數(shù)，即樣本為正，預(yù)測結(jié)果為負(fù)。準(zhǔn)確率代表評估捕獲的成果中目標(biāo)成果所占得比例，召回率代表從預(yù)測正確目標(biāo)中占所有正例的比例。根據(jù)Precision 與Recall 繪制P-R 曲線，AP 就是該曲線下的面積，mAP 就是所有類AP的平均值，它是能夠反映全局性能的指標(biāo)。

表2 是本次實(shí)驗(yàn)結(jié)果數(shù)據(jù)對比。名稱A、B、C、D 分別代表SSD 算法、YOLOv5 原始算法、YOLOv4-tiny算法、YOLOv5改進(jìn)算法。

表2 實(shí)驗(yàn)數(shù)據(jù)

通過實(shí)驗(yàn)數(shù)據(jù)的對比，改進(jìn)后的算法相較于改進(jìn)后的算法對光伏熱斑數(shù)據(jù)集中的小目標(biāo)熱斑和密集目標(biāo)的檢測能力較強(qiáng)的分辨能力，綜合性能有所提高。改進(jìn)后的YOLOv5 算法召回率提升了1.02%，說明算法的漏檢目標(biāo)有所減少。準(zhǔn)確率從75.58%提升到了77.93%，說明算法對目標(biāo)區(qū)域的錯誤檢測次數(shù)降低。mAP 值提升了1.5%，說明了雖然網(wǎng)絡(luò)結(jié)構(gòu)的嵌入了更多的負(fù)載模塊變得更大，但是其綜合性能相較于原始版本的算法得到了一定程度的優(yōu)化與改善。圖5 是改進(jìn)后算法訓(xùn)練后的的Percision、Recall、mAP曲線。

圖5 訓(xùn)練數(shù)據(jù)統(tǒng)計(jì)

改進(jìn)后的算法穩(wěn)態(tài)損失函數(shù)值（圖6）降低了約1%，這說明在算法在使用了數(shù)據(jù)增強(qiáng)模塊Puzzlemix 的顯著性分析能力后，使用裁剪特征部位并拼接處理后的數(shù)據(jù)，使得網(wǎng)絡(luò)的學(xué)習(xí)能力更強(qiáng)，速度更快。

圖6 訓(xùn)練損失函數(shù)

5 結(jié)語

針對光伏組串上的熱斑檢測任務(wù)的檢測精度低的問題，使用PuzzleMix 算法對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，并通過在YOLOv5-s 網(wǎng)絡(luò)模型中嵌入3D 無參SimAM 注意力機(jī)制和調(diào)整損失函數(shù)為CIOU 得到改進(jìn)YOLOv5 算法。該算法具備更強(qiáng)的特征感知能力和目標(biāo)檢測精度。根據(jù)多次實(shí)驗(yàn)，改進(jìn)后的算法針對自制光伏熱斑數(shù)據(jù)集的識別平均置信度達(dá)到了71%，實(shí)時(shí)檢測最高達(dá)到了35fps/s，可以應(yīng)用于實(shí)際巡檢場景。該方法可以為光伏電站的巡檢提供技術(shù)參考，下一步的工作的進(jìn)一步改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，降低網(wǎng)絡(luò)模型的大小，提升檢測精度。