基于YOLO V3算法的輸電線路鳥類檢測(cè)

鄒 聰 梁永全,2*

1(山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 山東 青島 266590) 2(山東省智慧礦山信息技術(shù)重點(diǎn)實(shí)驗(yàn)室 山東 青島 266590)

0 引 言

輸電線路在電力系統(tǒng)中有著舉足輕重的作用，近年來其建設(shè)規(guī)模急劇增大。鳥害是威脅線路安全的重要因素，其對(duì)輸電線路的影響主要有四個(gè)方面：鳥類啄損、鳥類筑巢、鳥類排泄、鳥類飛行。針對(duì)鳥害問題，目前有效的方法是安裝超聲波驅(qū)鳥器，但驅(qū)鳥器長時(shí)間工作會(huì)造成能耗浪費(fèi)[1-2]。因此，對(duì)輸電線路實(shí)施精準(zhǔn)的檢測(cè)，當(dāng)有一定數(shù)目的鳥類在線路周圍活動(dòng)時(shí)及時(shí)啟動(dòng)驅(qū)鳥器極為重要。

近年來深度學(xué)習(xí)技術(shù)在實(shí)際場(chǎng)景中得到廣泛應(yīng)用。深度卷積神經(jīng)網(wǎng)絡(luò)[3-4]進(jìn)行目標(biāo)檢測(cè)時(shí)可以自主學(xué)習(xí)。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[5-6]大致分為兩類，1) two stage目標(biāo)檢測(cè)算法。例如Fast R-CNN[7]、Faster R-CNN[8]等，此類算法分兩步進(jìn)行檢測(cè)，先使用候選區(qū)域網(wǎng)絡(luò)(RPN)生成候選區(qū)域，再實(shí)現(xiàn)目標(biāo)的檢測(cè)分類。2) one stage目標(biāo)檢測(cè)算法。例如SSD[9]、YOLO V3[10-11]等，此類算法經(jīng)檢測(cè)網(wǎng)絡(luò)直接預(yù)測(cè)目標(biāo)的位置和類別信息，具有更快的檢測(cè)速度，基本可以達(dá)到實(shí)時(shí)檢測(cè)。

本文以單步目標(biāo)檢測(cè)算法YOLO V3為基礎(chǔ)，將輸電線路鳥類作為目標(biāo)，針對(duì)設(shè)備采集圖片中目標(biāo)較小及鳥類相互遮擋的問題對(duì)YOLO V3結(jié)構(gòu)進(jìn)行改進(jìn)。為提高網(wǎng)絡(luò)對(duì)圖像中小目標(biāo)的召回率及檢測(cè)精確率，對(duì)原網(wǎng)絡(luò)中52×52尺度下的特征圖進(jìn)行2倍上采樣，然后與第二個(gè)殘差塊進(jìn)行拼接，以此融合高層特征的語義信息；為解決鳥類相互遮擋的檢測(cè)問題，根據(jù)檢測(cè)框與預(yù)選取檢測(cè)框的Intersection-over-Union(IoU)值，計(jì)算各檢測(cè)框?qū)?yīng)的比例因子，以此衰減它們的置信分?jǐn)?shù)，最后經(jīng)過迭代刪除分?jǐn)?shù)低于設(shè)定閾值的檢測(cè)框。將本文改進(jìn)的網(wǎng)絡(luò)與多種網(wǎng)絡(luò)在輸電線路鳥類數(shù)據(jù)集上進(jìn)行對(duì)比測(cè)試，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的網(wǎng)絡(luò)有較好的檢測(cè)效果。

1 YOLO V3算法

1.1 YOLO V3網(wǎng)絡(luò)結(jié)構(gòu)

YOLO V3骨干網(wǎng)絡(luò)為深層卷積神經(jīng)網(wǎng)絡(luò)Darknet-53[12],該網(wǎng)絡(luò)含有1×1、3×3的卷積層共53個(gè)，網(wǎng)絡(luò)在13×13、26×26、52×52三個(gè)尺寸上進(jìn)行特征融合后對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，其結(jié)構(gòu)如圖1所示。

圖1 YOLO V3網(wǎng)絡(luò)結(jié)構(gòu)

1.2 YOLO V3檢測(cè)流程

首先，輸入的圖像被劃分為13×13個(gè)單元格。然后，每個(gè)單元格會(huì)生成A個(gè)檢測(cè)框[13]，檢測(cè)框由一個(gè)五維度的預(yù)測(cè)參數(shù)組成，包括檢測(cè)框中心點(diǎn)坐標(biāo)(x,y)、寬高(w,h)、置信得分si。置信得分計(jì)算為：

si=P(Ci|Oobject)×P(Oobject)×IoU(kT,kP)

(1)

式中：P(Oobject)表示當(dāng)前單元格檢測(cè)框中存在物體的可能性，若存在檢測(cè)物體則取值為1，否則取值為0；P(Ci|Oobject)表示檢測(cè)框存在目標(biāo)的情況下，單元格預(yù)測(cè)第i類物體的條件概率；IoU(kT,kP)為預(yù)測(cè)檢測(cè)框與真實(shí)標(biāo)注框的交并比。

最后通過NMS[14-15]算法保留置信得分較高的目標(biāo)檢測(cè)框，該算法選取合適檢測(cè)框的同時(shí)會(huì)抑制冗余檢測(cè)框。傳統(tǒng)的NMS處理方式由式(2)的函數(shù)表達(dá)：

(2)

式中：M為當(dāng)前區(qū)域內(nèi)置信得分最大的檢測(cè)框；IoU(M,bi)為M與相鄰重疊框bi的交并比；Nt為設(shè)定的重疊閾值。

2 改進(jìn)的YOLO V3檢測(cè)模型

2.1 特征融合目標(biāo)檢測(cè)層

在輸電線路鳥類檢測(cè)任務(wù)中，設(shè)備采集的圖像中鳥類普遍較小，需要改進(jìn)原網(wǎng)絡(luò)結(jié)構(gòu)以適應(yīng)檢測(cè)任務(wù)。

改進(jìn)的YOLO V3結(jié)構(gòu)如圖2所示，輸入416×416像素圖像，將52×52的特征圖進(jìn)行2倍上采樣，將上采樣后的特征圖與網(wǎng)絡(luò)第二個(gè)殘差塊的輸出進(jìn)行拼接，同時(shí)通過2倍上采樣使13×13、26×26的特征圖進(jìn)行信息傳遞。第二個(gè)殘差塊輸出的特征圖相對(duì)于輸入圖像為4倍降采樣，含有更多小目標(biāo)的特征信息，可以提高對(duì)圖像中小目標(biāo)的檢測(cè)精確率。最后直接由融合的4倍降采樣特征圖實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。除此之外，為處理網(wǎng)絡(luò)加深時(shí)出現(xiàn)的訓(xùn)練退化問題，在網(wǎng)絡(luò)的第二個(gè)殘差塊中增加2個(gè)殘差單元。殘差單元的基本組件DBL(Darknetconv2d_BN_Leaky)由卷積層、批量歸一化操作(Batch Normalization)和LReLU激活函數(shù)構(gòu)成。

圖2 改進(jìn)的YOLO V3網(wǎng)絡(luò)結(jié)構(gòu)

2.2 比例因子NMS算法

傳統(tǒng)NMS算法抑制冗余檢測(cè)框時(shí)，判斷某個(gè)檢測(cè)框是否冗余主要取決于設(shè)置重疊閾值的大小，算法強(qiáng)制性將大于重疊閾值的檢測(cè)框的置信得分置為0。當(dāng)重疊區(qū)域出現(xiàn)真實(shí)目標(biāo)時(shí)就會(huì)被誤刪，容易造成目標(biāo)的漏檢。

輸電線路鳥類檢測(cè)任務(wù)中，經(jīng)常出現(xiàn)鳥類聚集的情況。本文將基于比例因子衰減的NMS算法應(yīng)用于檢測(cè)任務(wù)中，根據(jù)重疊程度按一定的比例衰減檢測(cè)框的置信得分，使算法在有效抑制冗余檢測(cè)框的同時(shí)降低目標(biāo)的漏檢率。算法具體如下：bm為檢測(cè)框集合B中置信得分最高的檢測(cè)框，計(jì)算其余相鄰檢測(cè)框與bm的IoU(bm,bi)值，根據(jù)此值使用式(3)得到各檢測(cè)框的比例因子wi，衰減它們的置信得分為wisi；最后將衰減后置信得分小于設(shè)定閾值的檢測(cè)框刪除，重復(fù)執(zhí)行此過程直到處理完集合B中所有的檢測(cè)框。此算法根據(jù)IoU值計(jì)算檢測(cè)框?qū)?yīng)的比例因子是連續(xù)過程，當(dāng)IoU值為0時(shí)，繼續(xù)保留檢測(cè)框原有的置信得分。

wi=1-lg(IoU(bm,bi)+1)

(3)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)運(yùn)行環(huán)境

本文實(shí)驗(yàn)的軟硬件平臺(tái)配置如表1所示。

表1 實(shí)驗(yàn)配置表

3.2 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)中所用數(shù)據(jù)主要來源于課題組采集的山東地區(qū)輸電線路附近監(jiān)控設(shè)備，隨機(jī)抽取監(jiān)控視頻并提取單幀圖像制成數(shù)據(jù)集。使用Labellmg工具標(biāo)注圖片并以VOC數(shù)據(jù)格式存儲(chǔ)。數(shù)據(jù)集中圖像共計(jì)5 000幅，其中訓(xùn)練集4 000幅，測(cè)試集1 000幅。

針對(duì)本文研究對(duì)象特點(diǎn)，采用平均重疊度[12](Avg IoU)對(duì)標(biāo)記好的自制數(shù)據(jù)集進(jìn)行聚類分析。Avg IoU目標(biāo)函數(shù)如下：

(4)

式中：S為樣本；C表示簇中心；IoU(S,C)表示聚類框與簇中心框的交并比，衡量預(yù)測(cè)框的準(zhǔn)確程度；k為簇的個(gè)數(shù)；n為樣本總數(shù)；nk為第k個(gè)聚類中心中的樣本個(gè)數(shù)；i為樣本序號(hào)，j為聚類中心中的樣本序號(hào)。

對(duì)數(shù)據(jù)集進(jìn)行K-means聚類[16-17]分析得到如圖3所示的關(guān)系圖。當(dāng)k取值為3時(shí)曲線逐漸開始平緩，所以選取anchor boxes的數(shù)量為3，對(duì)應(yīng)預(yù)測(cè)框的大小設(shè)為3個(gè)聚類中心，在本訓(xùn)練集上分別為(22,19)、(41,28)、(38,43)。

圖3 K-means聚類結(jié)果

3.3 網(wǎng)絡(luò)訓(xùn)練

模型訓(xùn)練參數(shù)如表2所示。前17 000次初始學(xué)習(xí)率為0.001，后3 000次將學(xué)習(xí)率調(diào)整為0.000 1。訓(xùn)練過程中每1 000次迭代保存一個(gè)權(quán)重文件。

3.4 結(jié)果分析

為驗(yàn)證改進(jìn)的網(wǎng)絡(luò)能夠較好地檢測(cè)小目標(biāo)和相互遮擋的鳥類，進(jìn)而提高整體檢測(cè)效果，本文設(shè)置兩個(gè)對(duì)比實(shí)驗(yàn)。

(1) 小目標(biāo)檢測(cè)。將YOLO[18]、YOLO V2[19]、YOLO V3及本文改進(jìn)的YOLO V3分別在數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試。計(jì)算其對(duì)目標(biāo)的檢測(cè)精確率P與召回率R，計(jì)算公式分別表示為：

(5)

(6)

式中：XTP為正確檢測(cè)出的目標(biāo)數(shù)；XFP為誤檢的目標(biāo)數(shù)；XFN為沒有被檢測(cè)出的目標(biāo)數(shù)。

實(shí)驗(yàn)結(jié)果如表3所示。改進(jìn)的網(wǎng)絡(luò)對(duì)檢測(cè)目標(biāo)的精確率及召回率均有不同程度的提高，平均精度(AP)兼顧精確率和召回率兩個(gè)指標(biāo)，數(shù)值提高至89.25%。

(2) 鳥類相互遮擋檢測(cè)。在實(shí)驗(yàn)數(shù)據(jù)集中選取100幅遮擋比例不同的鳥類圖像，使用傳統(tǒng)NMS算法和本文改進(jìn)的比例因子NMS算法分別對(duì)其進(jìn)行檢測(cè)。檢測(cè)性能對(duì)比如表4所示，當(dāng)鳥類相互遮擋比例小于40%時(shí)，兩種算法的檢測(cè)準(zhǔn)確率差別不大；遮擋比例為40%～60%時(shí)，改進(jìn)的NMS算法較傳統(tǒng)算法準(zhǔn)確率提高20%；遮擋比例更高時(shí)，改進(jìn)的NMS算法在鳥類遮擋檢測(cè)任務(wù)中表現(xiàn)出更好的性能。

表4 不同遮擋比例檢測(cè)性能對(duì)比(%)

圖4、圖5分別為傳統(tǒng)NMS算法與改進(jìn)NMS算法在鳥類遮擋比例大于60%時(shí)的檢測(cè)效果圖，可見傳統(tǒng)算法無法檢測(cè)出被遮擋的鳥類，而改進(jìn)的NMS算法對(duì)被遮住的鳥類有較好的檢測(cè)效果。

圖4 傳統(tǒng)NMS算法檢測(cè)效果圖

圖5 改進(jìn)NMS算法檢測(cè)效果圖

4 結(jié) 語

本文將YOLO V3算法應(yīng)用于輸電線路鳥類的實(shí)時(shí)有效檢測(cè)，從而控制驅(qū)鳥器的啟停，在節(jié)能的同時(shí)保護(hù)輸電線路的穩(wěn)定。針對(duì)圖像小目標(biāo)及目標(biāo)遮擋的現(xiàn)實(shí)問題，在YOLO V3模型基礎(chǔ)上，對(duì)Darknet-53網(wǎng)絡(luò)和NMS算法進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLO V3算法精確率提高至88.36%，平均檢測(cè)速度為38幀/秒，基本達(dá)到實(shí)時(shí)精準(zhǔn)的檢測(cè)效果。但改進(jìn)的算法在檢測(cè)目標(biāo)嚴(yán)重遮擋的圖像方面仍有不足，本文的下一步工作旨在繼續(xù)改進(jìn)算法使其有更好的檢測(cè)能力。