一種基于改進的YOLOv3算法在糧蟲小目標檢測的應用

呂宗旺 金會芳 甄 彤 孫福艷 桂崇文

(河南工業大學信息科學與工程學院1，鄭州 450001) (糧食信息處理與控制教育部重點實驗室2，鄭州 450001)

隨著科學技術的發展，糧食產量得到了很大的提高，儲糧的數量也與日俱增。由于儲糧量的增大，如何在儲糧過程中減少糧食的損失變的越來越重要[1]。糧食霉變、蟲蝕和生芽是影響糧食數量和質量的重要因素，其中蟲蝕不僅會造成糧食數量減少，而且啃食之后的糧食會產生霉變從而影響糧食的質量[2]。因此高效、精準的檢測糧倉害蟲的種類和數量成為一項重要的任務。隨著技術的進步，糧蟲檢測由傳統的人工法、誘捕法[3]，逐漸發展成聲檢測[4]、圖像識別、生物光子檢測和深度學習圖像處理。傳統的糧蟲圖像識別的方法針對不同的糧蟲單獨設計其特征，送入分類器最終確定糧蟲種類。基于深度學習圖像處理技術避免了手工設計特征的繁瑣過程，能夠自動學習糧蟲特征，具有速度快、精度高等優點，逐漸成為研究熱點。

經典的目標檢測算法在糧蟲檢測的應用包括雙階段和單階段兩大方向。雙階段中以Faster R-CNN和R-FCN為代表，包括region proposal和class兩個階段，特點是精度較高、運算速度較慢、訓練起來相對困難[5-8]。單階段的目標檢測以YOLO和SSD為代表，region proposal和class同時進行，特點是運算速度較快，效率高，但精度相對較差。由于糧蟲小目標的特性，兩階段的目標檢測算法的研究內容主要包括更換特征提取網絡，例如將結構簡單的VGG-16更換為可以提取更加復雜特征 ResNet50、ResNet101、Inception或DenseNet[9-12]；將原本的NMS算成Soft-NMS、更改或刪除網絡結構、進行特征融合等方面。單階段的YOLO和SSD目標檢測算法大多應用在農田害蟲檢測上，在小目標多姿態的糧倉害蟲的應用較少[13]。

本研究基于經典目標檢測算法YOLOv3，使用自制的糧倉害蟲數據集，針對米象/玉米象、赤擬谷盜、谷蠹、銹赤扁谷盜和印度谷螟五種小麥常見的害蟲設計了一個檢測算法。為了提升檢測效果應用K-means聚類算法[14]聚類出適合的預選框，彌補原本預選框在糧倉害蟲小目標檢測不準確問題；將GIoU替代原模型中的IoU應用到算法，同時優化損失函數進行實驗，檢測效果得到了很大的提升。

圖1 YOLOv3網絡

1 經典YOLOv3算法

YOLOv3算法在2018年提出，在YOLO和YOLOv2基礎上進行了優化，不僅保證了檢測速度而且使用了比YOLOv2更深的網絡提高了檢測精度[15，16]。在YOLOv3中，輸入的圖片大小為416×416，采用了多尺度預測的思想，對3種大小不同的特征圖進行預測，分別為32倍下采樣的13×13的特征圖、16倍下采樣的26×26的特征圖和8倍下采樣的52×52的特征圖；針對不同大小的特征圖，每種特征圖分別有3個不同anchors，在特征圖上根據各自的anchors，生成目標框以及相應的confs和probs[17]。如圖1所示，YOLOv3采用darknet-53作為基礎網絡提取特征，采用上采樣技術將深層特征圖和淺層特征圖進行concat融合，融合之后的特征圖擁有更加豐富的語義信息；之后通過DBL模塊和卷積之后，將預測結果輸出。

在訓練過程中，YOLOv3對每個特征圖計算損失，損失主要包括boxes損失(中心坐標損失和寬高坐標損失)、置信度損失和分類損失。其中中心坐標損失為式(1)所示，首先將網絡輸出的tx和ty乘以步長映射到原圖416×416上的目標，計算方法如式(2)所示，即若當第i個網絡的第j個anchor box負責某個真實目標時，計算該anchor box所產生的bounding box與真實目標的box比較，得到中心坐標誤差；寬高坐標損失為式(3)所示，首先將網絡輸出的bw和bh映射到原圖上的目標如式(4)所示，即若第i個網絡的第j個anchor box負責某個真實目標時，計算該anchor box所產生的bounding box與真實目標的box比較，得到寬高坐標誤差；置信度損失部分如式(5)所示，首先將正樣本和負樣本進行分離，分離的依據是計算boxes和ground truth的IoU，將IoU小于0.5的boxes判定為負樣本，其他的判定為正樣本，分別計算正負樣本的損失值，其中負樣本貢獻的權重λnoobj=0.5，最后計算正負損失值的平均交叉熵作為置信度損失；分類損失部分如式(6)所示，只有正樣本才會計算分類損失。darknet-53中沒有pooling層使用conv的stride來實現下采樣，整個網絡中全部使用stride=2卷積代替pooling操作；使用殘差思想增加了shortcut connection結構，使網絡增加對小目標檢測效果，有效防止了過擬合同時也降低了池化帶來的梯度負面效果。

(1)

bx=σ(tx)+cx,by=σ(ty)+cy

(2)

(3)

bw=awetw,bh=aheth

(4)

(5)

(6)

2 算法優化

根據YOLOv3算法的原理，為了解決YOLOv3對小目標檢測不敏感、精度差等問題，采用K-means算法對自制數據集進行聚類分析，得到適應訓練集的聚類數據。然后根據GIoU的特點，將其引用到YOLOv3的算法中，以提升小目標的檢測效果。

2.1 K-means算法

K-means聚類是目標檢測算法獲取適合自己數據集anchors的常見手段，使用各ground truth與初始聚類box的IoU作為距離度量進行迭代計算，計算方式如式(7)所示，最后得到所需的K個初始聚類anchors。具體步驟如下：首先初始化聚類中心，即從N(N為ground truth的總個數)個ground truth隨機選K個，然后計算每個ground truth和K個anchor的距離，用1-IoU來表示；對于每個ground truth，選取距離最小的anchor，并存下其索引；每次迭代之后更新anchors與所有ground truth框的距離均值和每個ground truth距離最近的Anchor索引；如果當前索引和上次一樣，則聚類結束。

dJ(b1,b2)=1-J(b1,b2)

(7)

2.2 GIoU算法引用

經典的YOLOv3算法中，使用IoU作為度量判別正負樣本，并根據此依據計算置信度損失。IoU 具有尺度不變性，可以有效比較兩個任意形狀之間的相似性。根據圖2的計算原理，如果A、B兩個框之間沒有重疊時，則IoU為0并且無法判斷A、B兩個框之間的距離[18]。基于上述原因，GIoU作為IoU的升級版誕生了，既繼承了IoU的優點，又彌補了IoU無法衡量無重疊框之間距離的缺點[19，20]。

圖2 IoU的計算原理

計算方式如式(8)所示，在IoU的基礎上尋找一個最小閉包面積Ac(同時包含了預測框和真實框的最小框的面積)再計算出IoU，接著計算閉包區域中不屬于兩個框的區域占閉包區域的比重，最后再用IoU減去這個比重得到GIoU。式(8)中U為兩個框的Union，|Ac-U|即為整個閉包區域中不屬于兩個框的區域。根據GIoU的計算原理可知，兩個框之間的距離越遠，Ac越大，|Ac-U|所占的比重越大，GIoU越小，可以準確的衡量兩個不重疊的框之間的距離。GIoU是IoU的下界，取值范圍[-1,1]，當兩個框無限重合的情況下，GIoU=loU=1，當兩者無交集且無限遠時取最小值-1。如圖3所示GIoU可以更好的度量兩個框的重合度以及重合的方式。

(8)

當GIoU應用到YOLOv3算法中作為兩個框之間的距離度量時[21]，其損失函數為：LGloU=1-GIoU，其損失函數變為三部分，GIoU損失、置信度損失和分類損失。

圖3 IoU和GIoU的重合度計算對比

3 數據集制作及檢驗標準

3.1 數據集的制作

實驗數據集為自制，包括小麥中5種常見的害蟲，有玉米象(mxymx)、赤擬谷盜(xngd)、谷蠹(gudu)、銹赤扁谷盜(xcbgd)和印度谷螟(ydgm)，如圖4所示。采集圖像時，使用活體成蟲進行拍攝，由于活體蟲子較為活潑，可以保證采集樣本的多樣性。采用拍視頻的方式，后期使用軟件截圖完成數據集圖片的制作[22]。合計采集1 998張圖像，每幅圖像大小為640×480，每幅圖像有3～10只蟲子，且每幅圖片只有一種蟲子。

3.2 數據增強數據集

采用5種目標檢測常見的數據增強手段，對原版數據集進行增強，分別為調整亮度，加噪、水平翻轉、垂直翻轉和縮放，5種增強方式效果分別如下圖5所示。最終生成9 990數據集，其中訓練集大小為7 192，驗證集為1 799，測試集為999。

3.3 性能評價指標

采用精確率(Precision)、召回率(Recall)、AP(average precision)以及平均準確率mAP(mean Average Precision)和FPS(Frame Per Second)來衡量模型的好壞。所有指標都是數值取值越大，代表檢測性能越好。

FPS代表檢測速度，數值越大，代表檢測速度越快。其中Precision和Recall的計算如式(9)所示。

圖4 數據集的蟲子樣本

圖5 數據增強方法

(9)

其中TP為被正確劃分為正樣本的正樣本個數(True positive),FP為被錯誤劃分為正樣本的負樣本個數(False positive)，all detectioons=TP+FP；FN為被錯誤劃分為負樣本的正樣本數量(False negative)，all ground truthes=FN+TP。

4 實驗結果

實驗環境硬件配置：Intel i7-10750H處理器，RTX2060顯卡。軟件環境配置：Windows10系統，CUDA，OpenCV，tensorflow框架，主要超參數的設置如表1所示。

表1 通用超參數設置

4.1 原始YOLOv3檢測效果

數據集主要包括兩個拍攝尺寸的糧蟲圖片分別如圖6和圖7所示。原始YOLOv3的檢測結果mAP如表2所示。

圖6 小尺寸糧蟲

圖7 大尺寸糧蟲

表2 數據集1 998的mAP

4.2 K-means算法引用的結果

使用K-means算法對于所有糧蟲進行聚類，聚類之后的先驗框結果如表3所示。

表3 聚類之后的先驗框

使用K-means聚類算法前后的mAP結果對比如表4所示，使用聚類算法之后，YOLOv3的檢測mAP相比于之前提升了10.04%。

表4 數據集1 998和+K-means前后mAP對比

4.3 GIoU算法引用之后的結果

在4.2實驗基礎上，引用GIoU算法優化模型并進行相應的實驗，結果如表5所示，mAP達到了97.19%相比4.2節提升了9.57%，同時檢測速度為25幀/s依然能夠達到實時的效果。

表5 GIoU算法的mAP

如圖8和9所示，方框中為優化后的模型檢測結果，從結果來看對于糧蟲的漏檢、錯檢以及由于糧蟲抱團、遮擋造成的漏檢錯檢情況都有較好的改善。

圖8 優化前后對比圖

圖9 優化前后對比圖

4.4 基于數據增強數據集的實驗結果對比

表6為基于數據增強后的數據集的實驗結果，根據結果來看，基于數據增強數據集訓練的YOLOv3 mAP由87.62%提升至91.93%，增加了GIoU算法的YOLOv3相比未優化的YOLOv3，mAP提升至99.43%，實驗證明，優化后的YOLOv3性能有了很大的提升。圖10為999張測試集的檢測結果。

表6 基于數據增強數據集優化前后mAP對比

圖10 測試集檢測結果

4.5 單張含多種蟲子的驗證試驗

由于實際使用中，采集的圖片存在單張圖片多種糧蟲的情況，故手動拼了20張圖片進行驗證。在測試集中均勻采集了20張圖片，每種蟲子4張，將每張圖片切分為4塊，然后4張圖片組合成4張混合的圖片每種蟲子的個數如下圖11左所示，測試結果如下圖11右所示。根據結果來看，含多種蟲子的圖片確實存在檢測種類錯誤的情況。

圖11 單張含多種蟲子的結果

5 結論

針對小目標糧蟲的檢測問題以及原始YOLOv3模型對于小目標檢測時表征能力和檢測效率兩方面的不足，提出了一種融合GIoU算法的YOLOv3檢測模型。一方面使用GIoU算法彌補IoU算法對于不相交box無法量化的問題，同時使用GIoU優化損失函數；另一方面使用數據增強手段對拍攝的數據集進行增強，使數據集由1 998變為9 990，并K-means聚類算法對自制數據集進行聚類分析，聚類出符合糧蟲小目標檢測的先驗框。針對自制的1 998張糧蟲的數據集進行實驗獲得了mAP 97.16%和每幅圖像0.040 s的檢測速度；針對9 990張增強的數據集，mAP達到99.43%，實驗表明本文提出YOLOv3算法針對小目標糧蟲的檢測效果有很大的提升。本研究的數據集采用的單張圖片一種蟲子的形式，實際應用中拍攝的圖片中單張含多種蟲子，根據4.5的驗證結果來看，實際應用中識別的精度會有一定程度的降低，所以在后續的研究中會在數據集中增加單張含多種蟲子的圖片進行訓練，以提升識別精度。