基于改進YOLOv4-tiny的節(jié)肢動物目標檢測模型

余 詠,吳建平,2,何旭鑫,韋 杰,高雪豪

(1.云南大學 信息學院,云南 昆明 650504;2.云南省電子計算中心,云南 昆明 650223)

0 引 言

節(jié)肢動物在目前已知的物種中約有三分之二,Arthropoda,其門下包括常見的蜘蛛、甲蟲、蚊子、蟬、螞蟻、蜜蜂、飛蛾、豆娘等?，F(xiàn)階段,對節(jié)肢動物的檢測手段相對局限,耗時耗力。因此,提高昆蟲識別的準確率和效率,進而促進精準農業(yè)節(jié)肢動物的鑒定與識別,對生態(tài)環(huán)境監(jiān)測[1-2]、減少病蟲害損失等方面有著重大的意義。

目前,常見的卷積神經(jīng)網(wǎng)絡檢測算法可劃分為單階段目標檢測算法和兩階段目標檢測算法。只進行一次特征提取的目標檢測算法以YOLO(You Only Look Once)[3],SSD(Single Shot multibox Detector)[4],RetinaNet[5]系列算法為代表,提升檢測速率同時兼顧了較好的準確性。兩階段目標檢測算法以R-CNN為代表,后續(xù)衍生出Fast R-CNN以及Faster R-CNN[6],檢測精度得到大幅度提升,但因網(wǎng)絡參數(shù)量較大,導致檢測速度較慢;單階段目標檢測算法在一定程度上比兩階段目標檢測算法的檢測效率更高,使得實時檢測成為了可能。

近年來,基于深度學習的發(fā)展,為識別方向的研究奠定了堅實的基礎,對節(jié)肢動物檢測提供了可能。 2019年Lin等[7]通過改進灰狼優(yōu)化算法,利用主旋轉局部二值模式(Dominant Rotated Local Binary Patterns,DRLBP)的紋理特征提取算法作為提取器,基于概率協(xié)同表示的分類器(Probabilistic Collaborative Representation Based Classifier,PROCRC)實現(xiàn)鱗翅目昆蟲識別;2020年黃世國等[8]使用一種新的特征選擇技術以準確、快速地對鱗翅目進行分類;2021年謝娟英等[9]提出2種新的注意力機制,DSEA(direct squeeze-and-excitation with global average pooling)和DSEM(direct squeeze-and-excitation with global max pooling),改進單階段目標檢測典型算法RetinaNet,對自然環(huán)境鱗翅目(Lepidoptera)其下蝴蝶科進行自動識別;唐萬梅等[10]使用新的區(qū)域候選框建議提取網(wǎng)絡Imp-RPN進行融合,在改進損失函數(shù)的基礎上,提取特征再篩選,通過遷移學習的方式實現(xiàn)蜻蜓目檢測;2022年Guo等[2]設計了基于YOLO v5的昆蟲識別方法,解決小樣本情況下識別少量類別精確度的問題,實現(xiàn)對四種有害昆蟲的識別。

當前算法大多只對某一種或單一目的節(jié)肢動物進行自動識別,在自然環(huán)境復雜多樣的條件下難以滿足實際的檢測需求。因此,該文提出了基于輕量化、易部署的YOLOv4-tiny目標檢測框架,針對自然生態(tài)環(huán)境下存在的密集目標、復雜背景及多尺度等情況提出改進算法。該算法將提取的淺層特征和深層特征進行融合,針對性改變原有模型結構,通過類激活圖對提取特征有效性分析后,驗證了該算法的可行性。

1 YOLOv4-tiny-ATO

自然環(huán)境下由于節(jié)肢動物背景復雜、形態(tài)萬千、遮擋目標和目標尺度多樣等因素,對節(jié)肢動物特征進行提取時,容易出現(xiàn)邊界不清晰,噪聲過多,導致模型檢測效率不高,邊界框預判錯誤的情況。該方法從硬件設備的配置要求出發(fā),選取具有易部署、多尺度、端到端等特點的輕量級模型YOLOv4-tiny[11]進行節(jié)肢動物檢測的研究。引入可變形卷積(DCN)以及改進的加權雙向特征金字塔,重塑卷積和特征融合方式進行多尺度預測;結合空間、通道卷積注意力機制(CBAM),抑制背景噪聲;在FPN網(wǎng)絡中引出一層Feat@3,嵌入空間金字塔池化結構,有效提取節(jié)肢動物的各種顯著特征。改進后模型泛化能力和魯棒性更強,將其命名為YOLOv4-tiny-ATO。

1.1 可變形卷積(Deformable Convolution)

可變形卷積(DCN)的核心思想是在原有卷積的基礎上,通過增加空間采樣點數(shù)量,利用額外的偏移量實現(xiàn)對目標形態(tài)學習感知(如圖1所示),新的卷積方式不需要額外的監(jiān)督學習,而是直接進行反向傳播,便能完成端到端的正則化學習。

常規(guī)定義卷積公式如式1:

(1)

其中,pn是由卷積核規(guī)定對于p0的偏移量,p0是輸出feature map中的采樣點。

可變形卷積與式1相比,在原有基礎上多出的偏移量,則是由輸入feature map通過第二層卷積對每一個點進行卷積生成,絕大部分非整數(shù)。

(2)

由于偏移量Δpn大部分為非整數(shù),無法對在feature map 上的采樣點進行求導,便利用雙線性插值(Bilinear)的方法獲得間斷點采樣值,公式表示如下:

(3)

雙線性插值的主要思想是通過對采樣點進行歸一化處理后,使其與feature map上臨近4個像素點,根據(jù)采樣點橫縱坐標來規(guī)定處理每個點的權重,利用線性函數(shù)進行求值,最終得到目標像素的值。從上式可看出,函數(shù)中規(guī)定了對間斷點插值的權重距離,最大值小于1個像素距離max(0,1-...)。

兩種卷積采樣位置對比如圖2所示。

圖2 兩種卷積采樣位置對比

在可變形卷積結構中,其偏移量是通過另一層卷積結構進行計算得到,屬于同一個網(wǎng)絡結構,不同卷積層進行處理的結果,均可在網(wǎng)絡中進行梯度反向傳播訓練?？勺冃尉矸e核權重通過目標形狀特征進行自適應動態(tài)處理,將偏移量結合學習后,實現(xiàn)對復雜的不規(guī)則圖像內容進行特征提取。

1.2 激活函數(shù)改進

在YOLOv4-tiny網(wǎng)絡中的激活函數(shù)采用LeakyRELU,其函數(shù)表達如下:

(4)

選用更優(yōu)的ELU激活函數(shù)代替YOLOv4-tiny網(wǎng)絡中的LeakyRELU函數(shù),其函數(shù)表達式如下:

(5)

圖3 激活函數(shù)ELU和LeakyRELU對比

式中,x為輸入圖像的特征,α數(shù)值可變,負值部分飽和程度由α控制。由式5能夠看出ELU在x≤0時能夠更好的收斂,是因為此時具有指數(shù)函數(shù)特性。圖3為激活函數(shù)Leaky RELU與ELU的對比,從圖中能夠看出,在負區(qū)間,ELU比LeakyRELU對噪聲的過濾效果更好,收斂速度更快。

1.3 基于注意力機制的多尺度預測

基于節(jié)肢動物尺度差異較大的特性,YOLOv4-tiny模型僅對兩級有效特征層進行預測,再進行特征聚合,在模型訓練過程中,檢漏、誤檢情況較多,實際效果并不理想。增加一級淺層有效特征層,位于網(wǎng)絡頸部,尺寸為52×52,擴大特征提取感受野。引入注意力機制,能夠有效彌補添加淺層特征層帶來的問題,減輕提取過多背景噪聲帶來的負面影響。

前饋神經(jīng)網(wǎng)絡卷積塊注意力機制,是一種簡單有效的輕量型雙獨立維度(Spatial and Channel)注意力機制模塊(CBAM),僅需要較少的計算資源,便可無縫集成到YOLOv4-tiny模型中,具體網(wǎng)絡結構如圖4所示。

1.4 引入改進BiFPN和SPP空間金字塔池化

YOLOv4-tiny網(wǎng)絡模型采用FPN結構,但由于其融合特征的方式是單向的,導致提取的不同尺度信息利用率不高。于是,在FPN基礎上,改變那些只有一個輸入的節(jié)點,自頂向下對不同特征進行融合,引入 PANet(Path aggregation network)[12]實現(xiàn)雙向路徑聚合,其次,將同一級輸出與輸入節(jié)點進行鏈路聚合,引入BiFPN雙向特征金字塔結構,減輕網(wǎng)路負擔的同時,能夠有效提取目標中更具有代表性的特征信息。根據(jù)訓練實際情況,由于過多的鏈路聚合的方式存在,融合了大量節(jié)肢動物的無效特征信息,從而移除橫向尺度鏈接,降低了過擬合。BiFPN和改進BiFPN的網(wǎng)絡結構如圖5所示。

圖4 CBAM網(wǎng)絡結構

(a)FPN (b)BiFPN (c)改進BiFPN

SPP能解決因全連接層特征數(shù)固定,導致輸入圖像尺寸與輸入標準不統(tǒng)一的問題,對多方面特征進行融合,豐富提取特征的語義表達能力。為針對節(jié)肢動物圖像尺寸大小不一導致語義信息模糊的情況,在特征融合網(wǎng)絡中嵌入空間金字塔池化SPP結構,使模型檢測性能得到提升。

1.5 YOLOv4-tiny-ATO網(wǎng)絡結構

結合空間、通道卷積注意力機制(Convolutional Block Attention Module,CBAM)[13]、可變形卷積(Deformable Convolution,DCN)[14],在其頸部網(wǎng)絡引出52×52的大尺度特征層,引入改進的加權雙向特征金字塔(Bidirectional Feature Pyramid Networks,BiFPN)[15],重塑卷積和特征融合方式進行多尺度預測,并在FPN前加入空間金字塔池化結構(Space Pyramid Pooling,SPP),有效提取節(jié)肢動物的各種顯著特征,使模型泛化能力更強。改進后的模型命名為 YOLOv4-tiny-ATO,模型結構如圖6所示。

圖6 YOLOv4-tiny-ATO 節(jié)肢動物檢測模型

2 實驗方法與分析

2.1 模型訓練環(huán)境與方法

所有模型使用深度學習框架Pytroch1.10.0+cu113,加速環(huán)境為CUDA11.0,GPU型號為NVIDIA GTX3060,顯存6 GB,CPU型號為AMD Ryzen 7 5800H CPU @3.2 GHz。batchsize設置為16,圖片輸入尺寸416×416,使用余弦退火算法進行訓練,最小學習率為0.001,最大學習率為0.01,每個實驗均迭代70個epoch。

2.2 數(shù)據(jù)集

使用公開帶標簽的節(jié)肢動物圖像數(shù)據(jù)集,稱其為節(jié)肢動物數(shù)據(jù)集(Arthropod Taxonomy Orders Object Detection Dataset,ArTaxOr),所描述的節(jié)肢動物種類超過130萬種,總共有15 374張圖。包括雙翅目(Diptera)(蚊子、蠓等)、鱗翅目(Lepidoptera)(蝴蝶、飛蛾)、蜘蛛目(Araneae)(成蛛、幼蛛)、膜翅目(Hymenoptera)(螞蟻、蜜蜂、黃蜂)、鞘翅目(Coleoptera)(甲蟲)、蜻蜓目(Odonata)(蜻蜓,豆娘等)、半翅目(Hemiptera)(蚜蟲、蟬、飛虱、盾蝽等)七類,部分數(shù)據(jù)集圖像如圖7所示。將其按比例8∶2,隨機劃分為訓練集(12 234張)和驗證集(3 140)張。

圖7 部分數(shù)據(jù)集圖像

2.3 模型評價指標

該文規(guī)定IoU=0.5～0.95作為判斷閾值,采用平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)、檢測速度(FPS)、模型大小(Model size)和召回率(Recall)5種性能指標對各實驗進行評價。其中,召回率為被檢測出的正樣本,如式6所示。AP是針對一組IoU閾值分別為0.5～0.95時計算的,當前類別下模型Recall為0～1時的平均精度,即以精確率、召回率繪成的PR曲線下的面積,計算方法如式7所示。FPS指每秒檢測的圖像數(shù)量,單位為幀·s-1。 mAP是每類別平均精度AP的均值,如式8所示。

(6)

(7)

(8)

2.4 YOLOv4-tiny-ATO模型收斂性能

YOLOv4-tiny-ATO模型,加載YOLOv4-tiny預訓練權重,實驗損失曲線如圖8所示。損失在0～10poch 明顯下降,后續(xù)快速趨于平穩(wěn),說明余弦退火算法匹配性強,改進后的模型訓練效果較好。當epoch為50時,val loss和train loss接近收斂,在第epoch為70時模型具有良好的穩(wěn)定性,訓練損失基本收斂,模型性能達到最佳,實驗表明該改進方法是可行的。

圖8 訓練損失和驗證損失曲線

2.5 YOLOv4-tiny-ATO模型的消融實驗

消融實驗采用余弦退火算法進行訓練,為了量化YOLOv4-tiny模型,引入以上改進方法對節(jié)肢動物檢測,逐一增添機制與模型結合,實驗結果如表1所示。

表1 消融實驗模型結構及結果

根據(jù)實驗數(shù)據(jù)來看,在YOLOv4-tiny模型基礎上,從特征融合網(wǎng)絡中引出Feat@3,但對模型性能的提升并不明顯,主要原因在于淺層特征雖然能提取更多的特征信息,同時也會忽略更多特征信息中的無效信息及噪聲。 YOLOv4-tiny_Feat@3_CBAM模型嵌入注意力機制能夠在不增加計算量的前提下,一定程度上改善對目標的關注度,快速獲取高語義特征信息。 YOLOv4-tiny_Feat@3_CBAM_BiFPN 模型引入改進的特征金字塔結構,僅占用較少計算資源,有效融合不同層級的信息,從而進行多尺度特征表示。YOLOv4-tiny_Feat@3_CBAM_BiFPN_DCN 模型在引入 DCN后,模型通過反向傳播更好的自適應學習目標形態(tài)特征,顯著提高了模型的檢測性能。

2.6 YOLOv4-tiny改進前后的對比結果

改進前后模型進行實驗對比,效果如圖9所示。YOLOv4-tiny模型出現(xiàn)較多的誤檢、漏檢以及預測錨框位置不準確等情況,改進后的YOLOv4-tiny-ATO模型對于不同環(huán)境下的目標檢測效果明顯提升,彌補了原模型對密集目標檢測性能差的缺陷,同時提高了對擬態(tài)動物的檢測效率,預測錨框定位也更加準確。

圖9 改進前后模型檢測效果

2.7 不同模型的對比實驗

為進一步驗證提出的YOLOv4-tiny-ATO算法的優(yōu)越性,對比了目前主流單階段end-to-end的全卷積神經(jīng)網(wǎng)絡模型RetinaNet、YOLO系列目標檢測算法 YOLOv4和YOLOv5-l[16]以及現(xiàn)階段節(jié)肢動物檢測效果最優(yōu)模型AROD RCNN[17]。實驗數(shù)據(jù)如表2所示,利用各類AP、Model size、mAP、recall和FPS對模型進行評估。

從對比數(shù)據(jù)可看出,文中模型對節(jié)肢動物檢測有針對性的改善,提出的YOLOv4-tiny-ATO模型在大小僅為54.6 Mb的前提下,很好地平衡了整體的性能,檢測精度和召回率分別為0.725和0.585,檢測速度達到89.6幀·s-1。因此,在模型大小、檢測速度上更適用于移動端部署,檢測精度也滿足對節(jié)肢動物的檢測需求。

2.8 類激活圖可視化分析

基于梯度定位的Grad-CAM[18]網(wǎng)絡可視化結構,通過類激活圖呈現(xiàn)出可視化圖像,能觀察出模型對圖像中感興趣的區(qū)域。模型改進前后的熱力圖對比結果如圖10所示,兩個模型進行對比后發(fā)現(xiàn), YOLOv4-tiny模型對單一目標關注度比 YOLOv4-tiny-ATO更高,YOLOv4-tiny-ATO模型對密集目標和重疊目標均可較好地進行定位關注。從熱力圖分析可看出,改進的模型具有以下特性:

(1)在復雜背景前提下,能有效區(qū)分噪聲邊界,提取出具有高語義的特征信息;

(2)對于復雜背景,被遮擋目標的圖像,模型特征提取效率高,目標邊界清晰;

(3)模型關注度匹配于節(jié)肢動物多重特性,有效區(qū)分出待檢測目標。

圖10 改進前后模型類激活圖

表2 對比主流檢測模型結果

3 結束語

基于輕量型易部署的YOLOv4-tiny目標檢測框架,提出一種自然環(huán)境復雜背景下改進的節(jié)肢動物檢測算法。通過替換原模型特征融合網(wǎng)絡為改進的BiFPN,有效融合高語義信息,并在其網(wǎng)絡頸部引出Feat@3,提高模型特征提取感受野,嵌入CBAM減少感受野擴大帶來的背景噪聲干擾,改變原有卷積方式為DCN,自適應融合臨近形狀和位置特征,使檢測感受野隨特征的變化而變化。針對節(jié)肢動物門下7類物種,在模型大小、檢測速度和檢測精度達到平衡的前提下,能夠一定程度上解決背景復雜、數(shù)量密集及重疊等問題,有效提升了模型的檢測性能。

通過實驗結果證明,提出的各項方法在YOLOv4-tiny模型上進行改進的有效性,改進后的YOLOv4-tiny-ATO模型,識別節(jié)肢動物的平均精度達到0.725,召回率為0.585,檢測速度為89.6幀·s-1,且模型大小僅為54.6 Mb,較YOLOv4-tiny原始模型,mAP提高0.426,Recall提高0.274。對比目前節(jié)肢動物最優(yōu)模型AROD RCNN,大小僅占其16.7%,mAP提升0.008,FPS提高82.4幀·s-1。該模型對自然環(huán)境下的節(jié)肢動物檢測性能良好,移動部署性強,可為節(jié)肢動物鑒定識別、生態(tài)監(jiān)控和減少病蟲害損失等方向的研究提供參考。