紅外圖像目標(biāo)檢測算法YOLO-TC

楊 航，陶青川

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

隨著時代的高速發(fā)展，目標(biāo)檢測日趨成為深度學(xué)習(xí)領(lǐng)域最為熱門的研究方法之一，在越來越多的實際場景得到應(yīng)用。如人臉、行人、車輛車牌檢測等檢測場景不斷擴寬，目標(biāo)檢測也在不斷的發(fā)展中涌現(xiàn)出越來越多優(yōu)秀的網(wǎng)絡(luò)模型算法。

目標(biāo)檢測的基于深度特征的檢測方法，主要是通過特定的網(wǎng)絡(luò)結(jié)構(gòu)去進(jìn)行模型計算及不同的訓(xùn)練方法去完成訓(xùn)練過程，從輸入圖像中通過設(shè)計的網(wǎng)絡(luò)去學(xué)習(xí)更為高級、抽象的語義特征，綜合得到的結(jié)果用于檢測。這其中就包含如由Krizhevsky 等［1］提出的目標(biāo)檢測模型AlexNet，AlexNet 第一次對圖像的檢測和分類使用大規(guī)模的人工卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)果訓(xùn)練計算，該模型也斬獲了2012 年舉行的ImageNet［2］競賽中圖像分類組的冠軍，其錯誤率為16.4%（在1000 類圖片的分類計算處理中），該模型無論是從速度還是準(zhǔn)確率等指標(biāo)都全面超越了當(dāng)時的傳統(tǒng)非深度學(xué)習(xí)類的目標(biāo)檢測算法。此后目標(biāo)檢測算法如雨后春筍，相繼有ZFNet［3］的出現(xiàn)，包括VGGNet［4］以及GoogLeNet［5］等一系列的卷積神經(jīng)網(wǎng)絡(luò)模型的問世，這類卷積神經(jīng)網(wǎng)絡(luò)模型主要是在兩方面繼續(xù)進(jìn)行深度的研究拓展，包括卷積層的深度和構(gòu)成，這些檢測模型的不斷問世使得目標(biāo)檢測分類的誤差下降明顯。2015年Girshick等［6］提出了R-CNN模型，該模型第一次對大規(guī)模自然圖像的目標(biāo)檢測使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練計算。隨后，F(xiàn)ast R-CNN［7］和Faster R-CNN［8］，以及后續(xù)的R-FCN 網(wǎng)絡(luò)模型［9］等基于R-CNN 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型問世，目標(biāo)檢測的速度和精度都有了顯著的提升。2016 年，一系列將目標(biāo)檢測任務(wù)轉(zhuǎn)化成回歸問題的神經(jīng)網(wǎng)絡(luò)模型相繼被提出，這其中就包括YOLO［10］和SSD［11］，至此目標(biāo)檢測有了一種新的研究思路，雖然該類檢測算法在檢測精度上有所降低，但是計算速度得到了顯著提高。此后隨著YOLO 算法系列的不斷演進(jìn)，從YOLOv4［12］到如今的YOLOv7［13］，檢測精度和速度都得到了不同程度的提升，推動了目標(biāo)檢測的不斷前進(jìn)發(fā)展。神經(jīng)網(wǎng)絡(luò)模型利用計算機的計算資源，能夠快且準(zhǔn)地得到目標(biāo)檢測分類結(jié)果，而且避免了復(fù)雜的人工特征設(shè)計，是今后目標(biāo)檢測領(lǐng)域的重要研究方向，本文就已提出的YOLOv7-Tiny 的特征提取方面引入注意力機制，并且進(jìn)行了相關(guān)的實驗研究。

本文主要從以下幾個方面展開：第一部分主要介紹需要用到的方法基礎(chǔ)；第二部分介紹新方法YOLOv7-TC 的網(wǎng)絡(luò)結(jié)構(gòu)和評價指標(biāo)以及實驗結(jié)果的對比；最后進(jìn)行總結(jié)和展望。

1 論文涉及方法介紹

本部分主要對用到的一些方法進(jìn)行了介紹，主要包括YOLOv7和CBAM注意力機制。

1.1 YOLOv7

YOLOv7 是由Wang 等［13］提出的實時目標(biāo)檢測算法，目前YOLOv7無論是在實時性還是準(zhǔn)確率上都已經(jīng)超過了已知的所有目標(biāo)檢測算法。根據(jù)論文的數(shù)據(jù)結(jié)果，YOLOv7 相同體量下比YOLOv5 精度更高，速度上也更快120%（FPS），相比YOLOX 更是快達(dá)180%（FPS）。并且它在COCO 數(shù)據(jù)集上達(dá)到了56.8%的AP。就本文使用的輕量級小模型YOLOv7-Tiny 而言，與YOLOv4-Tiny 相比，YOLOv7-Tiny 減少了39%的參數(shù)量和49%的計算量，但保持相同的AP；在計算速度上，YOLOv7-Tiny 比YOLO-N（v6.1）快達(dá)127幀，并且在此基礎(chǔ)上準(zhǔn)確率提高10.7%。

1.2 CBAM

CBAM（convolutional block attention module）是Woo 等［14］在2018 年提出的卷積塊注意力模塊，CBAM是一種通用的輕量級模塊，該模塊不僅可以非常方便地在各種網(wǎng)絡(luò)中的各個模塊中進(jìn)行添加，也能有效提升模型的性能。CBAM模塊是一種由通道注意力機制和空間注意力機制混合而成的注意力模型，其模塊構(gòu)成如圖1所示。

圖1 CBAM注意力機制模塊

將輸入特征圖F與通道注意模塊（channel attention module）處理得到的權(quán)重值Mc兩個矩陣的對應(yīng)元素相乘，對F進(jìn)行特征重標(biāo)定處理，得到能夠有效體現(xiàn)特征關(guān)鍵通道信息的特征映射。在通道加權(quán)的基礎(chǔ)上，利用串聯(lián)的空間注意力機制對空間特征信息進(jìn)行自適應(yīng)加權(quán)，將F'作為空間注意力模塊的輸入，與空間注意模塊（spatial attention module）權(quán)重系數(shù)Ms兩個矩陣的對應(yīng)元素相乘，得到包含通道位置信息、空間位置信息的顯著特征圖F″，使網(wǎng)絡(luò)能夠更多關(guān)注檢測目標(biāo)中輸入特征較強的部分，提升其空間特征選擇能力。其過程用公式表示為：

上式中：?表示該符號左右兩側(cè)矩陣對應(yīng)元素相乘。

2 YOLO-TC目標(biāo)檢測算法

本節(jié)主要介紹YOLO-TC 的網(wǎng)絡(luò)結(jié)構(gòu)、評價指標(biāo)以及實驗結(jié)果。

2.1 本文方法介紹

本文是對文獻(xiàn)［13］中提出的YOLOv7進(jìn)行改進(jìn)，主要改進(jìn)方式為對文中的輕量級小模型YOLOv7-Tiny添加文獻(xiàn)［14］中的CBAM 注意力機制，添加位置為在YOLOv7-Tiny 的Backbone 主干網(wǎng)絡(luò)，對作者提出的圖中所示的CBL 網(wǎng)絡(luò)中的Conv 進(jìn)行替換，分別在1、2、14、21、28 層進(jìn)行替換，添加位置如圖2所示的黑色加粗框位置。另外原算法Head 網(wǎng)絡(luò)不作更改，以便在提取紅外圖像特征時能更好關(guān)注有效的目標(biāo)信息，專注于有用信息的提取，減少無用信息的干擾。方法中使用的回歸損失、平均精確度等評價指標(biāo)計算方法與原文保持一致，本文的網(wǎng)絡(luò)模型如圖2所示。

2.2 評價指標(biāo)

本文主要沿用文獻(xiàn)［13］中使用到的精確率（precision）、召回率（recall）、平均精確度mAP@0.5和mAP@0.5∶0.95三個評價指標(biāo)。

目標(biāo)檢測的評價指標(biāo)主要有召回率Rec（recall）、精確率Pre（precision）和平均精度均值mAP（mean average precision），分別取交并比IoU（intersection over union）為0.5 時的平均精度均值mAP@0.5，IoU從0.5 到0.95（步長0.05）時的平均精度均值mAP@0.5∶0.95，定義如下：

圖2 本文網(wǎng)絡(luò)模型

其中：TP表示正樣本判定為正樣本，F(xiàn)P表示負(fù)樣本判定為正樣本，F(xiàn)N表示正樣本判定為負(fù)樣本，TN表示負(fù)樣本判定為負(fù)樣本。

其中：Pinter表示插補精度，即對PR曲線上的每個點的Pre值取該點右側(cè)最大的值，ri表示按升序排列的Pre插值段的第i個插值處對應(yīng)的Rec值。

其中：k表示檢測任務(wù)中的類別（一般大于1），即mAP定義為所有類別的AP平均值。

2.3 實驗結(jié)果

2.3.1 實驗環(huán)境及參數(shù)設(shè)置

本文代碼使用的是PyTorch 框架，訓(xùn)練環(huán)境均為：四張NVIDIA GeForce RTX 3080 GPU，顯存40 GB；12 核CPU，型號為Intel（R）Xeon（R）CPU E-2650 v4 @2.20 GHZ，內(nèi)存60 GB。實驗主要在FLIR_ADAS_v2 數(shù)據(jù)集和KAIST 紅外圖像行人數(shù)據(jù)集上進(jìn)行。FLIR_ADAS_v2 為FLIR Systems 公司在2022 發(fā)布的新版紅外數(shù)據(jù)集，相較于上一代FLIR 數(shù)據(jù)集，新版本有著更多的類別和更多數(shù)量的圖像，檢測類別達(dá)80 類，訓(xùn)練集10742 張紅外圖像，驗證集1144 張圖像；KAIST 行人數(shù)據(jù)集是由韓國科學(xué)技術(shù)院（Korea Advanced Institute of Science and Technology）在2015 年發(fā)布的多光譜行人檢測數(shù)據(jù)集，本文使用該數(shù)據(jù)集的紅外數(shù)據(jù)，并對其進(jìn)行清洗，保留7601張訓(xùn)練集，2257張驗證集。

在訓(xùn)練過程中，對于FLIR_ADAS_v2 數(shù)據(jù)集，學(xué)習(xí)率設(shè)為0.01，加載原文預(yù)訓(xùn)練模型的訓(xùn)練100 個epoch 得到結(jié)果；對于清洗后的KAIST 紅外行人數(shù)據(jù)集數(shù)據(jù)訓(xùn)練時學(xué)習(xí)率為0.01，加載原文預(yù)訓(xùn)練模型訓(xùn)練50個epoch。

2.3.2 實驗結(jié)果

在數(shù)據(jù)集FLIR_ADAS_v2 和KAIST 紅外圖像行人數(shù)據(jù)集上的實驗結(jié)果分別如表1 和表2 所示，表中指標(biāo)越大，表明效果越好。

表1 FLIR_ADAS_v2數(shù)據(jù)集實驗結(jié)果

表2 清洗后的KAIST數(shù)據(jù)集實驗結(jié)果

3 結(jié)語

本文通過對YOLOv7-Tiny 添加注意力機制CBAM［14］改進(jìn)得到新網(wǎng)絡(luò)模型YOLO-TC。在多類別的FLIR_ADAS_v2 數(shù)據(jù)集和少量類別的KAIST 紅外圖像行人數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試，新網(wǎng)絡(luò)檢測精度和平均精度均值都有一定的提升，在保證網(wǎng)絡(luò)模型輕量級的基礎(chǔ)上，F(xiàn)PS不變的情況下，最大程度提高了檢測精度和平均精度均值，取得了比原網(wǎng)絡(luò)更好的結(jié)果。在未來，YOLO-TC 可以繼續(xù)在Head 網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入一些優(yōu)秀的機制使得網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)能得到進(jìn)一步提升。