基于紅外熱成像與改進YOLOV3的夜間野兔監測方法

易 詩，李欣榮，吳志娟，朱競銘，袁學松

（1.成都理工大學信息科學與技術學院 成都610059；2.電子科技大學電子科學與工程學院 成都610054）

0 引 言

隨近年來生態環境改善，野兔數量急劇增加，分布廣泛，給林業、農業發展造成一定威脅,并有進一步惡化的趨勢，隨著中國對林業生產的不斷重視,特別是退耕還林工程的實施,造林面積迅速擴大,林木數量大幅度增加,但隨之出現的兔害造成了巨大的經濟損失[1-2]。野兔活動習性多為夜間，零星出沒，導致采用有光條件下的驅兔方法效果較差，而下網下夾、毒殺、電擊、獵殺等方法非常危險[3]，且野兔屬于國家保護動物，因此，提出一種結合近年來人工智能技術的驅兔方法具有實際意義，此類方法中重要的環節在于夜間對野兔的檢測。

野兔一般于秋冬季夜間9 點至凌晨活躍于山間麥田，果林和人工經濟林等區域，啃食作物和林木幼苗，普遍單只或成對出現，較少聚群。因此，對野兔的檢測與預警，需解決如下幾個問題：1)野外夜間的無光環境下探測。2)復雜地形，存在一定遮擋的條件下檢測目標。3)小型目標檢測。4)快速運動目標檢測。

紅外熱成像系統成像原理為物體的溫差，其不依賴光源，受天氣影響小，探測距離遠[4]，適合于野外環境下對野生動物的檢測，解決了無光環境下探測的問題，對于草木的一定遮擋，紅外熱成像能夠有效探測目標泄露的紅外光譜并成像，對復雜環境下目標探測具有較大優勢。近年來，由于深度學習相關理論的快速發展及計算能力的提升，深度卷積網絡在計算機視覺方面取得了很大的成功。在目標檢測方面，基于深度學習的目標檢測方法準確率大大超過了傳統的人工設計特征的檢測方法。基于深度學習的目標檢測主要包括2 類，一類是基于區域生成的卷積網絡結構，代表性的網絡為RCNN、Faster-RCNN[5-6]；一類是把目標位置的檢測視作回歸問題，直接利用CNN 網絡結構圖像進行處理，同時預測出目標的類別和位置，代表性的網絡有SSD、YOLO[7-9]等。熊俊濤等[10]采用更快速卷積神經網絡（Faster-RCNN）實現了自然環境下綠色柑橘的識別。薛月菊等[11]采用YOLOV2實現了綠色芒果的識別。趙德安等[12]采用YOLOV3 實現了水下攝像頭采集的河蟹圖像的識別。其中YOLOV3 目標檢測框架具備對小目標檢測精度高，速度快的優點，但對夜間紅外圖像中野兔檢測存在以下問題：1) 低分辨率紅外小目標的檢測能力需要提高。2) 對運動目標檢測速度需進一步提升。3) 對存在一定遮擋下的目標檢測能力需要優化。

因此，本文針對紅外圖像中野兔檢測的特點，在YOLOV3 網絡的基礎結構上提出了一種紅外圖像中檢測快速運動小目標的檢測網絡（infrared rabbit detection YOLO）IR-YOLO。該網絡根據夜間野兔多為數量較少的快速運動小目標，紅外熱成像圖像分辨率低，細節模糊，缺乏色彩特征的特點，在YOLOV3 網絡的基礎結構上壓縮特征提取網絡深度，提取淺層卷積層特征，提高低分辨率紅外小目標檢測精度，降低運算量，在網絡檢測層采用CenterNet 結構[13]，提高檢測速度與實時性。在訓練樣本中加入存在一定比例草木遮擋條件下的野兔目標樣本，優化存在遮擋情況下野兔識別的準確率。

1 紅外熱成像夜間野兔檢測模型

1.1 YOLOV3網絡結構

YOLOV3 實時目標檢測模型的特征提取網絡Darknet53 由53 個卷積層，24 個殘差層構成。后20 層為YOLO 網絡的特征交互層，分為3 個尺度，每個尺度內，通過卷積核的方式實現局部的特征交互，作用類似于全連接層，通過卷積核（3×3 和1×1）的方式實現特征圖（feature map）間的局部特征交互，全連接層進行全局的特征交互[14-19]。卷積層提取圖像特征, 全連接層預測圖像位置與類別估計概率值。YOLOV3 根據輸入的圖像數據,運用回歸分析法輸出圖像數據的多個滑動窗口位置及該窗口中檢測到的目標類別。

YOLOV3 在3 個檢測尺度S 上（S=13,26,52），將輸入圖像分成S×S 個單元格,每個單元格的神經元負責檢測落入該單元格的對象,最多可包括兩個預測對象的滑動窗口。T 為目標置信度,它反映當前滑動窗口是否包含檢測對象及其預測準確性的估計概率,計算如下:

式中P0表示滑動窗口包含檢測對象的概率, P1表示滑動窗口與真實檢測對象區域的重疊面積(像素單位)。若B 為每個單元格可以用于預測對象的滑動窗口數量,C 為類別總數,則YOLOV3 的全連接層的輸出維度N 計算如下:

1.2 IR-YOLO神經網絡結構

為提高YOLOV3 網絡對紅外圖像中小目標的檢測能力，本文提出了IR-YOLO 神經網絡結構，紅外小目標的特點主要為分辨率低（紅外小目標普遍20×20 像素），細節模糊，缺乏色彩特征，因此，網絡結構改進的基本思想為壓縮特征提取網絡深度，利用淺層卷積層特征，淺層的卷積特征感受視野包含的背景噪聲小，適宜于提取低分辨率小目標語義特征，對紅外目標具有更好的表征能力。深層卷積層處理高分辨率細節特征更為合適，而對紅外圖像這類低分辨率圖像特征感受視野包含的背景噪聲較多，可利用有效信息量較少，因此可進行壓縮。同時，為進一步提高檢測實時性，在YOLOV3 原有的檢測層采用無錨點CenterNet 結構。IR-YOLO 神經網絡結構如圖1所示。

圖1 IR-YOLO網絡結構圖Fig.1 IR-YOLO network structure

IR-YOLO 神經網絡結構中，剪裁了YOLOV3主干特征提取網絡（Darknet53）中44 到53 共9 個卷積層以及最后4 個殘差層，使原有主干特征提取網絡由74 層降低至61 層，形成壓縮網絡結構（Compress Darknet53）。最小尺度輸出層，檢測尺度S=13，輸入512 通道，輸出75 通道。中尺度輸出層，檢測尺度S=26，與48 層的特征圖合并，輸入256 通道，輸出75 通道。大尺度輸出層，檢測尺度S=52，與23層的特征圖合并，輸入128通道，輸出75通道。由于紅外圖像分辨率較低，細節模糊，缺乏高分辨率語義特征，因此44層以上的深層卷積層提取的紅外圖像特征中包含有效紅外目標語義特征信息較少，同時容易引入感受視野噪聲，造成識別精度的降低[20-25]，而23層開始的淺層卷積層包含較多紅外目標語義特征信息，存在感受視野噪聲較少，因此，在主干特征提取網絡上進行深層卷積層的剪裁，檢測輸出層的向淺層移動的壓縮改進方式將更好利用有效表征紅外圖像目標語義特征信息的淺層卷積層特征圖，提高紅外小目標識別率，同時壓縮網絡深度將降低運算量，提高實時性。

檢測部分3個檢測尺度上均使用CenterNet結構代替原有的YOLO 層，CenterNet 是CVPR2019 大會上提出的最新目標檢測方法，其基本思想為：基于錨點（anchor box）的方法經常出現大量不正確的邊界框，由于缺乏對相關剪裁區域的額外監督所造成，因此原YOLOV3在檢測層中需要大量的anchor box進行目標檢測。而CenterNet是一個單階段的關鍵點檢測模型，將檢測每個目標物看作3個關鍵點（中心點，上下對角點），避免產生大量anchor box，降低運算量提高實時性的同時提高檢測準確率及召回率。

②詳見“經濟困境下的中國工人，從雙鴨山工人討薪抗議談起”：http：//www.wyzxwk.com/Article/shidai/2016/03/360420.html。

IR-YOLO 所 使 用 的CenterNet 由Cascade corner pooling及Center pooling構成，從而獲得從左上角及右下角的豐富信息，同時在中間區域獲得更多的識別信息。檢測部分結構如圖2所示。

圖2 CenterNet結構Fig.2 CenterNet architecture

CenterNet網絡中的Center pooling模型由2個卷積歸一化殘差融合層（conv-bn-relu），1 個左池化層（left pooling），1 個右池化層（right pooling），1 個頂層池化層（top pooling），1個底層池化層（bottom pooling）組成，作用在于用于預測中心關鍵點的分支，有利于中心獲得更多目標物的中心區域，進而更易感知建議區域的中心位置，通過取中心位置橫向與縱向響應值的和的最大值實現此方法。Cascade corner pooling模型由2個卷積歸一化殘差融合層（conv-bn-relu），1個左池化層（left pooling），1 個卷積歸一化融合層（conv-bn），1 個頂層池化層（top pooling）構成，作用在于增加原始的corner pooling 感知內部信息的功能。結合了特征圖（feature map）中目標物內部及邊界方向的響應值和的最大值以預測左上角及右下角的2 個角點。中心池化模塊(center pooling)及級聯角池化模塊(cascade corner pooling)的輸出融合后即可得到準確的目標預測位置。

在使用CenterNet進行檢測時，中心區域的大小影響邊界框的檢測結果。因此，采取尺度敏感區域以適應不同尺寸大小的目標物。其將生成相對小目標較大，相對大目標較小的中心區域，例如，需要判斷一個邊界框I 是否需要被保留，tlx，tly代表框左上角的點，brx，bry代表框右下角的點。定義一個中心區域j，定義左上角的點的坐標為(ctlx,ctly)右下角點(cbrx，cbry)。這些參數定義滿足：式中n 為奇數,代表中心區域j 的大小。對于邊界框小于150時n=3，大于150 時n=5。

2 紅外熱成像夜間野兔檢測試驗

2.1 試驗平臺

實驗硬件數據采集平臺為普雷德G35 氧化釩384×288 分辨率機芯，35 mm 鏡頭的戶外熱成像探測儀，輸出為單通道16bit數據。模型訓練使用硬件平臺為Core i7-8750H 2.2Ghz 處 理 器，16GB 內 存，Geforce GTX 1080 8GB 顯卡。軟件平臺使用Win10，tensorflow1.9.0，CUDA9.2，VS2017，opencv4.0。

2.2 試驗數據

由于紅外熱成像開放數據集較少，而且針對夜間野外活動野兔的數據集缺乏。因此，本文采用熱成像夜間野外拍攝野兔在各種環境，距離下出現的視頻制作自建數據集，數據集的采集時間為野兔夜間活躍的秋冬季節晚9點至凌晨2點，采集地點為中國四川省境內農業大縣梓潼，鹽亭，劍閣。數據集中，野兔出現環境包括農田，果園，林地，荒地，草叢等，出現距離包括近距離（10～20 m），中距離（20～50 m）與熱成像所能識別的較遠距離（50～100 m），野兔形態包括正面，側面，背面等，特別采集了一定數量存在草木遮擋情況的野兔紅外圖像以訓練提升存在遮擋情況下的野兔目標檢測能力。數據集包括6 000幅野兔紅外圖像，訓練集與測試集按5:1 比例劃分，數據集中部分樣本如圖3所示。

圖3 不同拍攝距離的野兔紅外檢測樣本Fig.3 Rabbit infrared detection samples with different shooting distances

2.3 模型訓練

在模型訓練環節，使用遷移學習的方法以節省時間，提高訓練速度。首先將數據集中的圖像樣本全部轉換為416×416（像素）的圖像,訓練時以100 幅圖像為一個批次進行小批量訓練，每訓練一批圖像,權值進行一次更新。權值的衰減速率設為0.000 5，動量設置為0.9，初始學習率設為0.001，對IR-YOLO 網絡進行20 000 次迭代，每間隔2 000 次迭代后保存一次模型，最終選取精度最高的模型。

整個訓練的目標損失函數計算公式如下：

式中Lcodet與Lcedet分別為邊緣關鍵點與中心點的散焦損失，用于訓練檢測目標邊緣與中心點。Ld為向量距離損失函數，計算如下式：

式中Lcopull為邊緣點回拉損失，用于將同一目標內嵌向量最小化，Lcopush為邊緣點外推損失，用于將不同目標內嵌向量最大化，Lceoff與Lcooff分別為中心關鍵點與邊緣關鍵點的偏移損失，用于預測二者的偏移值。α，β，γ 為權重系數，本文參考文獻[13]的思路3 個參數分別取0.1,0.1,1。經過20 000 次迭代，模型平均損失降至0.2 以下。

3 結果與分析

3.1 評價指標

式中Tp為正確檢測到野兔的數量，Fp為誤將非野兔目標檢測為野兔的數量，FN為誤將野兔檢測為背景的數量。

此外，應進行模型在夜間野外復雜環境中的魯棒性測試，該測試環節采用復雜環境下對紅外熱成像視頻中野兔目標的平均檢測率，與平均檢測速度作為評價指標。

3.2 夜間野兔識別結果與分析

實際測試時選取默認IOU 為0.5，大于該閾值認為在紅外圖像中檢測到了野兔目標。測試選用近距離、中等距離與遠距離不同尺度的紅外視頻中野兔目標進行測試，為驗證測試方法的可靠性與準確性，在對比改進YOLOV3前后各項指標的同時，使用Faster-RCNN與RFCNRESNET101 方法采用相同數據集與訓練參數進行模型訓練，并進行對比測試，結果如圖4所示。

圖4 不同神經網絡對不同距離的目標野兔識別結果對比Fig.4 Comparison of recognition results of target rabbits with different distances by different neural networks

圖4 可見，紅外熱成像圖像中，近距離野兔與中距離野兔幾種檢測網絡均可識別，而遠距離野兔僅深度目標檢測網絡RFCN-RESNET101 與本文提出的IR-YOLO 網絡可成功識別。

對測試樣本集中的各個目標檢測網絡的準確率(P)、召回率(R)、調和均值(F)和平均處理速度的統計如表1所示。

表1 網絡評價指標分析Table 1 Analysis of network evaluation index

根據表1 可知改進后的IR-YOLO 目標檢測模型相對YOLOV3 目標檢測模型對夜間野兔檢測的準確率和召回率比分別提高了4.3 個百分點和3.3 個百分點，調和均值提高1.7 個百分點，平均處理速度提高5 幀/s，而另外2 個目標檢測網絡由于在測試樣本集中誤將非野兔目標檢測為野兔的數量較高，影響了總體精度，平均處理速度方面遠低于YOLOV3 與本文提出的IRYOLO。

實際野外環境中，夜間野兔常出現于林地，雜草較多的田地，存在遮擋，目標小，運動速度快的特點，因此，使用在一片較為茂密的經濟林中夜間較遠距離拍攝（80 m）的100 幀快速運動的野兔紅外熱成像視頻以測試本文提出方法與Faster-RCNN,RFCN-RESNET101,YOLOV3 在魯棒性上的對比。

首先，在100幀視頻中隨機提取4幀，測試結果如圖5所示。

隨機提取的4 幀圖像分別為第16 幀，第20 幀，第46幀與第90 幀。其中第16 幀存在快速運動與部分遮擋，Faster-RCNN 不能成功識別，其余目標檢測網絡均可成功識別，第20 幀目標相對靜止，遮擋程度小，所有檢測網絡均可成功識別，第46 幀存在快速運動與較大程度的遮擋，僅本文提出的IR-YOLO 網絡成功識別，其余網絡均無法識別，第90 幀目標快速運動，同時遮擋面積非常嚴重，所有網絡均無法識別。由上述對比測試結果可見本文提出的IR-YOLO 網絡在夜間野外復雜環境下對紅外野兔目標識別優勢最大，同時平均處理速度最高，達50幀/s以上。

為更為可靠的驗證檢測網絡魯棒性，對整個測試視頻100 幀中目標平均檢測率，漏檢率，誤檢率，平均檢測速度做出統計，統計結果如表2所示。

圖5 復雜環境下不同神經網絡的檢測性能對比Fig.5 Detection performance comparison of different neural networks in complex environments

表2 復雜環境下不同神經網絡的魯棒性對比Table 2 Robustness comparison of different neural networks in complex environments

根據魯棒性測試結果可見，本文提出的IR-YOLO 目標檢測模型在復雜環境中的魯棒性良好，對快速運動，存在遮擋，距離較遠的野兔目標檢測率相對YOLOV3 目標檢測網絡提高15 個百分點，檢測速度提高5 幀/s，檢測率方面相對Faster-RCNN 與RFCN-RESNET101 分別提高45 個百分點與20 個百分點，檢測速度方面相對Faster-RCNN 與RFCN-RESNET101 分別提高30 與45 幀/s。適宜于夜間復雜環境下對野兔的檢測。

4 結論

1)本文所提出的針對紅外熱成像中出現環境復雜，快速運動的紅外小目標檢測網絡IR-YOLO 對夜間野兔目標具備較高的準確性，試驗結果表明，模型準確率和召回率分別達到了97.8%和92.5%，平均檢測速度達51幀/s。

2)針對紅外圖像小目標特點對YOLOV3網絡結構做出改進，壓縮特征提取網絡深層卷積層，向淺層卷積層平移檢測輸出，提取利用較好反映低分辨率紅外圖像特征的淺層卷積層語義特征，提高紅外小目標檢測精度，降低運算量，在網絡檢測部分采用CenterNet檢測結構代替原有YOLO層，進一步提高檢測速度與精度。

3)對實際夜間復雜環境下出現的較遠距離快速運動野兔目標的魯棒性測試中，本文方法表現出較強魯棒性與實時性，檢測率較YOLOV3 目標檢測網絡改進前提升15 個百分點，檢測速度提升5 幀/s。檢測率方面相對Faster-RCNN 與RFCN-RESNET101 分別提高45 個百分點與20 個百分點，檢測速度方面相對Faster-RCNN 與RFCN-RESNET101分別提高30和45幀/s。