基于深度學習的誘捕器內紅脂大小蠹檢測模型

孫 鈺 張冬月 袁明帥 任利利 劉文萍 王建新

(1.北京林業大學信息學院， 北京 100083; 2.北京林業大學林學院， 北京 100083)

0 引言

紅脂大小蠹為小蠹科、大小蠹屬的一種昆蟲，是危害松科植物的蛀干害蟲[1]。1998年山西省首次發現該蟲后[2]，危害面積迅速擴大。2004年紅脂大小蠹擴散到陜西省、河北省、河南省多地，發生面積超過5×105hm2,枯死松樹達600多萬株[3]。2005年擴散到北京市門頭溝區[4]。近年在遼寧省凌源市和建平縣、內蒙古寧城縣和喀喇沁旗發現該蟲。

準確及時的蟲情監測預警可指導早期防治，避免重大經濟和生態損失。紅脂大小蠹成蟲遷移能力強、揚飛期長，對其數量和種群的動態監測是該蟲防治工作的重要環節。在紅脂大小蠹成蟲揚飛期，工作人員根據松林分布情況懸掛誘捕器，并定期對林間誘捕器中的紅脂大小蠹進行人工識別和計數，存在勞動強度大、費用高、效率低、主觀性強等問題。

圖1 數據采集與標注Fig.1 Data acquisition and label

隨著計算機技術的不斷發展，基于計算機視覺、圖像處理及模式識別的害蟲自動識別技術得到了廣泛研究。目前國內外的害蟲識別研究工作主要為以下兩個方向：①基于計算機視覺的害蟲特征提取。識別方法多采用害蟲圖像的全局特征，如顏色特征[5-10]、形態特征[5-6,8-14]、紋理特征[5-6,9,12]等。由于基于全局特征的描述能力具有局限性，近年出現了許多局部特征與全局特征相結合的特征表達方式[12-13]。隨后，FENG等[15]提出了使用文字描述的語義相關視覺(Semantically related visual，SRV)屬性描述蛾類翅膀特征，謝成軍等[16]提出了稀疏編碼與空間金字塔模型相結合的圖像表示方式。②選擇和優化基于機器學習的分類模型。使用的分類器主要有支持向量機(Support vector machine，SVM)[6-9,17-20]分類器、人工神經網絡[7,11,21]、K-nearest neighbor[22]算法、主成分分析(Principal component analysis，PCA)[23]方法。

上述方法雖然取得了一定的進展，但仍無法滿足林業害蟲全自動監測的需求。上述特征本質上仍由人工預先設定，具有局限性。

相比傳統方法，深度學習模型是直接由數據驅動的特征及其表達關系的自我學習[24]。研究人員已開始探索使用深度學習進行害蟲識別和檢測。DING等[25]使用深度學習對粘板誘捕器上的蘋果蛾進行計數，但僅將深度卷積神經網絡作為滑動窗口方法的分類器，導致可檢測目標尺寸單一且運算量巨大。楊國國等[24]使用基于AlexNet[26]網絡識別自然背景中的茶園害蟲，盡管AlexNet分類的平均準確率達91.5%，但依賴交互式圖像分割算法人工定位害蟲位置，導致無法實現自動統計害蟲數量。近年來，深度學習在目標檢測領域表現突出，可以同時實現目標的定位與識別。當前比較成功的深度學習目標檢測網絡包括Faster R-CNN[27]、SSD[28]、RetinaNet[29]、Mask R-CNN[30]等,但模型都是針對PASCOL VOC[31]、COCO[32]等通用大數據集設計，目標的類內變化小且類間差異大。

為實現紅脂大小蠹蟲情自動監測，本文在傳統信息素誘捕器中集成攝像頭，使用K-means[33]算法改進基于深度學習的Faster R-CNN目標檢測模型，檢測誘捕器背景中任意姿態的6種小蠹，克服蟲體破損、酒精蒸發、液面反光等困難，自動化地定位、識別并計數危害最大的紅脂大小蠹。

1 數據材料

1.1 誘捕器內圖像采集

本文采用與文獻[34]中的實用新型誘捕器相似的漏斗形信息素誘捕器，如圖1所示。以信息素誘捕器捕獲的小蠹科害蟲為檢測對象，選取可被信息素吸引的6種小蠹作為實驗樣本。通過誘捕器與林間捕捉方式在遼寧省凌源市和建平縣獲取寄主為油松的紅脂大小蠹樣本，其余5種小蠹主要通過木段飼養、樹干解析或誘捕器方式在內蒙古自治區、陜西省、北京市等地獲取。小蠹樣本數量如表1所示。

原始圖像由嵌入誘捕器收集杯中的圖像傳感器采集。圖1a為通過改造誘捕器收集杯實現圖像數據采集。首先在傳統誘捕器收集杯杯壁水平嵌入攝像頭。攝像頭感光元件尺寸為1/2.5″，分辨率為2 048像素×1 536像素，搭配2.1 mm定焦鏡頭，與杯底距離為6.6 cm。杯壁附有LED補光燈。

表1 小蠹樣本數量Tab.1 Number of scolytidae specimens

誘捕器收集杯中含酒精，酒精最多占收集杯容積的1/5。隨機投入1～6種可被信息素誘芯吸引的小蠹，共采集2 593幅圖像。因杯壁部分沒有檢測意義，采集后直接將其排除。首先對原始圖像進行高斯降噪處理，然后進行灰度處理，并對產生的灰度圖像進行霍夫圓檢測[35]，定位圓形杯底，最后根據檢測出的圓形杯底對原圖像進行裁剪。圖1b為拍攝原圖，圖1c為裁剪后圖像，裁剪后分辨率為1 295像素×1 295像素。

圖像標注由采集人員完成并經昆蟲學家確認，標注包括邊界框坐標和類別兩類信息。圖1d是對圖1c的標注，邊界框為包圍小蠹的最小長方形，紅色代表紅脂大小蠹。

1.2 數據集建立

為了驗證模型的有效性，訓練集和測試集分別使用不同的小蠹樣本。劃分1 913幅圖像作為訓練集，680幅圖像作為測試集。小蠹樣本使用情況如表1所示。模型訓練集和測試集均包含多種姿態和不同破損程度的小蠹圖像，部分圖像出現小蠹身體接觸或遮擋。拍攝過程中，小蠹多數沉至杯底，少數漂浮在酒精液面，且多數圖像的拍攝過程受到倒影、反光等環境影響。本文根據小蠹圖像識別的難易程度把測試集分為簡單測試集和困難測試集，分別為490幅和190幅。困難測試集中的圖像多為蟲體殘破、小蠹數量多且擁擠的圖像，同時加入了誘捕器收集杯中酒精揮發后的小蠹圖像(訓練集中不包括此類圖像)，采集圖像時在誘捕器收集杯中加入了松針、樹皮、少量其他昆蟲(螞蟻、小灰長角天牛)作為復雜背景。圖2a～2d為簡單測試集，圖2e～2h為困難測試集。

圖2 測試集中典型圖像Fig.2 Typical images of test sets

2 檢測方法

誘捕器內小蠹檢測的難點主要有：①類間差異小。被信息素誘芯吸引的6種小蠹均為小蠹科，其中華山松大小蠹與紅脂大小蠹同屬大小蠹屬。②類內變化大。小蠹落入收集杯后不僅姿態、位置各異，并且包含不同個體大小及肢體破損。③背景不一致。收集杯內可能落入松針、樹皮等雜質，酒精會反光，并因蒸發導致液面高度變化。針對上述問題，本文改進基于深度學習的Faster R-CNN目標檢測模型，以實現誘捕器內的全自動紅脂大小蠹檢測。

2.1 Faster R-CNN目標檢測模型

REN等[27]提出了Faster R-CNN目標檢測模型，由區域建議網絡(Region proposal network，RPN)和Fast R-CNN[36]組成。RPN和Fast R-CNN共享卷積特征，可有效地縮短檢測時間。Faster R-CNN在第1階段最后卷積層輸出的特征圖上添加全卷積RPN，以密集分布的不同寬高比和尺寸的默認框為基準，生成高質量候選區域；在第2階段，Fast R-CNN負責學習候選區域特征并對其進行目標分類和檢測框回歸。Faster R-CNN通過交替運行梯度下降方法，輪流優化RPN和Fast R-CNN，實現共享參數的快速目標檢測。RPN訓練階段，僅將與標注框交并比(Intersection over union，IoU)超過70%的默認框記做正默認框，將與標注框IoU不超過30%的默認框記做負默認框，舍棄其余的默認框。模型使用的損失函數由目標分類損失Lcls和檢測框回歸損失Lreg組成。Lcls是判斷是否為目標的對數損失，Lcls、Lreg的計算公式為

(1)

(2)

式中i——默認框序號

ti——檢測框的4個參數位置，表示檢測框相對于默認框的偏移量

(3)

式中Ncls——每幅圖像隨機采樣的默認框的數量

Nreg——默認框中心點數量

λ——平衡權重

使用Ncls、Nreg和平衡權重λ對兩種損失進行標準化。

2.2 基于K-means的默認框改進

Faster R-CNN輸出各默認框內的目標類別及位置調整值。Faster R-CNN使用3×3窗口在第1階段最后卷積層輸出的特征圖上滑動，每個窗口的中心點映射到原始圖像，根據映射的中心點在原始圖像上生成不同比例和尺寸的默認框。原始的Faster R-CNN是人為指定如表2所示的原始默認框，以256像素×256像素的框為基礎框，生成默認框寬高比分別為0.5、1、2，與基礎框面積比為0.062 5、0.25、1、4的12個默認框。RPN訓練階段，只有正默認框才能生成兩種損失。受鏡頭焦距、拍攝距離和小蠹體型的約束，小蠹數據集的目標大小和通用數據集存在較大差異，本文使用K-means方法對小蠹數據集中的標注框進行聚類分析，選取適合檢測誘捕器內紅脂大小蠹的默認框，聚類過程中默認框與標注框之間距離的計算公式為

(4)

式中bground——訓練集標注框

bdefault——默認框

聚類前后模型采用的默認框尺寸如表2所示。

表2 默認框優化前后尺寸對比Tab.2 Comparison of size of default boxes before and after optimization 像素

圖3中圖像分辨率為600像素×600像素，是模型的輸入分辨率，圖像中綠框為一組原始的默認框，紅框為聚類后的一組默認框，相比之下聚類后的默認框與紅脂大小蠹重合度更高，有效減少了消耗計算資源但不生成訓練誤差的默認框數量，更加有利于梯度的生成。

圖3 原始默認框和聚類后默認框對比Fig.3 Comparison between original default boxes and clustered default boxes

2.3 紅脂大小蠹檢測流程

紅脂大小蠹的檢測流程如圖4所示，首先將從誘捕器中采集的小蠹圖像進行預處理。預處理包括將圖像縮放至600像素×600像素，RGB各通道歸一化至正態分布。然后將預處理后的圖像輸入模型進行檢測，使用非極大值抑制(Non-maximum suppression，NMS)方法去除同類之間IoU大于50%的檢測框，按分類信心排序后，最多輸出100個檢測結果。圖4中的紅色方框為檢測結果，圖像左上角標注出紅脂大小蠹的數量。

圖4 紅脂大小蠹檢測流程圖Fig.4 Flow chart of red turpentine beetle detection

3 實驗與結果分析

3.1 模型訓練

本文中檢測模型采用ResNet50[37]為特征提取器，訓練階段采用動量為0.9的隨機梯度下降算法(Stochastic gradient descent，SGD)進行優化，初始學習速率為3×10-4。軟件實現基于TensorFlow深度學習框架，硬件平臺采用AMD Ryzen 1700X CPU(64 GB內存)加Nvidia TITAN Xp GPU(12 GB顯存)。

為了更加詳盡地評價本文檢測模型，本文使用面向個體的定量評價指標和面向誘捕器的定性評價指標[25]。面向個體的評價指標主要針對紅脂大小蠹個體檢測效果進行評價，面向誘捕器的評價指標主要針對檢測圖像中是否存在紅脂大小蠹的效果進行評價。

圖5 測試集的個體精確率-召回率曲線Fig.5 Curves of object precision-recall on test set

3.2 面向個體的定量評價

面向個體的精確率和召回率的計算公式為

(5)

(6)

式中p——面向個體的精確率

r——面向個體的召回率

Tpositive——正確類數量

Ndetected——檢測框數量

Nground——紅脂大小蠹標注框數量

檢測框和標注框類別相同且IoU大于50%為真正類。面向個體的精確率和召回率的調和平均值計算公式為

(7)

式中β——調和參數，設為2

本文采用面向個體的精確率-召回率的曲線下面積(Area under the curve，AUC)[31]作為定量評價指標，簡稱個體AUC，曲線如圖5所示。實驗結果表明使用K-means算法進行參數優化后的紅脂大小蠹檢測模型在困難測試集上個體AUC達到了0.862 7，在簡單測試集上個體AUC達到了0.985 9，在整體測試集上個體AUC達到了0.935 0。改進后的模型相對于未改進模型在困難測試集上個體AUC提高了4.33%。基于SSD的紅脂大小蠹檢測模型SSD300和SSD512在困難測試集上個體AUC分別為0.529 1和0.428 3，在整體測試集上個體AUC分別為0.708 2和0.678 8。

3.3 面向誘捕器的定性評價

面向誘捕器的精確率和召回率的計算公式為

(8)

(9)

式中p′——面向誘捕器的精確率

r′——面向誘捕器的召回率

如果模型在一幅誘捕器圖像中至少正確檢測出一只紅脂大小蠹，則認為是真正類。面向誘捕器的精確率和召回率的調和平均值的計算公式為

(10)

本文采用面向誘捕器的精確率-召回率AUC作為定性評價指標，簡稱誘捕器AUC，曲線如圖6所示。實驗結果表明：使用K-means算法進行默認框優化后，模型在困難測試集上誘捕器AUC達到了0.944 7，在簡單測試集上誘捕器AUC達到了0.983 4，在整體測試集上誘捕器AUC達到了0.972 2。改進后的模型相對于原始模型在困難測試集上誘捕器AUC提高了3.28%。基于SSD的紅脂大小蠹檢測模型SSD300和SSD512在困難測試集上誘捕器AUC分別為0.854 1和0.870 2，在整體測試集上誘捕器AUC分別為0.855 9和0.921 1。

圖6 測試集的面向誘捕器的精確率-召回率曲線Fig.6 Curves of trap precision-recall on test sets

3.4 結果分析

圖7 典型錯誤示例Fig.7 Typical false detections

4 結束語

改進的深度學習目標檢測模型Faster R-CNN符合大多數研究對于小蠹樣本及拍攝條件嚴格的要求，避免了預處理及特征提取階段的人工干預。使用K-means聚類方法對模型的默認框進行改進后，有效減少了消耗計算資源但不生成訓練誤差的默認框數量。改進后的模型在困難測試集上的個體AUC、誘捕器AUC分別提高了4.33%、3.28%，整體測試集上的個體AUC、誘捕器AUC分別達到了0.935 0、0.972 2，實驗證明，該模型可有效定位、識別和計數信息素誘捕器內危害最大的紅脂大小蠹。