基于圖像消冗與CenterNet的稻飛虱識別分類方法

林相澤 徐 嘯 彭吉祥

(南京農業大學人工智能學院， 南京 210031)

0 引言

稻飛虱(主要是褐飛虱、白背飛虱和灰飛虱)是水稻生長過程中的重要害蟲，它具有遠距離遷飛特性，不僅能夠直接從水稻中吸取汁液，還可能攜帶南方水稻黑條矮縮病毒等多種病原物，對水稻生長具有突發性和毀滅性的危害[1]。以2019年為例，全國稻飛虱累計發生面積約1.659 6×107hm2，造成實際損失4.94×105t[2-3]。與此同時，3種主要稻飛虱在田間發生時間與施藥種類均不同，這給蟲害防治帶來了極大困難。及時預警防控是有效降低稻飛虱蟲口密度、減輕危害損失的重要措施。

目前圖像處理方法已被廣泛用于農業害蟲識別與分類中[4-12]。其中，在水稻害蟲方面，TSAI等[13]在HSV顏色空間中獲取矩形感興趣區域進行顏色分析，并利用決策樹算法對解析數據進行分類，得到稻飛虱的二值圖像。SETHY等[14]提出一種將支持向量機和詞袋法相結合的方法對常見水稻害蟲圖像進行分類。但是，傳統機器學習算法不僅需要研究人員深入了解稻飛虱的形狀、顏色、紋理和其他外部特征，而且需要調整圖像尺寸、圖像分割和特征提取等一系列操作，耗時耗力。林相澤等[15]提出一種基于遷移學習和Mask R-CNN的稻飛虱害蟲圖像分類算法，文獻[16]將K-SVD與正交匹配追蹤稀疏表示相結合實現了水稻害蟲圖像的準確分類。姚青等[17]針對稻飛虱圖像中漏檢和誤檢問題，將改進后的CornerNet用于對白背飛虱和褐飛虱的檢測。ZHOU等[18]將二維小波包變換與角點檢測結合來估測水稻莖上稻飛虱侵蝕面積。HE等[19]提出將二階目標檢測算法Faster R-CNN用于檢測褐飛虱，并與常見的一階算法進行對比。盡管上述研究在稻飛虱圖像分類研究中已取得一定成果，但此類方法往往將3種稻飛虱歸為一類或者僅對其中一類或兩類稻飛虱進行識別，同時它們未對數據集不同圖像中同一形態下的同一只昆蟲進行處理。此類問題降低了算法在農業工程中的實用性，影響了水稻害蟲的防治效率。

基于以上分析，本文通過圖像相似度比較算法篩選出測試集中所有相似圖像，并通過圖像反轉和圖像融合方法區分出2幅圖像中重復與非重復昆蟲，并達到圖像相減的目的。同時通過截斷閾值化處理和雙邊濾波去除圖像上的噪聲，從而濾除同一形態下的同一只昆蟲，然后選取深層特征融合網絡作為CenterNet[20]的主干特征提取網絡來自動提取昆蟲特征，并優化模型權值更新。在識別分類昆蟲時，將消冗后的圖像輸入到深層特征融合網絡得到熱力圖，熱力圖的峰值點對應昆蟲的中心，每個特征圖的峰值點預測昆蟲的寬高信息，確定預測框位置，從而實現識別分類。

1 實驗材料與方法

1.1 實驗地點與田間昆蟲采集裝置

為獲得不同時間和地點下的稻飛虱圖像，實驗共分為3個階段采集稻田昆蟲活體圖像，每個階段均屬于稻飛虱暴發時期。實驗過程中，可編程邏輯控制器控制X軸方向與Z軸方向上安裝的伺服電機來調節相機拍攝的位置，詳細的裝置信息與采集過程參照文獻[15-16]。采集到的圖像以jpeg格式自動保存在工控機硬盤中。

1.2 數據集制作

篩選出3個階段拍攝的所有圖像，共包含1 448幅昆蟲圖像。為了提高后期模型的泛化能力及魯棒性，對數量相對較少的白背飛虱和灰飛虱圖像進行翻轉，從而實現數據增強的目的，擴充后的數據集共包含1 532幅圖像。利用LabelImg軟件對所有樣本進行標注，其中將白背飛虱標記為WBPH，褐飛虱標記為BPH，灰飛虱標記為SBPH，而其他田間常見昆蟲，如隱翅蟲、長蝽、螞蟻、蒼蠅、葉蟬、水蠅、葉甲、蚊子統歸為非稻飛虱，并標記為nRPH。按比例6∶2∶2將所有圖像隨機分為訓練集、驗證集和測試集。最后將PASCAL VOC[21]格式的數據集轉換為CenterNet可讀取的COCO[22]格式數據集，標記后圖像如圖1所示。

圖1 被標注的昆蟲及其類別Fig.1 Labeled insects and its categories

1.3 稻飛虱自動檢測方法

與傳統目標檢測算法[23-26]在昆蟲表面覆蓋大量錨框[27]相比，CenterNet通過關鍵點估計來預測目標中心點，并回歸到昆蟲預測框的其他屬性，例如尺度、方向等。本文選用深層聚集模型[28]作為全卷積網絡來提取昆蟲特征，將3種稻飛虱和其他田間昆蟲作為訓練集和驗證集樣本。

1.4 重復圖像消冗

田間昆蟲采集裝置的相機從左下角移動至右上角完成一個拍攝周期后，下一輪拍攝過程中同一位置同一只昆蟲可能未發生位置移動或僅有輕微移動，因此采集的圖像存在部分高度相似的情況(圖2)。然而對于位于同一位置的同一只昆蟲的重復檢測，不僅消耗了更多的硬件資源，還對后期蟲情預警、蟲口密度預測等工作產生影響。

圖2 數據集中相似度較高的昆蟲樣本Fig.2 Insect samples with high similarity in dataset

因此本文通過對數據集中的昆蟲樣本進行一系列預處理，在不影響檢測精度和速度的前提下，剔除重復的昆蟲樣本，具體流程圖如圖3所示。算法主要分為3部分：數據集制作、圖像消冗和算法檢測與比較。圖像消冗部分首先通過獲取圖像的像素點的平均值來判斷圖像間的相似度，再對判定為相似的2幅圖像進行相減，去除重復的昆蟲。接著對相減后的圖像進行截斷閾值化處理，去除重復昆蟲的軀干殘影。最后對圖像進行平滑處理，去除圖像中昆蟲軀干邊緣的高頻噪聲。

圖3 算法流程圖Fig.3 Algorithm flow chart

1.4.1圖像相似度檢測

圖像相似度檢測算法能夠快速從數據集中挑選出相似度較高的圖像，為后續的圖像處理和識別分類做準備。但是，傳統的人工挑選相似圖像不僅耗時耗力，而且容易有遺漏。 以往運用于圖像相似度檢測的方法有形狀匹配[29]、統計直方圖[30]、哈希算法[31]等，但此類方法存在檢測識別率低、計算復雜度較高、圖像特征信息易丟失等缺陷。針對以上問題，本文提出圖像特征值比較法來對數據集進行相似度檢測。其具體步驟如下：

(1)縮放圖像。數據集中圖像尺寸為512像素×512像素，本文將其縮放至30像素×30像素。這樣既能保持原圖的基本結構，又能淡化圖像細節，使速度和準確度達到平衡。

(2)灰度處理。本文中圖像相似度計算與昆蟲顏色關系較小，同時為了減少后續計算復雜度，將縮放后的圖像處理為灰度圖。

(3)計算平均值。計算縮放至尺寸為30像素×30像素的灰度圖的每行像素點的平均值，每行像素平均值代表著圖像每一行的特征，共30行。

(4)平均差值累加。計算2幅圖像的每行像素平均值的差值，并將所有差值進行累加。若差值之和小于設定的閾值，則判斷2幅圖像的相似度較高。反之，則判定圖像的相似度較低。

(5)遍歷測試集。重復上述步驟，篩選出測試集中所有相似度較高的圖像。

1.4.2圖像相減

圖像相減是為了去除2幅圖像中位于同一位置下的同一姿態的昆蟲。首先對第1幅圖像進行反色處理，即將圖像的R、G、B值反轉，反轉后圖像的R、G、B值均為255減原圖的值。然后再將第2幅圖像的原圖和反轉后的圖像進行融合，此時即可清晰地看到差異之處。

1.4.3圖像閾值與濾波

在1.4.2節相減后的圖像中，會留有第1幅圖像中昆蟲的殘影以及軀干輪廓，本文通過圖像閾值、濾波等方法去除圖像噪聲。

圖像閾值就是當像素值高于或低于設定閾值時，進行相應處理[32-33]。其中截斷閾值化指的是當像素值大于閾值時，將其設定為閾值，當像素值小于閾值時，則保持不變。這可以使圖像亮的部分不至于太亮，而暗的部分則保持不變。因此能夠有效去除白色殘影的同時還保留其他昆蟲的特征。將截斷閾值化處理后的圖像的背景置為白色，增強圖像對比度。圖像濾波則是對目標的圖像噪聲進行抑制，而雙邊濾波是綜合考慮距離和色彩的權重結果，不僅能去除圖像中的高頻噪聲還能有效保留昆蟲邊緣特征[34-35]。

2 實驗結果與分析

2.1 實驗平臺與訓練方法

CenterNet在PyTorch框架上實施，并使用具有11 GB內存的Nvidia GeForce RTX 2080 Ti顯卡進行訓練，利用Adam[36]優化訓練損失值。如圖4所示，隨著訓練周期的增加，損失值不斷下降，訓練模型逐漸收斂。CenterNet在第100個周期后損失值逐漸趨于平穩，并在第105個周期取得最優模型。因此，利用第105個周期的模型對圖像進行識別分類。

圖4 CenterNet訓練損失值Fig.4 CenterNet training loss value curve

2.2 稻飛虱檢測結果

圖5展示了部分稻飛虱和非稻飛虱的檢測結果，圖5a中白背飛虱的置信度為0.5；圖5b中灰飛虱的置信度為0.8；圖5c中從上至下褐飛虱的置信度分別為0.8、0.7和0.5；圖5d中非稻飛虱的置信度為0.9和0.3。由此可見，CenterNet的訓練模型對灰飛虱、褐飛虱和非稻飛虱的檢測效果較好，對于白背飛虱的檢測效果稍弱。同時，當圖像中出現不完整昆蟲軀干時，會削弱模型的檢測效果。

圖5 部分昆蟲檢測結果Fig.5 Part of insect test results

為進一步評估CenterNet對3種主要稻飛虱和田間其他昆蟲的檢測效果，本節選擇精確率(Precision)、召回率(Recall)和F1值[37]作為評估指標。

由表1可知，在精確率方面除了灰飛虱，CenterNet都取得了不錯的效果，其中非稻飛虱和褐飛虱的精確率較高，分別為98.94%和94.57%。而灰飛虱的精確率較低的最大原因是灰飛虱與褐飛虱形態極為相似，算法易將褐飛虱誤檢為灰飛虱。在召回率方面，非稻飛虱和褐飛虱的數值較高，灰飛虱的召回率較低，僅為83.33%。F1值中非稻飛虱最高，灰飛虱最低。

表1 3種稻飛虱和非稻飛虱評估指標Tab.1 Evaluation indicators for three kinds of rice planthoppers and non-rice planthoppers %

以往研究中，通常將3類稻飛虱歸為一類，即僅僅檢測稻飛虱與非稻飛虱，而3種主要稻飛虱的爆發時間與用藥種類均不同，因此以往研究會在農業生產中增加應用難度。本文將CenterNet對3種稻飛虱的檢測結果與其他僅檢測一種稻飛虱的算法[15-16]進行對比。

由表2可知，CenterNet平均精度均值 (Mean average precision, mAP)與深度學習算法(如Mask R-CNN[23]、Faster R-CNN[24]、SSD[25]、YOLO v4[26]等)相當,而檢測速率明顯優于其他算法。CenterNet的mAP為87.1%，檢測速率為43.7 f/s。由于其他算法將3種主要稻飛虱歸為一類，所以模型分類難度較低，mAP較高，而CenterNet通過較小的mAP來換取對3種稻飛虱的識別分類是有意義的。與傳統機器學習算法中的支持向量機和BP神經網絡相比，CenterNet不論在檢測精度還是在檢測速率上都有顯著優勢。因此本文選用的CenterNet算法不僅能夠實現對3種主要稻飛虱的準確識別與分類，還能為稻飛虱蟲情預警、蟲口密度預測提供可靠的科學技術支持。

表2 實驗結果對比Tab.2 Comparison of experimental results

2.3 重復檢測結果

當昆蟲采集裝置拍攝到采集工作臺的同一位置時，此時昆蟲與上個拍攝周期相比僅發生小幅位置變化或又有新的昆蟲進入拍攝視野(圖2)，本文稱此類昆蟲為高度相似樣本。對不同圖像中的同一只昆蟲的重復檢測不僅增加了算法的計算量，還會對后期蟲情測報預警等產生影響。為解決上述問題，本節首先遍歷測試集所有圖像，通過圖像相似度檢測算法來統計每行平均像素值。以圖2 為例，圖2b的最上方有一只不完整的褐飛虱，其余位置2幅圖基本相似。圖6為圖2中2幅圖的每行平均像素值，對比圖6中的兩條折線段可知兩者僅在第0、1行的像素值相差較大，其他位置兩者的曲線變化基本吻合。將相似度檢測的閾值設為55，在測試集中共篩選出28幅相似圖像。

圖6 圖像每行平均像素值變化曲線Fig.6 Average pixel value of each line of images

仍以圖2為例，對匹配成功圖像的第1幅圖像進行反轉并與第2幅圖像進行融合，結果如圖7所示。經過上述操作后，最上方新飛入的昆蟲仍保留在圖像中，而兩只重復的昆蟲僅留下昆蟲邊緣的輪廓，從而達到圖像相減的目的。為去除圖像相減后剩下的噪聲，本文通過截斷閾值化處理和雙邊濾波來解決該問題。當2幅相似圖像中的第1幅含有非重復昆蟲時，經過圖像反轉和相減后會留下白色殘影(圖7b),此時通過截斷閾值化處理后能夠將白色殘影濾除。如果圖像相減后沒有白色殘影，通過截斷閾值化處理后則能夠有效減輕圖像相減后剩下的昆蟲輪廓噪聲。對比圖7b與圖8a可以看出，經過截斷閾值化操作后部分噪聲已被成功濾除，但原有的位置仍有輕微痕跡。此時通過雙邊濾波在保留其他昆蟲原有特征的情況下，盡可能過濾掉多余噪聲，該過程也可理解為圖像的平滑操作。雙邊濾波后的結果如圖8b所示，可以看出雙邊濾波操作后的圖像在去除噪聲的同時，還能夠較好地保留其他昆蟲的輪廓特征。最后用圖8b替代圖2b，能夠有效避免識別分類圖2a與圖2b中同一姿態的同一只昆蟲。

圖7 圖像處理結果Fig.7 Image processing results

圖8 圖像截斷閾值化和雙邊濾波結果Fig.8 Pictures of truncated thresholding and bilateral filtering results

重復上述過程，對測試集中所有相似圖像進行消冗操作，并用消冗后的圖像替換測試集中的高相似度圖像，例如用圖8b替換圖2b，同時對消冗后的圖像進行重新標注。如果消冗后的圖像中沒有昆蟲，那么就不標注此圖而是判斷CenterNet算法對此圖的識別分類是否正確。從圖9a不難看出，圖像經過消冗后CenterNet不再對2只重復的褐飛虱進行檢測，而是僅對圖2b最上方新飛入的褐飛虱進行識別分類。測試集所有圖像消冗后的mAP為88.1%，與此前未對測試集消冗的檢測結果相比提高了1個百分點，檢測速率為42.9 f/s。本文提出的方法不僅能夠對3種稻飛虱實現準確識別分類，還能夠避免重復昆蟲的多次檢測。部分昆蟲圖像經過圖像消冗后，檢測結果的置信度有所降低，主要原因是：預處理后的昆蟲特征有所降低；圖像的背景由灰色或淡綠色變為了白色；訓練期間均選用昆蟲特征較為明顯的原圖。

圖9 避免重復檢測結果對比Fig.9 Avoid repeated test results comparison images

2.4 特殊情況分析

此外測試集中存在少量背景高度相似、昆蟲體積較小且數量較少的圖像，此類圖像的行像素值之差累加后會略低于設定閾值。這將導致算法將此類圖像歸為相似圖像，如圖10所示。

圖10 略低于閾值的圖像Fig.10 Images slightly below threshold

對圖10中的2幅圖進行消冗操作后，并對其進行檢測，得到圖11。對比圖10b與圖11可以發現，即使前2幅圖像不存在重復昆蟲，消冗后的圖像中依舊保留圖10b的昆蟲樣本，且不影響最終的識別分類結果。

圖11 圖像消冗后的檢測結果Fig.11 Detection results after image eliminating redundancy

3 結論

(1)通過自主設計的野外昆蟲采集裝置獲取稻田昆蟲活體圖像，并制作成數據集。

(2)以深層特征融合網絡為骨干網絡的CenterNet對3種稻飛虱和其他田間昆蟲進行識別分類，實驗結果表明，平均精度均值為87.1%，檢測速率為43.7 f/s，并與其他深度學習算法(Mask R-CNN、Faster R-CNN、SSD等)和傳統機器學習算法(BP神經網絡、支持向量機)進行對比，結果表明本文使用的算法在對稻飛虱識別分類方面具有明顯優勢。

(3)對測試集進行圖像消冗操作，能夠成功避免相似圖像的重復檢測，其平均精度均值可達88.1%，檢測速率為42.9 f/s，比未消冗的測試集結果有所提升。