基于字典學習與SSD的不完整昆蟲圖像稻飛虱識別分類

林相澤 張俊媛 徐 嘯 朱賽華 劉德營

(南京農業大學人工智能學院， 南京 210031)

0 引言

水稻是我國主要糧食作物，其種植面積大，產量高，是我國單產最高、總產最多的糧食作物[1]。水稻生長過程中會受到各種病蟲害的影響，從而使水稻低產減收，稻飛虱是水稻生長過程中危害最嚴重的害蟲之一[2]。因此，稻飛虱的識別分類研究對于稻田害蟲早期預防治理和精準用藥都具有重要意義。

為了實現稻飛虱蟲情的準確測報，對稻飛虱的圖像進行識別與分類成為近年來的重要研究內容。陸靜等[3]結合稻飛虱圖像特征和F值特征評價方法對稻飛虱圖像進行訓練分類；SARIN等[4]提出了一種基于顏色和灰度共生矩陣圖像特征訓練的支持向量機分類算法，實現對稻飛虱的位置檢測和階段分類。TSAI等[5]提出了一種感興趣區域(Region of interest, ROI)來檢測稻飛虱的方法，將獲取其HSV空間中的矩形ROI與決策樹算法對解析數據進行分類從而得到稻飛虱的二進制圖像。林相澤等[6]提出了一種基于遷移學習和Mask R-CNN相結合的稻飛虱圖像分類算法，通過結合遷移學習與Mask R-CNN算法分別對稻飛虱黏連、重合的昆蟲圖像進行分類試驗。

以上方法均對稻飛虱圖像的分類取得了一定的研究成果，但是，對于在圖像采集過程中出現的不完整稻飛虱圖像的識別分類并未做討論，而不完整的害蟲圖像顯著影響稻飛虱的識別精度。因此，本文提出一種不完整圖像下稻飛虱識別與分類方法。該方法結合字典學習的稀疏性和SSD (Single shot multibox detector)算法的快速準確性，對不完整的稻飛虱圖像進行精準快速識別，以為稻飛虱蟲情監測和預警提供有效的信息和技術支持。

1 昆蟲圖像獲取

為了保證在不同時間、不同空間下稻田昆蟲圖像獲取的完善性，分別于稻飛虱蟲害發生期(6—10月)進行圖像采集。圖像采集時段和地點分別為：2015年8—10月，18:00—22:00，南京農業大學江浦農場(32°1′N，118°37′E)；2016年6—9月，18:00—22:00，南京農業大學江浦農場(32°1′N，118°37′E)；2017年8—9月，18:00—22:00，白馬國家農業科技園(31°37′N，119°10′E)；2019年8—9月，18:00—22:00，禾田坊谷物種植家庭農場(31°20′N，119°6′E)，每個階段平均采集15 d，環境溫度為21～38℃，相對濕度為60%～90%。昆蟲圖像采集裝置及現場圖如圖1所示，其型號為AMD Radeon HD 8500M Series，顯存為4 GB。試驗共采集1 800幅野外昆蟲圖像。

野外昆蟲圖像采集裝置主要由XYZ三向調節裝置、高清工業相機、采集工作臺以及底座構成。進行采集時，首先使用高壓汞燈將稻飛虱及其他稻田昆蟲吸引至采集工作臺上，并以臺達DVP32EH00T3型PLC控制伺服電機使高清工業相機在X、Z向上往返運動，相機每次移動5 cm后，停留5 s對昆蟲圖像進行拍攝，采集到的圖像尺寸為782像素×576像素、JPEG格式，通過USB數據線傳輸至主機硬盤進行保存。

分別對4個不同階段采集到的稻田昆蟲圖像進行篩選整合，最終得到1 800幅尺寸為512像素×512像素的稻田昆蟲圖像，并按照5∶1將昆蟲圖像分為訓練集和驗證集，部分采集結果如圖2所示。

如圖2a所示，圖像中均為完整的水稻害蟲圖像，但在拍攝過程中會出現昆蟲圖像不完整的情況(圖2b)。由于昆蟲圖像拍攝不完整，在識別過程中可能會出現誤識別、漏識別，從而導致整體圖像識別精度低，因此，不完整稻飛虱圖像的準確識別研究對于稻田稻飛虱預警防治具有重要意義。

2 算法設計

針對不完整的稻田飛虱圖像，結合字典學習[7-8]的稀疏特性和SSD 算法[9-10]的快速性、準確性對其進行識別分類，算法流程圖如圖3所示。

其中，重構誤差閾值為0.1，設定迭代次數為10 000，分類閾值設為0.5。

2.1 昆蟲圖像閾值分割和分塊

圖像分塊的目的在于捕捉圖像的局部特征信息，圖像局部塊的信息可以更準確地反映不同圖像之間的局部差異[11]。

試驗在制作初始過完備字典時，為了方便圖像分塊處理，剔除冗余的背景信息，首先使用Otsu閾值分割法[12]將采集到的圖像分割為單一昆蟲圖像，如圖4所示，其圖像尺寸為512像素×512像素。將得到的單一昆蟲進行分塊處理，按8像素×8像素的尺寸分為相同的子圖像塊[13]，分塊后的圖像如圖5所示。

經分塊處理后，單一昆蟲圖像被分為64塊相同的子圖像塊，使用得到的子圖像塊構建過完備字典，并對其進行初始化和字典優化學習。

2.2 過完備字典學習

字典學習一般分為兩步：初始化字典D，優化稀疏采樣值x；在優化后的x上更新字典D[14]。

2.2.1優化稀疏采樣

優化稀疏采樣是字典學習的重要部分，但是在常用的各類稀疏采樣求解方法中，一般都需要已知信號的稀疏度K，但稀疏度自適應匹配追蹤算法(Sparsity adaptive matching pursuit, SAMP)[15-16]不需要知道稀疏度K，在迭代循環中，根據新殘差與舊殘差的比較來確定原子個數，從而獲得最佳稀疏采樣x。為了獲得更好的稀疏采樣x，本文采用SAMP算法對稀疏度進行自適應調整，得到最佳稀疏采樣x[17]。其計算步驟如下[18-19]：

(1)初始化r0=y,Λ0≠?,L=S,t=1。

(2)計算u=|ATrt-1|，選擇u中L個最大值，并將這些值對應的Aj構成集合Sk。

(3)令Ck=Λt-1∪Sk,At={aj}。

(7)如果r≤0.1，則進入步驟(8)，否則，返回步驟(2)。

其中，r為重構誤差,y為輸入的觀測向量，t為迭代次數，Λt為t次迭代的迭代索引集合，首次輸入的迭代集合為Λ0，aj為矩陣A的第j列，At表示按索引集Ck選出的矩陣A的列集合，AT為A的轉置，為稀疏表示的估計系數，θt為Lt×1的列向量，ψ為稀疏矩陣。

隨著稀疏度自適應變化，重構誤差和重構率的變化如表1所示。

表1 不同稀疏度下的重構誤差和重構率Tab.1 Reconstruction errors and reconstruction percentage under different sparsities

從表1中可以看出，隨著稀疏度的不斷增大，重構誤差逐漸降低，重構率增大，圖像可用于重構的圖像塊數量上升，但圖像整體的稀疏程度下降。

當稀疏度K=0時，重構誤差為1，重構率為0，圖像完全稀疏，沒有適合用于重構的原子，稀疏采樣值x不存在，圖像不可被重構。

隨著K的增大，重構誤差持續減小，而重構率不斷增大。當稀疏度K=48時，重構誤差r為0.097，重構率為92.1%。當K>48時，重構率與重構誤差變化均趨于平緩，因此，K=48時獲得最佳稀疏采樣值。

而當稀疏度K=64時，r=0，圖像可以被完整還原，重構率為100%，圖像選擇64個字典原子進行重構，其重構后得到的圖像完全不稀疏，不具備字典學習的稀疏性。

2.2.2更新過完備字典

K-SVD是一種經典的字典訓練算法，依據誤差最小原則，對誤差項進行SVD分解，選擇使誤差最小的分解項作為更新的字典原子和對應的原子系數，經過不斷迭代得到優化解[20]。

本試驗在稀疏度K=48時，獲得最佳稀疏采樣x，使用K-SVD算法在優化后的x上對過完備字典進行更新，更新后的過完備字典如圖6所示。

圖6a為初始過完備字典，由于初始過完備字典中的原子是隨機選擇的，所以既包含稻飛虱的特征信息(深色圖像塊)也包含背景信息(淺色圖像塊)。圖6a背景信息圖像塊多于特征信息圖像塊；在更新后的過完備字典中(圖6b)，帶有特征信息的圖像塊多于帶有背景信息的圖像塊。特征信息塊數量越多，過完備字典的訓練效果就越好。因此，更新后的過完備字典作為訓練集可以得到更好的訓練模型。

2.3 圖像標注與數據集訓練

SSD是一種基于全卷積網絡的目標檢測框架，它可以使用卷積神經網絡的不同卷積層同時檢測不同大小的目標[21]。該方法融合了回歸思想和區域推薦網絡，可以直接在圖像的多個位置上回歸出目標位置和類別，加快了檢測速度、提高了檢測準確率[22]，其網絡結構如圖7所示。

鑒于SSD算法良好的檢測速度和識別精度，本文采用SSD算法對更新后的過完備字典進行訓練[23]。首先，使用圖像標注工具LabelImg對子圖像塊進行標注，對圖像標注目標包圍框并對其進行類別標記，以xml文件形式保存，得到VOC數據集并將其轉換為訓練所需要的LMDB數據集，輸入SSD算法中進行訓練。當訓練誤差滿足所設定閾值時，得到最佳訓練模型，并使用該訓練模型對采集到的昆蟲圖像進行分類識別[24]。部分昆蟲標注結果如圖8所示。

3 試驗

3.1 測試試驗

將更新后的過完備字典作為SSD算法的訓練集進行訓練。學習率設置為0.000 1，動量設置為0.9，迭代次數設置為10 000，當損失值小于設定閾值0.5時，則判別為稻飛虱(Rice planthopper, RPH)，否則為非稻飛虱(no Rice planthopper, nRPH)。

試驗分別選取圖像上有單個不完整昆蟲和多個昆蟲的稻飛虱和非稻飛虱圖像進行測試，部分測試結果如圖9、10所示。

如圖9所示，單個稻飛虱不完整圖像和單個非稻飛虱不完整圖像的識別精度均為91%。

當測試圖像中既包含完整稻田昆蟲圖像，也包含不完整的稻田昆蟲圖像時，稻飛虱和非稻飛虱完整圖像的識別精度分別為99%與94%；不完整圖像識別精度分別為94%與96%。

圖像識別結果與平均識別精度如表2所示。

表2 部分圖像識別精度Tab.2 Part of test results %

如表2所示，對于完整和不完整圖像的昆蟲圖像，本文所提方法對稻飛虱和非稻飛虱的識別精度均在90%以上，平均識別精度分別為96.5%和93.0%。因此，無論在單個、多個、完整或不完整的昆蟲圖像識別中，本文方法均可達到較高的識別精度。

為了對稻飛虱進行精準滅殺，本試驗進一步詳細分類識別稻飛虱圖像中的白背飛虱、褐飛虱和灰飛虱，以便于不同時期對稻田產生主要危害的稻飛虱進行用藥。部分分類識別結果如圖11所示。

如圖11a所示，圖像中稻飛虱從左到右的識別精度分別為白背飛虱100%，白背飛虱100%，白背飛虱100%，灰飛虱100%。圖11b的識別精度分別為褐飛虱99%，白背飛虱99%，灰飛虱100%，白背飛虱100%。稻飛虱平均分類精度均在99%以上，可以對稻飛虱的種類進行明確區分。

通過篩選，試驗獲取80幅稻飛虱的圖像并對其進行類別劃分，共計稻飛虱384只。對分類后的3種不同稻飛虱的數量進行統計，白背飛虱、褐飛虱和灰飛虱的數量分別為235、103、46只，共計384只，與實際的稻飛虱數量相符。由此可見，該文所提出的方法可以進一步對稻飛虱進行詳細的類別劃分，有助于稻飛虱蟲口密度的精確計算，從而促進稻飛虱的防控治理。

3.2 對比驗證試驗

為了證明本文方法的優越性，在相同試驗條件下，分別利用卷積神經網絡(BPNN)、支持向量機(SVM)和稀疏表示進行不完整圖像識別分類。試驗均于型號為AMD Ryzen 7 2700x Eigh-Core Processor處理器上進行，其內存為32 GB。其中，SVM懲罰系數設置為100，核參數為0.07；BP神經網絡輸入節點數為20，輸出節點數為2；初始權值與偏差均設為0；Sigmoid參數設為0.5；稀疏表示的稀疏度T0設置為12，重構誤差設置為0.1，分割閾值設置為148[25]。

對于完整的稻飛虱圖像，卷積神經網絡、支持向量機和稀疏表示的識別精度分別為78%、65.5%和93.7%，而本文方法的識別精度可達95.1%，比上述分類方法的識別精度分別高17.1、29.6、1.4個百分點。對于不完整稻飛虱圖像，上述3種方法的識別精度更低，分別為63.8%、54.0%和79.2%，本文方法的識別精度為89.3%，比上述方法分別高25.5、35.3、10.1個百分點。此外，本文方法的分類速度可達22 f/s，比BPNN、SVM和稀疏表示的分類速度分別高21、21.5、16 f/s，分類速度遠高于其他分類方法。

通過上述討論可知，無論是完整昆蟲圖像還是不完整圖像，本文方法均可以對其作出準確快速識別，其識別準確率可達89.3%，分類速度可達22 f/s，對稻飛虱的監測、防控和預警可以進行有效的信息和技術支持。

4 結論

(1)根據稻田昆蟲的趨光性，通過本團隊自主研發的野外昆蟲圖像采集裝置獲取稻田昆蟲圖像，并構建了小型圖像數據集。

(2)將閾值分割后的單一稻田圖像進行分塊處理，使用分塊子圖像塊構建了過完備字典并對字典進行了優化更新；將更新后的過完備字典輸入SSD算法進行訓練，得到訓練模型；最后在得到的訓練模型上進行了測試。

(3)分別對稻飛虱和非稻飛虱的完整和不完整圖像進行測試，并和BPNN、SVM、稀疏表示算法進行了對比，對比結果表明，本文方法可以有效地對稻田昆蟲的完整和不完整圖像進行快速識別分類，對于完整圖像，識別精度可達95.1%，對于不完整圖像，其識別精度可達89.3%；整體分類速度可達22 f/s，能夠對稻飛虱的早期監測和預警提供一定的信息和技術支持。