基于多流高斯概率融合網絡的病蟲害細粒度識別

孔建磊，金學波，陶 治，王小藝，林 森

基于多流高斯概率融合網絡的病蟲害細粒度識別

孔建磊1,2,3，金學波1,2,3※，陶 治1，王小藝1,2,3，林 森3,4

（1.北京工商大學人工智能學院，北京 100048；2.國家環境保護食品鏈污染防治重點實驗室，北京 100048；3. 中國輕工業工業互聯網與大數據重點實驗室，北京 100048；4. 北京農業智能裝備技術研究中心，北京 100097）

為解決由于現有深度遷移學習無法有效匹配實際農業場景部署應用，而導致大規模、多類別、細粒度的病蟲害辨識準確低、泛化魯棒差等問題，該研究利用農業物聯網中多種設備終端獲取12.2萬張181類病蟲害圖像，并提出了基于多流概率融合網絡MPFN（Multi-stream Gaussian Probability Fusion Network）的病蟲害細粒度識別模型。該模型設計多流深度網絡并行的細粒度特征提取層，挖掘可區分細微差異的不同級別局部特征表達，經過局部描述特征聚合層和高斯概率融合層的整合優化，發揮多模型融合信息互補及置信耦合的優勢，既可以有效區分不同類病蟲害的種間微小差異，又可容忍同類病蟲害種內明顯差異干擾。對比試驗表明，該研究MPFN模型對各類病蟲害的平均識別準確率達到 93.18%，性能優于其他粗粒度及細粒度深度學習方法；而平均單張處理時間為61ms，能夠滿足農業生產實踐中物聯網各終端病蟲害細粒度圖像識別需求，可為智能化病蟲害預警防控提供技術應用參考，進而為保障農作物產量和品質安全提供基礎。

農業；圖像識別；病蟲害；深度神經網絡；特征聚合；高斯概率融合

0 引 言

農作物病蟲害是引起大宗糧油作物減產、果蔬作物品質下降的主要原因之一。由于中國農作物及病蟲害種類繁多、環境因素耦合、生產環節復雜，導致農作物生產周期中產生病蟲害過程復雜多變，實時預警防控手段相對缺乏，安全控制處于被動應付境地。因此，如何準確快速識別出農作物病害類型、為防控治療提供及時預警信息，是提升農作物產量和保證品質安全的關鍵環節，與“三農問題”密切關聯，直接影響著區域農業生產和農村經濟發展[1]；隨著物聯網、云計算、人工智能等現代信息技術與農業深度融合，“智慧農業”通過實時信息感知、定量決策、智能生產控制和精準個性管理的全產業供應鏈實施，成為當今世界現代農業發展的大趨勢[2]。而在農作物病蟲害識別方面，“智慧農業”依托固定監控相機、移動裝備及機器人、智能手機等終端構建的物聯網體系，在實時采集獲取大量高質量病蟲害圖像數據基礎上[3]，研究基于深度學習、遷移學習等方法的分類檢測網絡，可高效率、低成本地為廣大農業生產者提供精準、可靠、實時的病蟲害識別結果，逐漸成為國內外共同關注的研究焦點[4]。

為了保障深度網絡模型的訓練數據量和識別性能，許多研究針對特定農作物類別收集了大量作物病蟲害公開數據集。Mohanty等[5]收集了包含14類作物、26種病害的PlantVillage數據集，具有54 306幅農作物葉部分的病害圖像，并利用AlexNet和GoogleNet深度網絡將對象分為38個對應類別，準確率高達99.35%。Konstantinos[6]則收集了蘋果、土豆等25類蔬果的87 848張葉部病害圖片，用以驗證VGGNet（Visual Geometry Group Networks）[7]模型識別性能，準確率提高到99.53%。類似地，張建華等[8]則優化VGG-16模型，以適應棉花病害識別問題，性能達到 89.51%。為進一步解決復雜場景病蟲害檢測問題，Alvaro等[9]將番茄葉片病蟲害識別從分類問題延伸到檢測問題，將深度網絡分類器與Faster R-CNN（Faster Region-Convolutional Neural Network）、SSD（Single Shot MultiBox Detector）結合構建檢測模型，有效提高對灰霉病、粉虱等9種病蟲害數據的識別及檢測性能。為進一步保障深度網絡有效訓練，Wu等[10]收集了102類農作物害蟲共計75 222張圖像，并對19 000多張照片進行框標注，用以訓練ResNet[11]分類器與YOLOv3（You Only Look Once-V3）檢測網絡結合模型，有效驗證深度網絡在農作物蟲害分類及識別的顯著效益。

上述研究為利用深度神經網絡進行農作物葉片病蟲害識別提供了參考和可行性，但高性能深度學習模型對數據依賴嚴重。而農業應用場景環境復雜且時空范圍廣闊，農作物病蟲害圖像數據采集充滿不確定性和高難度性，這導致現有病蟲害識別的應用困境：深度學習要求有大量圖像數據支持，但即便有物聯網及傳感器設備信息技術支持，農業場景自身不趨向于形成如此規模的優質數據集合[12]。近些年來，可以從相關領域的海量標注數據中學習知識結構和模型參量，再直接改善小規模數據量級農作物病蟲害識別性能的遷移學習正受到越來越多的關注[13-14]。雖然遷移學習可以加速模型訓練，但依舊受限于復雜網絡結構和海量擬合參數，因此不少研究使用不同輕量壓縮策略優化神經元層次組合，降低深度網絡參數量、提升深度網絡對智能設備部署匹配性[15-16]。

目前，遷移學習及輕量化策略可有效壓縮模型參量、減低設備內存資源，但復雜農業場景下農作物病蟲害圖像分類屬于極具挑戰的細粒度圖像識別研究任務，存在著光照不均、遮擋密集、背景干擾、設備抖動模糊等諸多外在因素干擾，導致屬于同類病蟲害的不同圖像樣本差異很大，而病蟲害存在生長變異情況，進一步導致同類病蟲害不同階段表征差異明顯，形成“種內差異”細粒度特性；同時，不同種病蟲害存在繁多的生物學亞種、亞類、子類的細致劃分，各子類相互間存在一定生物形態及生活習性的相似，導致“種間相似”的細粒度辨識難題。而依托現有深度遷移學習方法并不能有效辨識上述實際農業場景應用中天然存在的病蟲害細粒度特性，導致辨識準確率低、泛化魯棒性等技術難題，長期限制著智慧農業物聯網對病蟲害決策管理性能提升[17]。需要通過有效方法來增強深度遷移網絡的表示能力，學習微小的局部差異、有效挖掘農業領域的特定病蟲害知識結構。常見方法分為強監督學習[18]和弱監督學習[19]兩種。前者需要大量局部位置的區域框注釋，過于依賴費時耗力的人工標記，導致其在實際應用中存在局限性[20]。而弱監督方法則傾向于自主提取局部特征、關注局部與整體間內在聯系，已成為主流逐漸受到關注，在公開細粒度數據集及競賽中涌現的、NTS-Net（Navigator-Teacher-Scrutinizer Network）[21]、FAST-MPN（Faster Training of Multi-global Covariance Pooling Networks）[22]、DFL（Discriminative Filter Bank Learning Networks）[23]等不斷刷新目標識別的準確率，但遷移到病蟲害識別應用的研究鮮有報道。只有少許學者根據農業場景病害圖像識別需求，以強監督方式調整了相應深度網絡模型[25-26]，但距離實際場景中大規模病蟲害辨識應用還有較大技術差距。

綜上所述，國內外相關研究只適用于種類較少的病蟲害細粒度識別，不解決規模較大、類別較多、精準高效的病蟲害識別難題，且難以直接部署到“智慧農業”各移動終端。針對農作物病蟲害細粒度識別的特殊性和困難性，本文利用農業物聯網中多種圖像采集設備獲取181類病蟲害圖像數據集。在此基礎上提出了一種多流深度網絡并行的病蟲害細粒度識別模型，挖掘可區分細微差異的不同級別局部特征表達，并結合特征聚合和高斯概率融合優化，整合多個弱監督模型的互補信息，獲得高判別性和準確率的識別結果，為實際農業場景下大規模病蟲害識別提供可行方案。

1 數據來源

1.1 數據樣本

為了保證在實際農業環境中識別病蟲害性能，本文圖像數據的采集依托北京農業智能裝備技術研究中心在全國各地部署的病蟲害物聯網監管系統。通過物聯網攝像機、監控攝像、自動采摘裝備、噴涂機器人及智能手機等設備采集病蟲害圖像數據，通過CAN/4G/WIFI等通訊形式將數據傳輸到后臺云服務器，經過數據存儲、數據處理及模型學習訓練，及時返回病蟲害細粒度識別結果和防控建議，更真實地反應災情動態情況，系統結構如圖1所示。

圖1 病蟲害監管系統示意圖

鑒于不同種類的病蟲害分布具有區域性和季節性，本文病蟲害樣本的圖像采集工作自2018年7月起至2019年12月，分時段進行，主要集中在北京、山東、寧夏等北方區域及湖南、湖北等南方區域。本工作采集有效的病蟲害圖像共計124 437張，考慮不同相機設備焦距、角度和光圈不同，將每張照片的分辨率限定為1 000×1 000像素。并將PlantVillage等公開數據集中有關數據進行梳理、提取及歸入，構建全新的病蟲害數據集，來自于蘋果、櫻桃、玉米、葡萄、水稻、柑橘、桃、辣椒、馬鈴薯、草莓、番茄、枸杞、小麥等共13種農作物，包括葉、花、果實、莖等多個植株部位，共計181個病蟲害類別，部分病蟲害類別的數據樣本如圖2所示。其中，病害涉及白粉病、炭疽病、黑星病、松銹病、灰斑病等，共計49類；蟲害來自于長蠹科、土蝽科、姬緣椿科、大尾蠼螋科、葉甲科、象甲科、異黑蝗、天牛科、草地貪夜蛾科、癭螨科等77個科屬，共計132類，且每類病蟲害包含不同的發病階段圖像樣本。

圖2 部分病蟲害類別的數據樣本

但考慮病害及蟲害發生情況不同，本文獲取的各類病害樣本分布極不均勻，每個類別至少有100張圖像樣本，保證所有類別具有滿足模型訓練的基本數據量。而樣本數量最多的是第54類草地貪夜蛾科（Spodoptera frugiperda），共計有效圖像5 109張，其幼蟲可大量啃食禾本科如水稻、甘蔗和玉米之類細粒禾榖及菊科、十字花科等多種農作物，易造成嚴重的經濟損失。而病害圖像數量最多為第180類番茄黃化曲葉病嚴重狀態（Tomato YLCV Virus serious），有效樣本2 826個，該病是一類具有孿生顆粒形態的植物DNA病毒，廣泛分布于熱帶和亞熱帶地區，在番茄、南瓜等重要經濟作物上經常造成毀滅性危害。本數據集包含了多方面細粒度因素，既有不同種類形態及環境的相似性，又存在同一物種的發育病變周期變化、植株組織、光照、等顯著差異，雖可以一定程度描述真實農業環境復雜情況，也蘊含著細粒度病蟲害的挑戰性。

1.2 數據增強處理

為了彌補樣本分布不均勻對模型識別性能影響，以及避免網絡過度擬合，本文在訓練之前，對數量較少的樣本數據進行增強處理。本文使用的增強方法主要包括5個步驟：1）隨機裁剪：在較大圖像的不同區域隨機裁剪出局部圖像，設長寬裁剪比例為[3/4，4/3]和[8%，100%]進行隨機區域采樣，然后將裁剪區域的像素大小調整為448×448；2）翻轉：將部分圖像沿著順時針隨機旋轉90、180和270度，模擬真實農業場景角度差異情況，以提高變形適應性；3）HSV（Hue，Saturation，Value）增亮：以指數方式更改每個像素的飽和度S和亮度V分量，并保持色相H不變，以增加照明變化。S和V通道分別使用從[0.25，4]均勻得出的系數進行縮放；4）PCA（Principal Component Analysis）抖動干擾：計算RGB三色通道的計算均值和標準差，在整個訓練集上計算協方差矩陣，并分解得到特征向量和特征值，得到PCA抖動增強數據；5）高斯模糊添噪：對圖像添加椒鹽噪聲和高斯噪聲，模擬拍攝不同清晰度的樣來，減少圖像噪聲感染及細節層次。各增強方法的預處理效果如圖3所示。

圖3 各數據增強預處理效果

2 多流高斯融合網絡

不同模型對不同病蟲害識別能力存在差異，且多個模型對同一類識別偏好也存在不同，究其原因在于各模型所構造特征提取網絡及概率決策存在固有差異。為了有效提取到圖像的細粒度特征，本文綜合多個無監督細粒度網絡優勢，構建多流并行的多維度特征提取結構，并設計了局部描述特征聚合層和高斯概率融合層，整合多模型的置信度結果，構建基于多流概率融合網絡的農作物病蟲害識別模型，發揮多模型融合互補及性能耦合的優勢，提升辨識效率及魯棒性，網絡結構示意圖如圖4所示。

注：殘差粗粒度特征F1，多全局協方差池化特征F2，視覺幾何組粗粒度特征F3，細粒度局部特征F4，聚合特征向量F5，S1～S5表示各組成模型輸出特征向量的概率得分（分別對應F1～F5）.

2.1 多流網絡細粒度特征提取層

本研究MPFN網絡模型的特征提取器由2個具有代表性的弱監督細粒度網絡組成：FAST-MPN和NTS-Net。而2個細粒度模型的前置基礎網絡分別為ResNet50和VGG19，可以提取粗粒度的特征表達，本文在大規模通用數據集ImageNet上預訓練這2個基礎網絡，再將其遷移到農作物病蟲害數據集上進行訓練，學習細粒度網絡的模型參數及知識結構。本文對ResNet50模型進行了調整，去掉平均合并層、全卷積層和softmax層，使用3×3卷積代替輸入中的7×7卷積，以降低計算成本，并允許輸入更大的448×448尺寸的增強基準。同時，替換部分殘差模塊為Inception-v4[27]模塊，且每個卷積層后和激活層前添加批處理歸一化，改善單幀識別性能。得到殘差粗粒度特征1。

而NTS-Net利用了VGG19網絡為基礎主干，將其輸出的視覺幾何組粗粒度特征3進行多次卷積和注意力叉操作，并行生成兩幅結構大小相同的特征圖和注意力圖。而注意力圖分成個，以反映第個局部對象的區域。將特征圖與具有相同大小的每個注意圖逐元素相乘，以生成個特征圖，然后將其注入到局部特征提取函數()中，獲得高判別性細粒度局部特征矩陣4

2.2 局部描述特征聚合層

在特征提取之后，為了更好地進行分類，本文使用NetVLAD（Vector of Local Aggregated Descriptors Network）[28]對特征進行聚合；作為一種流行的用于圖像識別和分類的描述符池化方法，NetVLAD捕獲有關在圖像上聚合的局部特征信息，并存儲每個局部特征與其對應的聚類中心之間的殘差總和；對每個圖像的特征進行量化，并在最近的聚類中心聚合每個局部特征，量化后，特征空間被劃分為多個單元子空間，其權重分配如下：

式中={1,2,3,4}對應多流特征提取層輸出；代表第個聚類中心，′表示非聚類中心；w、b和w、b分別代表對應的訓練階段可更新參數；a(F)表示特征F對第個聚類中心的隸屬關系；通過該軟權重分配結合所有分量的特征和得到最終向量：

2.3 高斯概率融合層

將前期提取、聚類的特征進行有效的融合是本文構建的融合模型的核心步驟；常見的融合方式有平均融合、拼接融合或者設置權重融合等線性融合方式，然而在實際的統計學分析中，本文融合模型MPFN的輸出特征是符合正態分布的，因此對于其融合方式更加適用的是高斯融合方式；結合本地特征與試驗經驗，本文選擇了高斯函數作為融合模塊的融合函數；在此融合模塊中，輸入是多模型的各種特征，輸出是高斯融合得到分類概率。而每個模型及其聚類后的輸出預測概率：

針對需要求解的超參數，本文使用最大期望算法（Expectation Maximization Algorithm）來迭代估計融合層參數。該算法分期望和估計2個步驟階段。

否則，需要在每次迭代期間不斷更新參數，迭代參數更新約束如下：

如果任何參數改變將不再導致M函數的進一步最小化，從而導致標記結果的最終估計，則終止從等式（10）到（13）這兩步循環的整個過程；內部迭代循環位于用于參數估計的融合層內部，該循環在整個網絡訓練的每個外部前向循環中進行；因此，具有高斯混合優化的融合層是獨立于其他層，但仍可以聯合訓練的方式通過整個概率融合模塊進行相鄰層反向傳播梯度，與前端深度網絡有效結合，達到端到端訓練。通過上述操作，提出的融合模型從決策級角度獲得了預測分數的整體表示，實際上是通過整合來自多流特征提取層每個組件模型與聚類層的多個先驗概率，從而得出聯合后驗概率。最后，在融合層之后添加一個min-max歸一化層和一個softmax層，以輸出歸一化的分類結果。當softmax算子獲得預測概率時，交叉熵損失用于估計預測分數與真實標記之間的不一致程度；交叉熵損失的最佳解決方案是通過一些正則化約束將誤差差距最小化到足夠小的值；因此在訓練過程中，本文優化了以下多部分損失函數：

3 結果與分析

3.1 試驗環境設置

為了確保訓練的可靠性，本文隨機將病蟲害數據集每類的10%（共11 433張）作為測試集，其余的113 004張作為訓練和驗證集，比例分別為80%和10%。在此劃分基礎上，本文以Ubuntu 16.04LTS為系統構建云服務器平臺，該平臺搭載雙核Intel Core i7-8600@3.6 GHz x8 處理器、內存256 G及4×4T固態硬盤，顯卡為4塊NVIDIA Tesla p40 GPU，計算緩存為96 G，采用深度學習框架 Tensorflow1.4]和pytorch3.0。

3.2 試驗結果比較

為驗證MPFN模型性能優勢，本文訓練了多個對比模型，包括VGG19，ResNet50，Densenet121[29]，SEnet[30]等多個粗粒度深度網絡，以及基于VGG19、ResNet50前置網絡的NTS-Net、FAST-MPN和DFL細粒度分類網絡模型，評價參數采用平均精度均值（mean Average Precision，mAP）和平均單張識別時間（Average time of Single image Recognition，ASR），計算得到對比識別試驗結果如表1所示。表中的精度代表識別正確的總數占測試集的百分比，時間表示單個測試圖片所需的測試時間。

表1 對比試驗結果

從表1中可以看出，對于細粒度病蟲害而言，相比較細粒度模型，一般的深度神經網絡識別出的精度并不是很高；與之對應的是，相比較單個細粒度模型，融合模型MPFN可以取得更好的識別結果，平均精度均值高達93.18%，比起FAST-MPN增加了5.6個百分點，比起NTS-Net也增加6.51個百分點。這說明有效融合策略將提升單個模型性能；而且在整體精度結果下，融合模型的平均單張識識別時間也只有61 ms，可以很好地解決細粒度病蟲害圖像識別問題，滿足實際應用部署需求。

3.3 訓練損失函數分析

為了進一步對比各模型的分類性能，本文對繪制損失函數結果，如圖5所示。其他對比模型根據各文獻提供，均使用Softmax交叉熵損失函數進行分析，而本模型使用式（14）的多部分損失函數進行計算。鑒于需要訓練的病蟲害數據有11.3萬多張圖片，依據試驗服務器的硬件參數上限，設置訓練批處理尺寸Batch_Size=400張，則完成一次更新世代（Update epoch）需要進行283次權重參數迭代（Iteration），迭代數量對應需要訓練的批處理數量。經過35次更新世代（即9 900多次參數迭代），比較結果表明所有模型的損失函數趨勢都有所降低，并均趨于收斂穩定。其中，ResNet 50，Densenet121和VGG19的損失函數在下降過程中波動較大，這說明傳統粗粒度的深度學習網絡對細粒度病蟲害數據集較難適應，識別魯棒性有待提升。而輕量化網絡SEnet和細粒度網絡DFL的損失函數雖然相對平穩，但其損失函數收斂值較大，對病蟲害類別分辨能力相對低，并不適用于復雜環境下農作物病蟲害細粒度識別應用。相比之下，NTS-Net和FAST-MPN的損失函數下降得更快、更平穩，這說明這2個網絡的學習能力更強，選擇其作為本文模型基礎網絡是科學合理的。最后，本文MPFN模型在訓練損失方面取得較好結果，訓練損失整體最小，而且收斂較快，對比其他模型及子模型可知，特征聚合融合和高斯概率融合可以在保障訓練速度基礎上，更有效提升模型的識別準確性和泛化魯棒性，能夠有效勝任實際場景應用的農作物病蟲害細粒度識別工作。

圖5 對比模型訓練損失曲線

3.4 各類病蟲害別辨識分析

根據試驗得到的結果，對ResNet50，NTS-Net，Fast-MPN和融合模型的各個類別識別性能進行細致分析，如圖6所示。單個模型對不同類別具有不同的識別能力，并且可以發現同一模型對于不同類別具有不同的準確性。盡管各個模型對不同類別具有不同的識別能力，但從融合模型的結果可以看出，融合模型結合并補充了不同圖像的不同特征提取能力，從而提高每種圖像的準確性。例如，ResNet50在類別0（長蠹科，Bostrichoidea）中的準確性為63.6%，在類別3（土蝽科，Cydnidae）中的準確性為69.2%；而Fast-MPN在類別0中的準確度為90.9%，在類別3中的準確度為84.6%；經過融合后，本文MPFN模型在類別0和類別3的準確性都高達100%，這說明本文融合策略可以使得單個模型對不同類別的識別能力的差異逐漸減小，有效排除模型間冗余，挖掘有效的細粒度特征描述能力，實現模型間輸出覺得相互融合，從而提高了整體模型的辨識準確性。

圖6 各模型對每類病蟲害識別結果

本文融合模型還具備從整體數據集中挖掘潛在關聯知識能力，即使各個粗細粒度子模型在某些病蟲害類別均表現很差，高斯概率融合可以有效解決彌補子模型都差影響最終結果也差的問題。例如，在類別5（葉甲科，Chrysomelidae）中，Resnet50、NTS-Net和Fast-MPN的準確性分別只有33.3%、47.1%和53.3%，這意味著和象甲科、擬象甲科形態相似的葉甲科，無法被常規模型進行有效細粒度區分，而本文模型則取得81.1%的準確率，相比子模型提高了27.8%～47.8%。類似的情況，在類別64（尺蠖蛾科，Geometridae）和類別146（櫻桃葉白粉病害嚴重態，Cherry powdery mildew serious）更是明顯，在尺蠖蛾科識別上，ResNet50、和Fast-MPN的識別準確性分別是有40.1%和40.3%，而NTS-Net準確率甚至只有20.5%，而融合后模型可以獲得達到71.2%，效果明顯提升，這也間接說明該病蟲害類別的圖像數據本身較難辨識。具體而言從數據觀察，如圖7所示，隨機選取該類別12個圖片樣本進行對比分析，紅色框柱的代表模型識別錯誤的圖片，其余代表識別正確的圖像，其他3個子模型識別時容易出錯，而本文方法則明顯提升識別性能、降低錯誤情況。

圖7 尺蠖蛾科的各模型識別結果對比

不同的是，在類別146的櫻桃葉白粉病害辨識方面，粗粒度網絡ResNet50識別率則依舊保持在66.7%，而細粒度的NTS-Net和Fast-MPN的識別率則降低到40%和13.3%，這說明在缺乏有效融合情況下，細粒度網絡有時反而會限制深度神經網絡的非線性擬合表征和分類辨識性能；結合上述2個類別對比分析，兩個細粒度子模型在病害和蟲害的表現正好相反，進一步揭示了不同模型對于不同病蟲害類別的識別能力偏差較大，也在一定程度上反映單個模型在病蟲害細粒度辨識上存在的魯棒性、泛化性不足。而經過高斯概率融合優化后，本文模型識別率則高達81.1%，更加側重于多模型的有機兼容，不會出現過大的誤差是其核心優點之一（如圖8所示）。

圖8 櫻桃葉白粉病害嚴重態的各模型識別結果對比

總的來說，從各類別病蟲害辨識角度而言，由于本文融合策略提升了整個模型對所有類別識別精度，也加強了其泛化性和魯棒性，更加適應實際農業場景下復雜細粒度辨識應用，保證總體精度更進一步提升。

4 結 論

針對復雜農業場景中廣泛存在的病蟲害及其難以被細粒度辨識的復雜問題，本文利用多種農業物聯網設備采集12.2萬張圖像，構建適用于實際農業的181類病蟲害細粒度數據集。在數據增強基礎上，本文設計多流網絡并行的粗細粒度特征提取結構，經過各個子模型特征向量的局部特征聚合分析和高斯概率融合，構建一種多流高斯概率融合網絡的農作物病蟲害細粒度識別模型（MPFN），經過最大期望算法迭代優化，可以實現端到端的模型訓練和快速收斂。對比試驗表明，本文模型具有較高的識別性能，平均精度高達93.18%，效率及魯棒性能優于其他對比深度網絡方法，而平均單張識別時間為61 ms，能夠滿足農業生產實踐中物聯網各終端病蟲害細粒度識別需求，且對各類病蟲害均能有效區分，具有更好的魯棒性和泛化性，可對農戶科學、合理、有效地預警防治植物病蟲害起到積極的作用，也為細粒度識別拓展在實際農業生產應用提供理論和技術基礎。

[1] 王翔宇，溫皓杰，李鑫星等. 農業主要病害檢測與預警技術研究進展分析[J]. 農業機械學報，2016，47(9)：266-277.

Wang Xiangyu, Wen Haojie, Li Xinxing et al. Research progress analysis of mainly agricultural diseases detection and early warning technologies[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266-277. (in Chinese with English abstract)

[2] 趙春江. 智慧農業發展現狀及戰略目標研究[J]. 智慧農業，2019，1(1)：1-7.

Zhao Chunjiang. State-of-the-art and recommended developmental strategic objectives of smart agriculture [J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)

[3] Ramesh S, Rajaram B. Iot based crop disease identification system using optimization techniques[J]. ARPN J. Eng. Appl. Sci, 2018, 13: 1392-1395.

[4] 賈少鵬，高紅菊，杭瀟. 基于深度學習的農作物病蟲害圖像識別技術研究進展[J]. 農業機械學報，2019，50(S1)：313-317.

Jia Shaopeng, Gao Hongju, Hang Xiao. Research progress on image recognition technology of crop pests and diseases based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 313-317. (in Chinese with English abstract)

[5] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1-10.

[6] Konstantinos F P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[7] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint: 1409.1556, 2014.

[8] 張建華，孔繁濤，吳建寨，等. 基于改進VGG卷積神經網絡的棉花病害識別模型[J]. 中國農業大學學報，2018，23(11)：161-171.

Zhang Jianhua, Kong Fantao, Wu Jianzhai, et al. Cotton disease identification model based on improved VGG convolution neural network[J]. Journal of China Agricultural University, 2018, 23(11): 161-171. (in Chinese with English abstract)

[9] Alvaro F, Yoon S, Kim S C, et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition[J]. Sensors, 2017, 17(9): 2022.

[10] Wu X, Zhan C, Lai Y K, et al. Ip102: A large-scale benchmark dataset for insect pest recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8787-8796.

[11] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[12] Zheng Y Y, Kong J L, Jin X B, et al. CropDeep: the crop vision dataset for deep-learning-based classification and detection in precision agriculture[J]. Sensors, 2019, 19(5): 1058.

[13] 龍滿生，歐陽春娟，劉歡，等. 基于卷積神經網絡與遷移學習的油茶病害圖像識別[J]. 農業工程學報，2018，34(18)：194-201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(18): 194-201. (in Chinese with English abstract)

[14] 張博，張苗輝，陳運忠. 基于空間金字塔池化和深度卷積神經網絡的作物害蟲識別[J]. 農業工程學報，2019，35(19)：209-215.

Zhang Bo, Zhang Miaohui, Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(19): 209-215. (in Chinese with English abstract)

[15] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經網絡的茶園害蟲定位與識別[J]. 農業工程學報，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(6): 156-162. (in Chinese with English abstract)

[16] 劉洋，馮全，王書志. 基于輕量級CNN的植物病害識別方法及移動端應用[J]. 農業工程學報，2019，35(17)：194-204.

Liu Yang, Feng Quan, Wang Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J].Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(17): 194-204. (in Chinese with English abstract)

[17] Zheng Y Y, Kong J L, Jin X B, et al. Probability fusion decision framework of multiple deep neural networks for fine-grained visual classification[J]. IEEE Access, 2019, 7: 122740-122757.

[18] Wei X S, Wu J, Cui Q. Deep learning for fine-grained image analysis: A survey[J]. arXiv preprint:1907.03069, 2019.

[19] 邊小勇，江沛齡，趙敏，等. 基于多分支神經網絡模型的弱監督細粒度圖像分類方法[J]. 計算機應用，2020，40(5)：1295-1300.

Bian Xiaoyong, Jiang Peiling, Zhao Min, et al. Multi-branch neural network model based weakly supervised fine-grained image classification[J]. Journal of Computer Applications, 2020, 40(5): 1295-1300. (in Chinese with English abstract)

[20] Song K, Yang H, Yin Z. Multi-Scale attention deep neural network for fast accurate object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 29(10): 2972-2985.

[21] Yang Z, Luo T, Wang D, et al. Learning to navigate for fine-grained classification[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 420-435.

[22] Li P, Xie J, Wang Q, et al. Towards faster training of global covariance pooling networks by iterative matrix square root normalization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 947-955.

[23] Wang Y, Morariu V I, Davis L S. Learning a discriminative filter bank within a CNN for fine-grained recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4148-4157

[24] 郭小清，范濤杰，舒欣. 基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別[J]. 農業工程學報，2019，35(13)：162-169.

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet [J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(13): 162-169. (in Chinese with English abstract)

[25] Amanda R, McCloskey P, Baranowski K, et al. A mobile-based deep learning model for cassava disease diagnosis[J]. Frontiers in plant science, 2019, 10: 272.

[26] Lin Z, Mu S, Huang F, et al. A unified matrix-based convolutional neural network for fine-grained image classification of wheat leaf diseases[J]. IEEE Access, 2019, 7: 11570-11590.

[27] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[J]. arXiv preprint:1602.07261, 2017.

[28] Arandjelovic R, Gronat P, et al. NetVLAD: CNN architecture for weakly supervised place recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 5297-5307.

[29] Huang G, Liu Z, Van D M, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

[30] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 7132-7141.

Fine-grained recognition of diseases and pests based on multi-stream Gaussian probability fusion network

Kong Jianlei1,2,3, Jin Xuebo1,2,3※, Tao Zhi1, Wang Xiaoyi1,2,3, Lin Sen3,4

(100048,; 2.100048,; 3.100048;4.100097,)

Accurate identification of diseases and insect pests has been the key link to the yield, quality and safety of crops in modern agriculture. However, the same category of diseases and insect pests showed obvious differences in intra-class representation and slight similarities in inter-class representation of various diseases, due to the influence of environmental conditions, disease cycle and damaged tissues. At present, the traditional deep transfer learning methods have been difficult to cope with large-scale, multi-class fine-grained identification of pests and diseases, particularly unsuitable to the practice in complicated scenes. This paper aims to apply multiple source cameras in agricultural Internet of Things (IoT) and different intelligent precision equipment, including picking robots and smart phones, to capture high resolution 122,000 images of insect pests and diseases, covering a total of 181 fine-grained categories, including 49 types pests and 77 types diseases on different plant parts of different crops. A fine-grained recognition model was then proposed for pests and diseases based on the Multi-Stream Gaussian Probability Fusion Network (MPFN). In detail, a data-augmented method was first employed to enlarge the dataset, and then to pretrain the basic VGG19 and ResNet networks on high-quality images, in order to learn common and domain knowledge, as well fine-tuning with professional skill. Next, the refined multiple deep learning networks, including Fast-MPN and NTS-Net with transfer learning, were applied to design a multi-stream feature extractor, utilizing the mixture-granularity information to exploit high-dimensionality features, thereby to distinguish interclass discrepancy and tolerate intra-class variances. Finally, an integrated optimization was developed combining the NetVLAD feature aggregation layer with the gaussian probability fusion layer, in order to fuse various components model with Gaussian distribution as a unified probability representation for the ultimate fine-grained recognition. The input of this module was the various features of multi-models, whereas, the output was the fused classification probability. The end-to-end implementation of framework included an inner loop about the expectation maximization algorithm within an outer loop with the gradient back-propagation optimization of the whole network, indicating multi-model fusion information complementation and confidence for the overall model. The experimental results demonstrated that the MPFN model presented the excellent performance in the average recognition accuracy rate of 93.18% for a total of 181 classes of pests and diseases, indicating 5.6 percentage points better than that of the coarse-grained and fine-grained deep learning methods. In terms of test time, the average processing time of the MPFN was 61ms, indicating the basic needs of fine-grained image recognition of pests and diseases at the terminals of the IoT and intelligent equipment. In the contradistinctive analysis, training loss curves and various sub-categories identification showed that the feature aggregation fusion and Gaussian probability fusion can greatly enhance the efficiency of model with the training speed, recognition accuracy and generalized robustness for fine-grained identification of crop pests and diseases in practical scenarios. Therefore, this work can provide a technical application reference for the intelligent recognition of pests and diseases in agricultural production. In the follow-up study, more images will be taken under natural conditions to develop a more robust MPFN model deployed on actual IoTs or equipment for the pre-warning, prevention, and control of crop pests and diseases in modern agriculture.

agriculture; image recognition; diseases and pests; deep neural network; feature aggregation; Gaussian probability fusion

孔建磊，金學波，陶治，等. 基于多流高斯概率融合網絡的病蟲害細粒度識別[J]. 農業工程學報，2020，36(13)：148-157.doi：10.11975/j.issn.1002-6819.2020.13.018 http://www.tcsae.org

Kong Jianlei, Jin Xuebo, Tao Zhi, et al. Fine-grained recognition of diseases and pests based on multi-stream Gaussian probability fusion network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 148-157. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.018 http://www.tcsae.org

2020-03-04

2020-04-02

國家重點研發計劃(2017YFC1600605)；北京市教育委員會科技計劃一般項目(KM201910011010)；國家自然基金項目(61673002, 61903009 );

孔建磊，博士，副教授，主要從事農業深度遷移學習和計算機視覺研究。Email：kongjianlei@btbu.edu.cn

金學波，博士，教授，主要從事信息融合、大數據分析、時序預測預警等研究。Email：jinxuebo@btbu.edu.cn

10.11975/j.issn.1002-6819.2020.13.018

S5-33,S24

A

1002-6819(2020)-13-0148-10