基于輕量和積網絡及無人機遙感圖像的大豆田雜草識別

王生生，王 順，張 航，溫長吉

?

基于輕量和積網絡及無人機遙感圖像的大豆田雜草識別

王生生1，王 順2，張 航2，溫長吉3

（1. 吉林大學計算機科學與技術學院，長春 130012；2. 吉林大學軟件學院，長春 130012； 3. 吉林農業大學信息技術學院，長春 130118）

為提高機器視覺在無人機等小型嵌入式設備中雜草識別的準確率，該文以大豆苗中常見禾本科雜草和闊葉型雜草為研究對象，針對傳統和積網絡在圖像分類任務中模型參數多、訓練時間長、含有較多冗余節點和子樹的問題，該文改進傳統和積網絡的學習過程，提出一種以小批量數據作為輸入的輕量和積網絡。在結構學習中，當積節點作用域內的變量個數小于一定閾值時，合并積節點為多元葉節點，否則將積節點重組為和積混合結構，并對邊緣節點進行裁剪，有效降低了模型的參數量和復雜度。在參數學習中，提出貝葉斯矩匹配更新網絡參數，使得模型對小樣本的學習效率更高。最后結合均值聚類算法應用于無人機圖像中的雜草識別。試驗結果表明，利用該方法對無人機圖像中大豆苗、禾本科雜草、闊葉型雜草以及土壤的平均識別準確率達99.5%，高于傳統和積網絡和傳統AlexNet。并且模型平均參數量僅為傳統和積網絡的33%，內存需求最大時減少了549 M，訓練時間最多減少了688.79 s。該研究可為輕量和積網絡模型在無人機噴灑農藥中的雜草識別提供參考。

無人機；遙感；識別；和積網絡；結構學習；參數學習；雜草

0 引 言

雜草是糧食生產的主要制約因素之一[1]。雜草管理的一個重要目標是區分禾本科雜草和闊葉型雜草，因為這2個雜草群落可通過不同除草劑適當控制[2]。作物田間雜草的識別方法主要有人工識別法、遙感識別法和機器視覺識別法3種[3]。

在雜草控制中，采用人工廣泛噴灑除草劑的方法不僅會造成除草劑的浪費，還會造成環境污染。與此同時，也導致了農產品的安全和生態問題，如化學農藥殘留和雜草群落進化產生抗藥性等[4]。在精細農業中，精準識別作物幼苗和雜草，合理使用農藥尤為重要[5-6]。

無人機遙感技術以其低成本、高分辨率、高靈活性的特點使其成為精細農業中空中采集圖像的新型工具[7]。如Castro AID等利用低空航拍高光譜圖像通過植被指數、光譜角制圖等方法繪制谷類和豆類中的十字花科雜草，由識別的結果定點噴施農藥，節約了71.7%~95.4%的除草劑[8]。Ishida T等利用無人機遙感搭載液晶可調諧濾波器獲得的高光譜圖像，結合光照和陰影2種光譜反射率對植被、土壤、雜草等進行分類，對植被的分類準確率達94.5%[9]。Barrero O等將無人機獲取的低分辨率多光譜圖像和高分辨率RGB圖像相融合以檢測水稻萌發后50天的禾本科雜草，識別準確率最高為85%[10]。利用無人機裝配先進傳感器獲取高光譜、高分辨率圖像進行光譜分析，通過在某些特定波長作物與雜草反射率的不同來進行識別，彌補了傳統遙感識別雜草距離遠、實時性差的缺點，在農業領域應用中具有廣闊前景[11]。

傳統機器學習方法提取雜草的形狀、顏色、紋理[12-14]等特定特征取得了一定效果，但對于形狀、顏色和紋理差異不明顯的作物與雜草識別準確率較低。而深度網絡模型能夠提取圖像的高層特征，不受人工設計特征的影響。如Potena C等[15]提出了一種用于無人地面車輛除草裝置的甜菜雜草分類感知系統，結合RGB和近紅外圖像使用2種不同的卷積神經網絡架構，淺層網絡進行植被檢測，深層網絡進一步將檢測到的植被分為作物和雜草。他們首先進行像素分類，然后通過投票的方式對植被掩膜中檢測到的斑點進行分類，植被識別的準確率約97%。Dos A等對通過對無人機獲取的圖像進行超像素分割，然后訓練卷積神經網絡AlexNet識別大豆苗和雜草，平均識別準確率在99%以上[16]。王璨等利用卷積神經網絡從圖像的高斯金字塔中提取多尺度分層特征，然后與多層感知機相連接，通過基于像素的分類實現玉米雜草的識別，平均識別準確率達98.92%[17]。卷積神經網絡模型在識別領域效果顯著，其主要問題在于卷積計算對硬件資源要求較高，模型占用內存大，難以移植到無人機等小型嵌入式設備，且模型結構較為復雜，對于小樣本數據容易造成過擬合[18]。因此，針對無人機獲取的大豆苗雜草小樣本數據，采用了對硬件資源及樣本數量要求較小的和積網絡（sum-product networks）[19]。目前，和積網絡已成功應用于圖像分割，圖像分類，動作識別，語音識別，目標檢測[20-25]等多個領域。

在大豆種植園中，禾本科雜草和闊葉型雜草嚴重影響大豆產量，大面積種植時使用無人機獲取圖像根據不同雜草群落噴施農藥是有效的防治手段。本文以無人機獲取的大豆苗雜草小樣本數據為研究對象，在圖像處理階段，基于和積網絡的上述優點，提出了一種輕量和積網絡雜草識別模型。模型首先使用均值聚類算法提取圖像低層特征，然后將提取的特征下采樣，再將采樣特征以小批量數據作為輸入，通過更新網絡結構與更新網絡參數提取高層特征并對雜草進行識別。在結構學習中采用一定方式對邊緣節點進行裁剪，使模型結構輕量化，以期為輕量和積網絡模型在無人機噴灑農藥中的雜草識別提供參考。

1 材料與方法

1.1 圖像獲取

無人機獲取的大豆幼苗期原始圖像如圖1所示，拍攝于2016年1月3日，平均飛行高度約4 m，采集高度變化不大，對應的垂直攝影地面采樣距離小于1 cm。圖像規格為4 000×3 000像素，JPG格式，采用默認工廠配置中的所有參數，沒有使用額外的圖像校正。

圖1 2016年1月3日大豆幼苗期的原始圖像

1.2 圖像預處理

1.2.1 超像素分割

超像素分割是指將具有相似視覺特征的相鄰像素分割成視覺特征一致的像素塊。它利用像素之間特征的相似性進行分組，用少量的超像素代替大量的像素來表達圖像特征，減少了大量的數據冗余，顯著降低了后期圖像處理的復雜度，是目標定位和圖像分割中重要的預處理環節。對于無人機獲取的原始圖像使用簡單線性迭代聚類算法（simple linear iterative clustering, SLIC）[26]構建圖像數據集。

式中d表示第個像素中心與第個像素點的顏色距離；d表示第個聚類中心與第個像素點的空間距離；D表示所有像素點在CIELAB顏色空間中的距離與以間隔標準化到平面上的距離之和；表示顏色和空間距離的平衡因子，在該文獻中默認為10。

試驗環境為Win10操作系統，CPU Intel（R） Core i7-8 700 K @3.60 GHz，16 G運行內存。對無人機獲取的原始圖像使用了scikit-image庫中的SLIC超像素分割算法。為將原始圖像分割成大豆苗、雜草和土壤片段，在100至1 200范圍內測試不同值，最終選擇=300將其分割為大小約200×200像素的片段，該參數的選擇取決于圖像采集的高度和分辨率。在陰天拍攝的圖像中含有較少的陰影，平衡因子的值可以使用較小的值，以使超像素邊界對圖像元素的邊緣更加敏感。在晴天，陰影對圖像的影響使得超像素對圖像的光照過于敏感，易含有在同一超像素中屬于不同類別的元素。因此可以選擇較大的值，以使空間鄰近信息相對于顏色和光照的相似性具有更大的權重[16]。

1.2.2 圖像裁剪

該數據集已將無人機獲取的原始圖像分割成15 336張小圖像，分別為3 249張土壤、7 376張大豆苗、3 520張禾本科雜草和1 191張闊葉型雜草。由于在數據集中的圖片大小不一，絕大部分圖像的高度和寬度小于256像素。為便于處理，首先將圖像放置在一個由黑色背景組成的圖像左上角，大小為512×512像素，然后在左上角以256×256像素將其裁剪。處理后的雜草與土壤圖像如圖2所示，從左至右依次為大豆苗，禾本科雜草，闊葉型雜草和土壤。

圖2 裁剪后的雜草與土壤圖像

1.2.3 數據標準化

標準化之后的數據將被擴展到一個合理的范圍，并轉化為一個無量綱的純數據。當圖像中的像素包含多個維度且不穩定時，特征標準化公式可以確保每個維度都是零均值和單位方差。= {(1),(2),…,(i),…,(n)}表示給定的數據集，其中(i)表示數據集中第個樣本。數據標準化公式[27]可表示為

1.2.4 數據降維

1.3 和積網絡

和積網絡是一種新型概率深度網絡。它可以看成是一個含有根結點的廣義有向無環圖，內部節點由和節點與積節點遞歸組成，葉結點可以是離散或連續的概率分布[19]，其主要有如下定義：

定義三（和積網絡的計算）：若表示在實數變量集上的和積網絡，其參數為，S為以節點為根結點的子網絡。對于每一個隨機變量服從的分布，以=作為可觀測變量的網絡輸入，S()表示節點處的輸出值，S()表示節點下子節點輸出值。此時，S()可由式（4）計算。

定義四（完整性）：和積網絡具有完整性當且僅當其和節點的所有子節點具有相同的作用域。

定義五（可分解性）：和積網絡具有可分解性當且僅當其積節點的所有子節點具有互斥的作用域。

注：X1，X2為布爾變量，，分別對應于上述變量相反的邏輯狀態。

和積網絡在表達能力、推理能力及易處理性上具有深厚的理論支持。它的積節點可表示提取的特征，和節點可以表示特征的混合[19]。和積網絡可以解釋為一種具有非負參數的特殊前饋神經網絡，其中葉結點是輸入神經元，而和節點和積節點是隱藏神經元。它也可以作為一種密度估計器，相對于傳統概率圖模型，在一些推理任務如邊際推理，最大可能解釋推理中可達到精確和快速的推理[30]。和積網絡的學習分為參數學習和結構學習。其參數學習一般需要人工預定義網絡結構，如使用極大似然估計[19]，判別式學習[31]，坍塌變分推理[32]等。因此近年來提出了幾種自動化結構學習的方法，能夠在構建網絡的同時學習參數，無需超參數調節，顯著降低了人工預定義的網絡的成本。如傳統和積網絡LearnSPN算法以及基于該算法的變體[33-35]，它們采用分治策略，分層聚類遞歸劃分數據集實例與變量生成網絡結構。Vergari A等則通過一種混合技術自頂向下學習含有多元葉結點的網絡結構，進一步提高了和積網絡的表達能力[36]。

傳統和積網絡的LearnSPN算法使用多次掃描的批處理學習方式，通過在線期望最大化算法遞歸劃分數據矩陣的實例和變量，這樣無需指定集群的數量，但復雜的網絡結構是通過爆炸性地增加和節點后裔節點的個數實現的，含有較多冗余節點且訓練時間較長。參數學習使用極大似然估計，葉結點全部為單變量分布，較為簡單。但由于網絡結構復雜，易將噪聲數據的特征也學習到模型當中，導致模型泛化能力下降，容易過擬合。

1.4 輕量和積網絡雜草識別模型

1.4.1 特征提取

圖4 K均值聚類

1.4.2 輕量和積網絡雜草識別流程

輕量和積網絡雜草識別流程如圖5所示，模型包括均值聚類和輕量和積網絡兩部分。經由上文所述方法，利用均值聚類提取輸入圖像的低層特征，然后以小批量學習的方式，將下采樣后的數據經一次傳遞訓練輕量和積網絡，提取圖像高層特征并進行雜草識別。輕量和積網絡由內部節點學習輸入特征的聯合概率分布，由根結點輸出特征所屬類別的概率。不同種類分別訓練，在進行雜草識別時，每一種類別對應于一個獨立的網絡結構。對于輸入圖像，每個網絡結構輸出該類別的概率值，概率最高的即為所屬類別，依據識別結果可供無人機選擇噴施特定農藥。

圖5 雜草識別流程

更新網絡結構的方法是將作用域包含2個變量的子節點相關聯。當子節點的個數小于一定數量時就創建一個多元的葉結點，反之則在變量上創建一個和積混合結構。此過程如圖6所示。

注：x1 ,…, x5表示積節點的作用域。

圖6a表示一個含有3個子節點的原始積節點，1,…,5表示該節點下的作用域。關聯1與3的方法如圖6b所示，積節點跟蹤這5個變量的經驗均值和經驗協方差。當1和3的皮爾遜相關系數高于一定閾值時，該算法將具有1，32個子節點的作用域合并，并將它們轉換為一個多元葉節點，以其統計的均值和協方差作為葉結點參數。另一種關聯1和3的方法是創建一個混合模型，如圖6c所示，它有2個組成部分。第一個部分為包含1和3積節點的原始子節點。第二個組成部分是一個新的積節點，它再次被初始化為在其作用域上的一個完全因式分解的分布，然后再將小批數據點傳遞給新混合模型以更新其參數。更新結構的方式可通過設置子節點個數的閾值來選擇。

矩匹配是一種基于經驗矩估計分布參數的常用方法。例如，在保證一致性的同時，矩匹配被用來估計混合模型、主題生成模型和隱藏馬爾科夫模型的參數[38]。矩匹配也可以用于貝葉斯近似一個難以計算的后驗分布。也就是說，通過計算這個分布的矩的子集，選擇一個與這些矩匹配的易處理分布簇作為近似，如期望傳播[39]。該文提出使用貝葉斯矩匹配更新網絡中的參數。貝葉斯學習始于一個在權重上的先驗概率()，然后對于給定觀測數據集，根據貝葉斯式（7）學習計算后驗概率(|)。

對于給定數據集= {(1),(2),…,(m),…,(n)}的小批量學習方式，可以將貝葉斯公式改寫為公式（8），即將觀測數據集均勻劃分成若干個批次，表示Batch Size的大小。的取值可根據GPU或CPU硬件的內存需求調節。

當用狄利克雷分布近似一個難以計算的分布時，首先計算的一階矩和二階矩，然后使用式（12）計算超參數以使其與分布有相同的矩。

進一步說，對于由狄利克雷分布的乘積得到的聯合概率分布()，為了計算超參數α，可以通過計算每個邊緣分布()的一階矩和二階矩，然后通過貝葉斯矩匹配與狄利克雷分布的乘積來近似，這樣做的目的是為了減小直接顯示計算的復雜性。

為了簡化結構，當一個積節點最終只有一個子節點時，就將其從網絡中刪除，而使它的子節點與其父節點相連。如果一個和節點是另一個和節點的最后一個節點，那么就刪除該和節點，并將其所有子節點提升一個層。這樣有效地減少了冗余的邊緣分支和子樹，使模型結構更加輕量化。

2 結果與分析

2.1 雜草識別結果與分析

為驗證模型的適用性，將試驗數據分為平衡數據和非平衡數據2組，因為在實際應用中獲取的樣本數據往往是非平衡的。平衡數據是指模型在訓練、測試、驗證時每種類別均使用相同的樣本數量。反之，當每種類別的樣本數量分布不均勻時則是非平衡數據。在平衡數據中每個類別所選的圖像數量為1 125張，共4 500張圖片。其中3 000張用于訓練，500張用于驗證，1 000張用于測試。非平衡數據是在沒有限制類別平衡的情況下形成的。為保持和文獻[16]中試驗的一致性且便于將數據集劃分為訓練集、驗證集和測試集，使用了15 336張圖片中的15 000張，組成較大數據集。丟棄其中的336張大豆類圖像，因為大豆類的圖像數量遠比其他類別高，對試驗幾乎沒有影響，其他類別的數據則全部使用。非平衡數據中的每個類別70%用于訓練，10%用于驗證，20%用于最終測試。小批量學習Batch Size的值一般設置為1 000以內，數值越小學習過程收斂越快，但產生的噪聲越多。經多次試驗，根據硬件設備的內存需求及試驗結果，選擇Batch Size為62。

2次試驗使用輕量和積網絡與傳統和積網絡算法LearnSPN、卷積神經網AlexNet[16]對大豆苗、闊葉型雜草、禾本科雜草以及土壤的識別結果進行對比。不同模型算法下平衡數據與非平衡數據下的分類混淆矩陣如表1所示。

準確率計算公式為TP/(TP+FP)，召回率計算公式為TP/(TP+FN)，式中TP表示真正例，FP表示假正例，FN表示假反例。根據平衡數據與非平衡數據下的分類混淆矩陣，可得到平衡數據與非平衡數據下的準確率與召回率。由表1平衡數據中的結果可知使用均衡的數據集對模型的訓練有所幫助，此時使用和積網絡模型、卷積神經網絡模型進行雜草識別的準確率均在96%以上。本文方法較傳統和積網絡方法LearnSPN的平均分類準確率提高了2.8個百分點，平均召回率提高了2.9個百分點；較卷積神經網絡的平均分類準確率提高了0.4個百分點，平均召回率提升了0.5個百分點?？梢钥吹轿锤倪M的傳統和積網絡其識別效果低于傳統神經網絡，主要是由于其冗余的節點分支對識別精度有一定影響。誤分類的圖片主要由于個別圖像質量差、陰影、采集時不同類別重疊等問題導致。其中闊葉型雜草和大豆苗容易誤分，某些圖像由于以上原因及植物本身特點，即使人眼也很難完全正確分類。而土壤類別的識別準確率高于其他3種植物類別，主要由于它在顏色空間中的特征值與其他類別差異較大。

表1 不同模型算法下平衡數據與非平衡數據的分類混淆矩陣與分析結果

由表1使用15 000張非平衡數據的試驗結果可知，在非平衡數據中輕量和積網絡的平均分類準確率為99.6%，較平衡數據下的平均分類準確率提高了0.1個百分點，較傳統和積網絡提高了1.2個百分點。2組數據中的平均識別準確率均達到了99.5%。本文方法在4 500張數據時識別準確率已趨于飽和，說明模型對訓練樣本數的要求較少。在非平衡數據中傳統和積網絡的平均分類準確率為98.4%，相對于平衡數據提高了1.7個百分點。平均召回率為98.6%，提高了1.9個百分點。說明增加訓練樣本，對于和積網絡的識別效果有所幫助。卷積神經網絡在非平衡數據中的平均分類準確率和平均召回率為99.5%，較平衡數據均提高了0.4個百分點?？梢钥吹接柧殧祿^大時，所有方法的識別準確率均有上升，但對于非平衡數據，卷積神經網絡更容易受到有更多數據的類的影響，相比于其他類別更為敏感，如在闊葉型雜草出現的現象，易誤分為訓練樣本較多的類別，這種情況同樣出現在和積網絡中。

輕量和積網絡的每個內部節點在其作用域上均定義了一個概率分布，其內部節點可看作特征提取器。為了將提取到的特征進行可視化，使用文獻[30]中的方法自向下遍歷網絡，使每個葉結點根據自身的分布在實數集上生成一些觀測值，相對于原始RGB圖像，通過作用域函數對輸入空間編碼得到的大豆苗、禾本科雜草、闊葉型雜草及土壤的二值圖像和偽彩色圖像如圖7所示。

注：從左至右依次是大豆苗、禾本科雜草、闊葉型雜草和土壤。

2.2 模型性能分析

卷積神經網AlexNet[16]中輸入圖片大小為256×256×3，第一層卷積有96個11×11×3的卷積核，第二層有256個5×5×48的卷積核，第三層有384個3×3×256的卷積核，第四層有384個3×3×192的卷積核，第五層有256個3×3×192個卷積核。前2層全連接層含有4 096個節點，總參數量為61 011 208。和積網絡的參數量可通過節點計數器累加得到，采用多次訓練后的均值。2次試驗中輕量和積網絡的訓練時間、內存大小、參數量對比LearnSPN，卷積神經網絡AlexNet0性能結果分析表如表 2所示。

由表2可知，輕量和積網絡模型的平均參數量在平衡數據下較傳統和積網絡減少了482 637，約66.70%。在非平衡數據下參數量減少了1 916 572，約66.67%。即2組試驗中輕量和積網絡的平均參數量為傳統和積網絡參數量的33%。內存占用在最大時較傳統和積網絡減小了549 M，較卷積神經網絡減小了1 072 M。和積網絡的結構隨著輸入數據的不斷增加，其深度逐步加深，網絡結構不固定。而卷積神經網絡的結構固定，其參數量與輸入圖片尺寸，卷積核大小、個數等有關，與輸入數據量無關。對于15 000張的數據，輕量和積網絡的參數量仍遠小于卷積神經網絡，說明輕量和積網絡仍適用于較大數據。

此外，使用輕量和積網絡作為雜草識別模型，在平衡數據下的平均訓練時間較傳統和積網絡減少了282.15 s，在非平衡數據下減少了688.79 s。因為小批量的學習方式只需經數據的一次傳遞，因此對于較大數據集，其學習速率高于批量學習。因和積網絡緊湊的網絡結構，使其在內存占用和訓練時間上均優于卷積神經網絡。

表2 不同模型算法的性能結果分析

3 結論與討論

本文以大豆苗中常見禾本科雜草和闊葉型雜草為研究對象，提出了一種基于輕量和積網絡的雜草識別模型。模型首先使用均值聚類作為低層特征提取器，然后將提取的特征下采樣，再將采樣特征以小批量數據作為輸入訓練輕量和積網絡。在結構學習中，當積節點作用域內的變量個數小于一定閾值時，合并積節點為多元葉節點，否則將積節點重組為和積混合結構，并采用一定方式對邊緣冗余節點和子樹進行裁剪，這樣有效降低了模型的參數量和復雜度，且提出以貝葉斯矩匹配的方法更新網絡參數，使得模型對小樣本學習的效率更高。在雜草識別中，由網絡內部節點學習輸入特征的聯合概率分布，由根結點輸出特征所屬類別的概率。對不同類別的雜草，依據識別結果可供無人機選擇噴施特定農藥。試驗結果表明，針對大豆苗、禾本科雜草和闊葉型雜草以及土壤的小樣本數據，該模型的平均識別準確率達到了99.5%，參數量僅為傳統和積網絡的33%，且遠小于卷積神經網絡，模型占用內存最大時減小了549 M，訓練時間最多減小了688.79 s，更適用于無人機等小型嵌入式設備。此外，該模型在訓練時間上也具有明顯優勢。

本文不足之處在于前期對于無人機圖像獲取的數據需要多步處理，數據集本身依賴于人工分類，部分圖像有不同類別重疊，在提取特征時對此類圖像的誤分類會增大。但通過調整分類閾值，整體識別準確率可達到預期效果。后續可為深入研究輕量和積網絡模型在復雜環境中的雜草識別提供參考。

[1] Zhu Jinwen, Wang Jian, Ditommaso A, et al. Weed research status, challenges, and opportunities in China[J]. Crop Protection, 2018: S0261219418300255.

[2] Herrera P, Dorado J, Ribeiro á. A novel approach for weed type classification based on shape descriptors and a fuzzy decision-making method[J]. Sensors, 2014, 14(8): 15304－15324.

[3] 毛文華，王一鳴，張小超，等. 基于機器視覺的田間雜草識別技術研究進展[J]. 農業工程學報，2004，20(5)：43－46. Mao Wenhua, Wang Yiming, Zhang Xiaochao, et al. Research advances of weed identification technology using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 43－46. (in Chinese with English abstract)

[4] Ip R H L, Ang L M, Seng K P, et al. Big data and machine learning for crop protection[J]. Computers & Electronics in Agriculture, 2018, 151: 376－383.

[5] 趙川源，何東健，喬永亮. 基于多光譜圖像和數據挖掘的多特征雜草識別方法[J]. 農業工程學報，2013，29(2)：192－198. Zhao Chuanyuan, He Dongjian, Qiao Yongliang. Identification method of multi-feature weed based on multi-spectral images and data mining[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 192－198. (in Chinese with English abstract)

[6] 黃玉祥，楊青. 精細農業的環境效應[J]. 農業工程學報，2009，25(增刊2)：250－254. Huang Yuxiang, Yang Qing. Impact of precision agriculture on environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(Supp. 2): 250－254. (in Chinese with English abstract)

[7] Torressánchez J, Lópezgranados F, Castro A I D. Configuration and specifications of an unmanned aerial vehicle (UAV) for early site specific weed management[J]. Plos One, 2013, 8(3): e58210.

[8] Castro A I D, Jurado-Expósito M, López-Granados F. Airborne multi-spectral imagery for mapping cruciferous weeds in cereal and legume crops[J]. Precision Agriculture, 2012, 13(3): 302－321.

[9] Ishida T, Kurihara J, Viray F A, et al. A novel approach for vegetation classification using UAV-based hyperspectral imaging[J]. Computers & Electronics in Agriculture, 2018, 144: 80－85.

[10] Barrero O, Perdomo S A . RGB and multispectral UAV image fusion for gramineae weed detection in rice fields[J]. Precision Agriculture, 2018, 19(5): 809－822.

[11] Du M, Noguchi N. Monitoring of wheat growth status and mapping of wheat yield’s within-field spatial variations using color images acquired from UAV-camera system[J]. Remote Sensing, 2017, 9(3): 289.

[12] 李先鋒，朱偉興，紀濱，等. 基于圖像處理和蟻群優化的形狀特征選擇與雜草識別[J]. 農業工程學報，2010，26(10)：178－182. Li Xianfeng, Zhu Weixing, Ji Bin, et al. Shape feature selection and weed recognition based on image processing and ant colony optimization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 178－182. (in Chinese with English abstract)

[13] 毛罕平，胡波，張艷誠，等. 雜草識別中顏色特征和閾值分割算法的優化[J]. 農業工程學報，2007，23(9)：154－158. Mao Hanping, Hu Bo, Zhang Yancheng, et al. Optimization of color index and threshold segmentation in weed recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(9): 154－158(in Chinese with English abstract)

[14] 曹晶晶，王一鳴，毛文華，等. 基于紋理和位置特征的麥田雜草識別方法[J]. 農業機械學報，2007，38(4)：107－110. Cao Jingjing, Wang Yiming, Mao Wenhua, et al. Weed detection method in wheat field based on texture and position features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(4): 107－110. (in Chinese with English abstract)

[15] Potena C, Nardi D, Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture[C]//International Conference on Intelligent Autonomous Systems. Springer, Cham, 2011: 105－121.

[16] Dos A, Ferreira S, Matte D, et al. Weed detection in soybean crops using convnets[J]. Computers & Electronics in Agriculture, 2017, 143: 314－324.

[17] 王璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J]. 農業工程學報，2018，34(5)：144－151. Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144－151. (in Chinese with English abstract)

[18] Li Huiming, Fan Xitian, Li Jiao, et al. A high performance FPGA-based accelerator for large-scale convolutional neural networks[C]// International Conference on Field Programmable Logic & Applications. IEEE, 2016: 1－9.

[19] Poon H, Domingos P. Sum-product networks: A new deep architecture[J]. Research Gate, 2012, 21(5): 689－690.

[20] Rathke F, Desana M, Schn?rr C. Locally adaptive probabilistic models for global segmentation of pathological OCT scans[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2017: 177－184.

[21] Sguerra B M, Cozman F G. Image classification using sum-product networks for autonomous flight of micro aerial vehicles[C]//2016 5th Brazilian Conference on Intelligent Systems (BRACIS). IEEE, 2016: 139－144.

[22] Amer M R, Todorovic S. Sum Product Networks for Activity Recognition[M]. IEEE Computer Society, 2016.

[23] Peharz R, Kapeller G, Mowlaee P, et al. Modeling speech with sum-product networks: application to bandwidth extension[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2014: 3699－3703.

[24] Butz C J, Santos A E D, Oliveira J S, et al. Efficient examination of soil bacteria using probabilistic graphical models[C]// International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems. Springer, Cham, 2018: 315－326.

[25] Gens R, Domingos P. Learning the structure of sum-product networks[C]// International Conference on Machine Learning. ICML, 2013: 873－880.

[26] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274－2282.

[27] Coates A , Ng A Y . Learning feature representations with K-means[J]. Lecture Notes in Computer Science, 2012, 7700: 561－580.

[28] Coates A, Ng A, Lee H. An analysis of single-layer networks in unsupervised feature learning[C]//Proceedings of the fourteenth International Conference on Artificial Intelligence and Statistics. ICAISC, 2011: 215－223.

[29] Peharz R, Tschiatschek S, Pernkopf F, et al. On theoretical properties of sum-product networks[J]. Journal of Machine Learning Research, 2015,5: 744－752.

[30] Vergari A, Mauro N D, Esposito F. Visualizing and understanding sum-product networks[J]. Machine Learning, 2018,7: 1－23.

[31] Gens R, Domingos P. Discriminative learning of sum-product networks[C]//Advances in Neural Information Processing Systems. NIPS, 2012: 3239－3247.

[32] Zhao Han, Adel T, Gordon G, et al. Collapsed variational inference for sum-product networks[C]// International Conference on International Conference on Machine Learning. JMLR. org, 2016: 1310－1318.

[33] Rooshenas A , Lowd D . Learning sum-product networks with direct and indirect variable interactions[C]// International Conference on International Conference on Machine Learning. JMLR. org, 2014: 710－718.

[34] Adel T, Balduzzi D, Ghodsi A. Learning the structure of sum-product networks via an SVD-based algorithm[C]// Conference on Uncertainty in Artificial Intelligence. UAI, 2015: 32－41.

[35] Molina A, Vergari A, Di Mauro N, et al. Mixed sum-product networks: A deep architecture for hybrid domains[C]// Proceedings of the AAAI Conference on Artificial Intelligence. AAAI, 2018: 3828－3835.

[36] Vergari A, Mauro N D, Esposito F. Simplifying, regularizing and strengthening sum-product network structure learning[C]// Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham, 2015: 343－358.

[37] Kodinariya T M, Makwana P R. Review on determining number of cluster in K-means clustering[J]. International Journal, 2013, 1(6): 90－95.

[38] Anandkumar A, Hsu D, Kakade S M. A method of moments for mixture models and hidden markov models [C]//Conference on Learning Theory. COLT, 2012: 33. 1－33. 34.

[39] Minka T, Lafferty J. Expectation-propagation for the generative aspect model[C]//Proceedings of the Eighteenth conference on Uncertainty in artificial intelligence. Morgan Kaufmann Publishers Inc. , 2002: 352－359.

Soybean field weed recognition based on light sum-product networks and UAV remote sensing images

Wang Shengsheng1, Wang Shun2, Zhang Hang2, Wen Changji3

(1.,,130012,; 2.,,130012,; 3.,,130118,)

In weed control, using unmanned aerial vehicle (UAV) to obtain images, spraying specific pesticides according to different weed communities is an effective means of prevention and control. Sum-product networks is suitable for small embedded devices such as UAV. But it has many parameters, long training time, and more redundant nodes and subtrees in the image classification task, so that the recognition accuracy is not high. In response to these problems, this paper improved the learning process of traditional sum-product networks and used a mini-batch learning method to construct a network model through one pass of data. Its lightweight structure required less hardware resources and was more suitable for small embedded devices such as drones. It had reference significance for the subsequent spraying of pesticides by drones. For the input image, the light sum-product networks weed recognition model first used-means clustering as the low-level feature extractor to obtain the feature dictionary, then downsampled the extracted features, and took the sampling features into mini-batches of data as input to train the light sum-product networks.Each category corresponds to an independent network structure, and the high-level features were extracted by internal nodes in the network structure. The probability values of the corresponding categories were output by the root nodes to identify weeds. The network structure was updated by comparing the correlation coefficients between variables. Bayesian moment matching was used to update the network parameters. To simplify the structure, when a product node had only one child, it was removed from the network, and its child nodes were connected to its parent node. Similarly, if a sum node was the last node of another sum node, then the child node was deleted and all its child nodes were promoted one layer up. This effectively reduced redundant edge branches and made the model structure lighter. Using this method, the average classification accuracy of soybean seedlings, grass weeds, broadleaf weeds and soils in UAV images was 99.5%, and the average sensitivity was 99.6%. And the model parameter quantity was only 33% of the traditional sum-product networks. The parameter quantity would increase with the input of the data flow. The amount of parameters was still much smaller than traditional convolutional neural networks AlexNet when using the larger data sets to construct the light sum-product networks. It showed that the model was suitable for larger data sets. The memory usage was reduced by 549 M compared to the traditional sum-product networks and was reduced by 1 072 M compared to the convolutional neural networks. The maximum average training time was reduced by 688.79 s compared to the traditional sum-product networks, which was much less than the convolutional neural networks. The experimental results showed that using the light sum-product network as the weed recognition model, the model parameters were less, the memory requirements were lower, and the training time was shorter without loss of precision. The shortcoming was that the data acquired by the UAV image in the previous stage needed to be processed in multiple steps. The data set itself relied on manual classification. Some images had different categories of overlap, and the misclassification of such images would increase when the features were extracted. However, by adjusting the classification threshold, the overall classification can achieve the desired results. The research can provide a reference for the use of light sum-product networks in weed recognition of UAV spraying pesticides.

unmanned aerial vehicle; remote sensing; recognition; sum-product networks; structure learning; parameter learning; weed

2018-11-14

2019-02-11

吉林省科技發展計劃項目（20190302117GX,20180101334JC, 20180101041JC）；吉林省教育廳科研規劃重點課題（2016186）

王生生，教授，博士生導師，主要從事機器視覺、農業信息化方面的研究。Email：wss@jlu.edu.cn

10.11975/j.issn.1002-6819.2019.06.010

TP391.41

A

1002-6819(2019)-06-0081-09

王生生，王 順，張 航，溫長吉. 基于輕量和積網絡及無人機遙感圖像的大豆田雜草識別[J]. 農業工程學報，2019，35(6)：81－89. doi：10.11975/j.issn.1002-6819.2019.06.010 http://www.tcsae.org

Wang Shengsheng, Wang Shun, Zhang Hang, Wen Changji. Soybean field weed recognition based on light sum-product networks and UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 81－89. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.06.010 http://www.tcsae.org