基于無人機圖像的多尺度感知麥穗計數方法

孫 俊，楊鍇鋒，羅元秋，沈繼鋒，武小紅，錢 磊

（江蘇大學電氣信息工程學院，鎮江 212000）

0 引 言

小麥是世界上播種面積最大、產量最多、分布最廣的糧食作物[1]，2021 年世界小麥使用量達到7.54 億t[2]。然而，受人口增長、需求增加和氣候變化等因素的影響，相關部門需要準確決策以確保小麥作物的可持續生產[3]。小麥的生產對中國以及世界各地的作物生產[4]、糧食價格[5]和糧食安全[6-7]等產生了重大影響，因此，快速、準確產量估計對于小麥管理、貿易和政府決策至關重要。

小麥產量預估主要由單位面積穗數、單穗粒數和千粒質量3 個參數決定[8]，傳統產量預估主要通過農業部門根據經驗進行目測估產或者隨機選取大田區域進行人工采樣、計數、稱質量統計來完成[9]，前者準確率低，易受個人經驗影響，后者則工作量巨大，費時費力。

當前，隨著傳感器與計算機技術的發展[10]，對農作物成熟前進行估產的方法層出不窮。針對超大面積農田估產，相關研究主要通過宏觀數據，例如氣候變化[11-12]、空氣中氮氧含量[13]、衛星遙感葉面積指數等進行估產[14-15]。Cao 等[16]比較了傳統的機器學習方法和深度學習模型，通過整合谷歌地球引擎平臺內的氣候、衛星、土壤特性和空間信息數據對小麥進行產量預估，建立模型的決定系數R2達到了0.90。宏觀數據雖然可以快速對大范圍農作物進行估產，但數據的收集、變化都極易受外界因素影響，產量預估準確率不能保證。近年來，隨著視覺技術的發展，通過近景圖像進行目標計數的方法層出不窮。深度學習中計數方法可以分為以下三類：基于目標檢測、圖像分割和密度圖計數的方法。基于檢測的目標計數方法使用Faster R-CNN[17]、Yolo[18]、SSD[19]等算法通過檢測到目標區域生成多個位置框，進而統計出目標的數量。Madec等[20]使用Faster R-CNN 對240 張高空間分辨率小麥RGB圖像進行計數，最終預測方程R2達到0.91，線性擬合效果較好。文獻[21]通過卷積神經網絡結合梯度下降法與非極大值抑制構建冬小麥麥穗檢測計數系統。對 100 幅冬小麥圖像進行麥穗計數測試，采用決定系數和歸一化均方根誤差（Normalized Root Mean Square Error，NRMSE）進行正確率定量評價，最終R2與NRMSE 分別達到0.62、11.73%，精度有待進一步提高。謝元澄等[22]通過引入特征金字塔及在線負樣本挖掘技術構建 FCS R-CNN 網絡對麥穗進行檢測，檢測精度達到92.9%。Wang 等[23]針對小麥遮擋問題，提出了一種隨機切割方法，根據圖像中的小麥數量和大小選擇和刪除一些矩形框，模擬真實小麥圖像的遮擋。采用卷積塊注意模塊（Convolutional Block Attention Module，CBAM）對無用的背景信息進行剔除，關注麥穗區域，提出的模型計數精度達到94%。使用目標檢測的方法對麥穗進行識別計數，雖然能直觀顯示每個麥穗的目標信息，但目標檢測算法對部分遮擋的麥穗識別效果差，因此上述研究的計數精度以及R2有待進一步提高。Ma 等[24]使用基于深度卷積神經網絡與像素級語義分割的全卷積網絡（Fully Convolutional Networks，FCN）結合的網絡模型，對冬小麥麥穗進行分割，分割精度達到了82.9%，且通過泛化測試驗證了所提出的兩階段分割方法的實用性。錢立冬[25]使用基于多尺度殘差U-net 分割網絡結合注意力子對抗網絡對小麥進行分割計數，實現了90.8%的召回率，展現了較好的分割計數性能。但基于分割的方法對重疊相互遮擋的目標識別效果較差，而基于密度圖計數的方法可以很好緩解這個問題。

MCNN（Multi-Column Convolutional Neural Network，MCNN）[26]與CSRnet[27]等方法在密集人群計數中展現了良好的計數性能，這些方法依賴于訓練回歸來估計圖像不同部分的目標密度，然后進行積分得到目標數量。考慮到麥田實拍麥穗分布密集，鮑文霞等[28]將基于密度圖的方法用在了麥穗計數上，并且在4 種不同品種小麥上，取得的平均絕對誤差達到了 16.23。劉航等[29]提出Resnet-16 模型，對全球小麥數據集實現端到端的麥穗密度圖回歸計數，引入矯正因子和膨脹因子后，模型的R2達到了0.973，計數準確率達到了94%。基于密度圖方法對麥穗計數展現了良好的性能，但是還存在部分不足，如模型的泛化能力未得到驗證，精度有待進一步提升。

相關研究表明，小麥估產可以通過對大區域宏觀數據建模，以及對近景圖片使用深度學習的方法進行計數。但宏觀數據收集難度較大，易受到外界因素干擾。深度學習的方法雖然準確率高，但其需要大量的圖像以及標注，圖像采集與標注過程費時費力，因此目前基于深度學習的麥穗計數研究中，大部分自建的數據集[20-21,28]圖像數量少于300 張，且部分研究對小麥品種進行劃分，單獨評估某一品種小麥計數準確性指標。使用過小的數據量與單一固定品種的麥穗圖像容易造成訓練的模型泛化能力太弱，陷入局部最優[30]。因此現階段研究無法建立通用的麥穗計數模型，不能很好地用于不區分品種的小麥計數。考慮到現存問題，本研究使用全球收集的小麥圖像，通過圖像濾波以增強對無人機麥穗圖像的泛化能力，另外通過改進CSRnet 網絡結構，將前端網絡增加三個卷積層，以提取小麥更深層的特征，另外將特征提取網絡插入4 種不同尺度的上下文語義信息提取模塊，最終融合兩部分信息提取小麥特征，構建 Wheat Ear Counting 網絡（WECnet），對麥穗進行準確計數。為了驗證模型的泛化能力，本文除了在原有的全球小麥數據集進行測試驗證其評估指標外，還通過使用無人機獲取的實拍小麥圖像驗證，其與訓練集來源完全不同，用于確保模型的可移植性。

1 材料與方法

1.1 數據來源與處理

1.1.1 數據來源與劃分

為了獲取足夠多樣且有代表性的小麥圖像，避免因小麥圖像特征單一，導致訓練模型泛化能力弱的問題，本文使用的麥穗圖像來源于全球小麥檢測數據集（GWHD，http://www.global-wheat.com）。選擇GWHD圖像中5 個國家的小麥數據集，不同國家圖像采集與麥穗特征如表1 所示。

表1 不同國家麥穗圖像特征Table 1 Image features of wheat ears in different countries

小麥種植的行間距從15～30.5 cm 不等，每平方米種植150～450 粒種子不等，包含多種基因型，小麥生長階段在開花期與成熟期之間，所使用相機焦距在10～60 mm不等，相機與地面的距離在1.8～2.9 m 之間，俯視拍攝，圖像大小統一為1 024×1 024 像素。本文選取GWHD 數據集中的1 000 幅圖像，累計包含47 573 個麥穗。此1 000幅圖像按照8∶1∶1 劃分為訓練集、測試集、驗證集。驗證集參與網絡訓練，對當前訓練模型的超參數進行對比尋優；測試集不參與訓練，僅通過評價指標驗證模型的泛化效果。

另外，為了更好驗證模型的泛化能力，本文還通過無人機獲取田間實拍小麥圖像進行驗證。圖像采集區域位于江蘇江陰市（31°51′N，120°29′E）以及安徽淮南市（32°28′N，117°2′E）兩處農田。數據采集時間分別在2021年5 月4 日16：00 和5 月10 日10：00，此時小麥正處于灌漿期。選用的無人機鏡頭型號為DJI-FC1102，光圈大小為f/2.6，曝光時間自動。原始圖像分辨率為3 968×2 976 像素，考慮到網絡輸入尺寸限制，將圖像調整到1 209×907 像素。鏡頭距離麥穗上部0.5～1.2 m，俯視拍攝，拍攝細節如圖1 所示。為了避免太陽劇烈照射影響成像效果，拍攝時天氣情況為多云，并且剔除模糊和畸變嚴重的圖像，最終篩選出46 幅符合要求的圖像，經人工統計麥穗數目總和為3 780 穗。

1.1.2 數據標注與人工計數

本文對GWHD 數據集中的訓練集與驗證集進行麥穗點標注，使用shanghaitech 數據集標注格式，通過matlab人工標注圖片中的麥穗中心坐標點與麥穗總數。另外，本文對GWHD 數據集中劃分的測試集（Test_A）與無人機拍攝的圖像（Test_B）進行人工計數，通過使用序號筆工具與多人共同統計數量取平均值以保證計數的準確性，保存每幅圖像中麥穗數量。麥穗細節與數據集劃分標注流程如圖2 所示。

1.1.3 數據增強

深度學習需要數以百萬計的大量參數，足夠充足的數據才能使這些參數更具有代表性，但實際情況中獲取足量數據存在難度。在麥穗計數中，實拍麥穗會因為成長階段、光照、拍攝狀態等不同造成麥穗狀態不一，難以獲取所有狀態的小麥圖像，因此需要對原始圖像進行數據增強。采用數據增強技術增加樣本多樣性是提升卷積神經網絡檢測精度和泛化能力最簡單有效的方法。隨機增加數據多樣性的方法包括旋轉、裁剪、鏡像等，針對性數據增強策略包括添加噪聲、改變對比度，濾波等。針對細節模糊的圖像樣本，加強圖像邊緣、保持真實度是圖像增強時關注的兩大要素[31]。數據增強的目的就是使有限數據集包含更多目標特征，更擬合現實場景。本研究使用公開的全球采集的小麥圖像，公開的圖像經過壓縮處理，圖像平均大小為180 kB，圖像質量較差，包含較多噪音[32]。經過添加多種噪聲與不同濾波卷積核試驗對比，發現對數據集進行濾波可以有效提升圖像的泛化能力。選擇的濾波器卷積核與濾波效果如圖3所示。小麥灌漿期麥穗與葉片顏色接近，濾波后有效突出了麥穗邊緣細節，提升了圖像質量。本文使用OpenCV 中的filter2D()函數，將線性濾波器應用于圖像，濾波函數為

式中 dst()為目標圖像，src()為原始圖像，k為卷積核（kernel），cols、rows 分別為卷積核的列數、行數，A表示內核的錨點（anchor）。

1.2 灌漿期小麥計數方法

1.2.1 WECnet 小麥計數模型網絡框架

CSRnet[27]人群計數模型網絡框架包括前端和后端網絡，前端網絡使用VGG16 的前10 層提取特征，后端網絡使用空洞卷積生成高質量的密度圖，此方法對密集人群計數展現了良好的性能。CSRnet 網絡主要識別人群頭部區域，頭部與其他部位顏色與紋理等信息區別較大，且頭部形狀單一，因此計數效果良好。而灌漿期麥穗與葉片顏色接近，且存在多種長寬比的麥穗，給網絡準確計數帶來挑戰。因此本研究使用VGG19 替代VGG16 以提取更深層特征，使用不同空洞率卷積替代固定空洞卷積，在融合多尺度特征的同時，可以保證網絡輸出較高分辨率的密度圖。在網絡中插入上下文語義信息提取模塊，使用不同大小感受野，關注麥穗上下文語義信息。WECnet 整體框架如圖4 所示。前端網絡由VGG19 的前12 層組成，對輸入固定大小的224×224 RGB 圖像進行3×3、步長為1 的卷積。在卷積第2、4、8 層后，使用大小為2×2、步長為2 的最大池化層，通過前端網絡提取麥穗的基本特征。將提取到的VGG特征通過平均池化操作，使其成為不同大小的核，1×1 卷積可以跨通道組合上下文特征而不改變它們的維度，由于輸出的特征圖只包含部分原始輸入值，因此需要上采樣到原始輸入值大小，獲取尺度特征。將尺度特征與VGG 特征進行融合，然后將其傳遞給后端網絡。后端網絡使用空洞卷積，在不減小感受野的情況下降低空間特征的損失，針對麥穗特征，對空洞率進行調整，前兩層使用普通卷積，3～6 層使用空洞率為2 與4 的空洞卷積，最后一層使用1×1 卷積進行輸出，生成高質量的密度圖，預測麥穗目標數量。

1.2.2 上下文語義信息提取

前端VGG網絡在整幅圖像上使用相同的感受野對圖像進行卷積，而麥穗大小尺度不一，長寬比例不同，VGG網絡提取的特征對麥穗計數存在局限，容易對較長的麥穗誤檢，影響計數精度。因此，在文中通過引入上下文語義信息提取模塊，通過將VGG19 前12 層提取的局部特征進行平均池化分為4 種不同大小的塊，然后對其進行上采樣，以返回原始特征圖大小形成對比度特征。對比度特征進一步用于學習不同尺度的權重，然后將其反饋至后端網絡，最終生成高質量的密度圖。上下文語義信息提取示意如圖5 所示。

1.2.3 標簽密度圖生成

在麥穗標注中，每個麥穗僅標注其中心點坐標（x,y）。實際上，麥穗不可能只由一個像素點代替，中心點附近的坐標也可以代表麥穗。若直接將麥穗中心點作為目標1，其他部位直接視為負樣本0，會對網絡的訓練帶來極大的干擾，影響模型擬合。因此，本文采用MCNN[26]中生成密度圖的方法，利用自適應高斯卷積核對麥穗標注形成標簽密度圖，距離中心點越近，激活值越大，這樣網絡能有方向地快速收斂到最優模型，密度生成函數為

式中di表示與第i個麥穗最相鄰的m個麥穗的平均距離，β為增益系數，本文中，m取3，β取0.3。xi表示標注中心點坐標，δ(x?xi)表示圖像包含的麥穗位置信息，G(x)為自適應高斯核函數。根據人工標注的坐標生成的麥穗密度可視化圖如圖6 所示。

1.2.4 田間小麥密度預測模型

田間小麥實拍面積大小計算方法如下：1）從無人機獲取的圖像信息中讀取無人機飛行的相對地面高度H，為了便于計算，本文使用無人機進行水平飛行，可視為高度H固定。2）測量小麥高度，同一品種相同生長狀態的小麥可視為同一高度，通過測量多株小麥麥穗高度取平均值獲取h。3）通過鏡頭與小麥距離，鏡頭的水平視場角計算圖像覆蓋的面積S。田間小麥密度模型可由麥穗計數模型預測的單幅圖像平均麥穗數量與圖像覆蓋面積計算。

式中S為拍攝圖像的實際面積，m2；H為無人機距離地面高度，m；h為麥穗高度，m；θ為無人機鏡頭的水平視場角，（°），ρear為平均麥穗密度，個/m2，Ni為第i幅圖像預測的麥穗數量，n為圖像數量。

1.3 模型訓練環境

本文使用端到端的方法訓練WECnet 網絡，前12 層由訓練良好的VGG19 進行微調，其他層進行標準偏差為0.01 的高斯初始化。所有模型均在Ubuntu 16.04 LTS 64位系統環境下運行，采用pytorch 深度學習框架。計算機硬件配置為32GB 內存，搭載 Intel? Core? i7-8700K CPU 和GTX1080Ti 11GB 顯卡。迭代次數為100 次，初始學習率設置為1×10-5，每30 次迭代學習率下降為原來的十分之一，動量（momentum）設置為 0.95，batch size設置為2。為了在訓練前期更有效利用信息，采用隨機梯度下降算法法（Stochastic Gradient Descent，SGD）優化訓練模型。訓練中損失函數的計算公式為

1.4 評價指標

深度學習的計數相關研究通常使用平均絕對誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Squared Error，RMSE）、決定系數（R2）作為模型評價指標。另外，對無人機圖像計數增加整體錯誤率（Error rate，Er）指標。MAE 為預測值與真實值的平均誤差，表示算法的準確性，MAE 越小，算法準確度越高；RMSE為預測值與真實值誤差的分散程度，代表算法的穩定性，RMSE 越小，算法的魯棒性越高；R2表示趨勢線擬合程度，它的數值大小可以反映麥穗計數的估計值與對應的實際數據之間的擬合程度，數值越接近1，擬合程度越高，趨勢線的可靠性就越高；Er 表示模型在整體測試集上預測麥穗計數結果的錯誤率，數值越小，整體誤差越小。

2 結果與分析

2.1 不同方法計數結果對比與分析

為了驗證WECnet 的性能，本文將WECnet 與其他4種經典、性能優異的方法進行對比，對比的方法分為兩類：目標檢測計數方法和密度圖計數方法。目標檢測算法使用矩形框標記目標的位置，結果更加直觀，但在目標檢測后處理過程中，單個目標物會應與多個預測目標輸出，因此在對正樣本的選擇中，網絡容易對密集、遮擋嚴重的目標漏檢，影響計數效果。計數整體性能不如密度圖方法。目標檢測計數方法中，YOLO V5 為單階段算法，其基于整張圖片信息進行預測，因此速度較快，平均單幅圖像檢測僅需18 ms，但其通過長寬比篩選并過濾了大小和長寬比較極端的真實目標框，對部分麥穗未成功檢測，影響計數性能。FPN[33]為兩階段算法，使用滑窗式的檢測窗口，基于局部圖片信息進行推理，速度較慢，平均單幅圖像檢測需60 ms，算法定位準確率較高，在麥穗數據集上MAE 到達了6.77。在密度圖計數方法中，MCNN 使用多列分別訓練，其參數計算量過大，并不能高效地預測不同大小的目標，并且難以訓練，單幅圖像計數耗時72 ms。CSRnet 采用易于訓練的端到端方法，通過空洞卷積擴展感受野，用于人群計數和高質量密度圖生成，單幅圖像計數耗時28 ms。WECnet 由于增加了網絡層數與語義信息提取結構，速度相較CSRnet 有所減慢，單幅圖像計數耗時32 ms，提升精度的同時速度依然可以滿足實際應用需求。不同方法對比結果如表2 所示。

表2 不同方法評估結果Table 2 Evaluation results of different methods

為了直觀展示檢測結果，本文將5 種方法計數結果進行可視化展示，如圖7 所示。其中，圖像1、2 包含麥穗數量的人工計數結果為49、64。檢測算法使用矩形框標記目標的位置，結果更加直觀，但在目標檢測后處理過程中，單個目標物會應與多個預測目標輸出，因此對正樣本的選擇中網絡容易對密集、遮擋嚴重的目標漏檢，影響計數效果，計數結果小于真實值。密度圖方法直接進行回歸計數，計數準確率相對較高。由于MCNN 與CSRnet 網絡針對人群計數，將近似圓形的頭部視為關鍵區域，未考慮小麥存在不同長寬比例的情況，過于狹長的麥穗被重復計數，造成部分圖像計數值高于真實值的情況，而本文網絡WECnet 進行改進，很好地避免了重復計數，并且加深網絡層次，提取更深層次特征，取得了最優的計數效果。

2.2 不同網絡結構對比與分析

WECnet 在原始人群計數網絡CSRnet 的基礎上添加了上下文語義信息提取模塊，另外在前端特征提取網絡將原有的VGG16 更換為VGG19，后端網絡對固定空洞率的卷積替換為多種空洞率的卷積。為了驗證改進的網絡結構在麥穗計數中提升性能的能力，對不同網絡結構的測試結果如表3 所示。

表3 不同網絡結構計數性能比較Table 3 Comparison of counting performance of different network structures

表3 中，模型1 單獨加入上下文語義信息提取模塊，提取小麥尺度信息，模型2 單獨使用多種空洞率的卷積，模型4 單獨使用更深的VGG19 前端網絡提取特征，更深的結構提取了更多麥穗特征。分別單獨使用語義信息提取、多空洞率的卷積或VGG19 改進后，模型計數性能都有所上升，模型取得最優的R2、RMSE 與MAE 達到0.92、6.65 與5.12。

模型3 使用多空洞率卷積與語義信息提取模塊，模型5 使用VGG19 與語義信息提取模塊，模型6 使用VGG19 與多空洞率卷積。采用兩種優化方式結合，計數性能得到進一步提升，模型取得最優的R2、RMSE 與MAE達到0.93、6.31 與4.92。最終，使用VGG19 作為前端網絡、插入上下文語義信息提取模塊以及使用多種空洞率的后端網絡構建的WECnet 達到了最優的性能，其線性擬合R2達到0.95，RMSE 降低至6.1，MAE 降低至4.78，均為所有模型評價指標的最優值，相較于原始的人群計數網絡，R2、RMSE 與MAE 性能分別提升4.4%、13.2%、9.8%，可以準確對麥穗進行計數。

2.3 無人機實拍圖像計數結果分析

在改進的計數網絡上，本文對無人機拍攝的小麥圖像使用原始計數網絡及改進網絡進行麥穗數量預測，同時與人工計數真實值進行比較，結果如圖8 所示。

總體來說，改進后的4 種網絡都可以較準確的對無人機獲取的圖像進行麥穗計數，R2均能達到0.85 以上，線性擬合線可以有效反映預測值與真實值的關系。具體來看，原始人群計數網絡CSRnet 的R2達到了0.87，擬合程度較高，但是大部分圖像預測麥穗數量大于真實數量，整體計數錯誤率較高，錯誤率5.49%。通過數據增強和改進網絡，降低了整體計數錯誤率。在本文的WECnet上，使用數據增強計數對46 幅圖像總計3 880 個麥穗的計數結果為3 871，錯誤率僅為0.23%，性能最優。因此，本文方法訓練的模型可以有效用于田間實拍的麥穗圖像計數中，對無人機獲取的小麥圖像可以進行準確的麥穗計數，進而對小麥的密度進行預估以實現精準的小麥估產。

3 結 論

本研究在人群計數網絡CSRnet 的基礎上，通過改進構建WECnet 網絡對無人機采集圖像中麥穗進行計數。為了獲得可遷移的麥穗計數模型，選用全球5 個國家的1 000 幅不同品種小麥圖像以保證麥穗多樣性，并對訓練集圖像進行線性濾波增強。在WECnet 網絡前端，通過使用VGG19 的前12 層進行特征提取，同時與上下文語義特征進行融合，充分提取麥穗的特征信息，后端網絡使用多空洞率卷積在融合多尺度特征的同時，保持網絡輸出較高分辨率的密度圖。為了驗證模型的可遷移性，本研究通過訓練好的模型對無人機獲取的麥田圖像進行計數。研究結論如下：

1）在全球小麥數據集上，本文訓練的模型決定系數、均方根誤差與平均絕對誤差達到了0.95、6.1、4.78，相較原始的人群計數網絡，計數準確率得到提升。

2）在無人機拍攝圖像計數中，決定系數達到了0.886，整體錯誤率僅為0.23%，平均單幅圖像計數時間為32 ms，計數速度與精度都表現優異。

通過本文構建的普適田間小麥密度預測模型，可以為無人機獲取的小麥圖像進行麥田估產提供數據參考。