基于機器學習的中耕期甘蔗幼苗識別定位*

李威，李尚平，潘家楓，李凱華，閆昱曉

(1.廣西民族大學人工智能學院，南寧市，530006；2.廣西大學機械工程學院，南寧市，530004)

0 引言

甘蔗作為我國熱帶及亞熱帶地區重要的糖料作物和經濟作物，種植面積占常年糖料種植面積85%以上，產糖量占食糖總量的90%以上[1]，而廣西是我國最主要的甘蔗種植基地[2]。由于甘蔗前期種植管理作業季節短、自動化程度低，所以近年來國內研制的甘蔗中耕培土機械仍采用機械調整模式，中耕培土作業以人工操作為主、作業質量不穩定且效率較低。甘蔗是熱帶、亞熱帶的高稈作物，受到自然環境的影響，易出現倒伏現象，因此培土過程是甘蔗前期種植中最重要的工序之一，可以促進甘蔗根部的分蘗和生長從而防止倒伏，因不培土或培土不到位造成兩側壟出現“火山口”現象，導致甘蔗基部形成凹面，穩定性較差。同時倒伏現象對甘蔗機械化收割不利，易造成破頭率增加，影響甘蔗宿根發芽，增加甘蔗的含雜率，造成蔗農的損失并降低糖廠的抽出率[3]。培土量的不適宜是培土過程中面臨的難題，當供土量過多，培土高度過高會導致蔗苗被壓倒，反之又會造成培土起不到相應的作用而引起倒伏。因此中耕培土的“火山口”現象問題成為制約甘蔗生產的主要因素之一，急需解決。

由于目前改進甘蔗中耕培土機的方式仍然采用傳統的機械改良方法，對于中耕培土機智能化的應用還很缺乏。中耕培土機按照開溝培土工作部件劃分，主要有犁鏟式、螺旋式和圓盤式等結構[4]。如3ZSP-2型甘蔗中耕施肥培土機[5]，在機架與培土犁的位置安裝調節裝置，通過調整培土犁的深淺來控制培土高度和培土行距，在培土犁上安裝對應的調整螺栓，通過調整培土犁從而改變培土后壟的寬度。呂美巧等[6]研究設計圓盤式V型深溝起壟開溝刀，運動的輪軸輸入動力，由十字萬向節傳動來帶動圓盤刀座旋轉，開出V型溝渠，偏置斜轉刀盤能有效提高拋土刀的線速度及翻土、碎土、拋土的能力，在徑向上增加了開溝深度。陳曉[7]研制的3ZP-0.8型甘蔗中耕培土機，采用正反轉可調的旋耕滾刀裝置，可正反轉復式作業，具有良好的松土、碎土性能和拌合能力。雖然通過以上機械改良，中耕培土的作業質量和作業效率得到了顯著地進步，但仍未能有效解決“火山口”的問題，同時甘蔗中耕培土機功能單一、機械種類繁多導致各個機型適應性不同，難以一機多用[8]。而我國甘蔗種植行距一般為0.7～1 m，廣西部分地區會達到1.2～1.8 m，甘蔗種植行距的差異成為制約甘蔗機械化收獲產量提高的主要因素之一[9]。因此中耕培土的幅寬應根據實際的甘蔗種植行間距確定，耕幅過寬會傷害到甘蔗幼苗及蔗根，過窄則會出現漏耕的情況。

在機器學習中，卷積神經網絡[10-12]是一種前饋人工神經網絡，已經廣泛用于數據處理、圖像類文本的識別[13]和醫學圖像[14-15]以及視頻類數據識別[16]中，結合實際生活，例如道路探測[17]、天氣預測[18]、人臉識別[19-20]和口罩佩戴檢測[21]等，卷積神經網絡的識別和分類功能都發揮了極大的作用。目前在農業領域，卷積神經網絡廣泛應用于農作物的病蟲害識別[22]、定位識別[23]、果實識別[24]等，為卷積神經網絡對中耕期甘蔗幼苗特征的識別提供參考。

本文提出一種基于機器學習的中耕期甘蔗幼苗識別定位和坐標分類計算方法，首先采用YOLOv4卷積神經網絡建立中耕期甘蔗幼苗識別網絡模型，對甘蔗的根部與土壤接觸的局部區域進行識別定位和坐標獲取，利用支持向量機將網絡模型識別獲取的坐標分類成兩組數據，對應左右兩壟的甘蔗植株，然后分別對每組坐標進行計算處理，實時得到兩壟的傾斜值，最后通過傾斜值調整后犁及擋土板等設備，改變供土方向和供土量，從而提高培土的智能化、機械化，進一步解決由于甘蔗種植壟距的多變性引起的甘蔗培土的質量問題和機器種類復雜化產生的適應性問題，從而提高中耕培土的作業質量、作業效率，促進甘蔗生產的增產增收。

1 甘蔗智能中耕培土機的整機結構與工作原理

本課題組設計的甘蔗智能中耕培土機的主要結構如圖1所示，由整壟輥、施肥裝置、機架、控土組件、旋耕組件和培土裝置六個部位組成。該甘蔗智能中耕培土機作業時的行駛速度為0.8～1.2 km/h，控土組件提前翻扣雜草殘茬，發動機的動力通過變速齒輪箱傳動到旋耕組件齒輪箱，帶動左右旋耕刀轉動，打碎泥土和雜草殘渣，在培土裝置的作用下，碎土向兩側拋撒到甘蔗的根部，整壟輥負責壓實根部的碎土，同時肥料通過施肥裝置排入兩側并被拋出的泥土覆蓋，從而完成對甘蔗的施肥中耕培土作業。

圖1 甘蔗智能中耕培土機結構圖Fig.1 Structure diagram of the sugarcane intelligent field tillage machine1.培土裝置 2.整壟輥 3.施肥裝置 4.機架 5.控土組件 6.旋耕組件

根據中耕期甘蔗幼苗的培土需求，需要在較大范圍的種植區域對左右兩壟的甘蔗植株進行快速識別定位并計算壟中心位置的偏移程度，以便于及時對后犁等相關部件控制調整。

2 中耕期甘蔗幼苗識別模型

2.1 YOLOv4目標檢測算法

YOLO[25]將對象檢測框架作為回歸問題，通過單個神經網絡預測包圍盒和類概率，實現直接對檢測性能進行端到端的優化，完成對物體位置和類別的檢測識別。相對于先產生候選區域再檢測物體的策略，YOLO把候選區階段和檢測階段合為一體，在實現快速識別目標的情況下仍然維持了較高的識別精度，從而可以滿足動態檢測多目標且較為復雜的中耕培土場景下完成對目標的識別。

YOLOv4[26]是Alexey Bochkovskiy等于2020年提出的基于YOLOv3[27]改進的目標識別定位算法，YOLOv4相對于YOLOv3增加了許多小技巧，比如Mosaic數據增強、學習率余弦退火衰減等策略豐富數據集、減少GPU并完善了訓練過程，YOLOv4雖然增加了網絡的復雜度，但仍然維持與YOLOv3相同的每秒幀數傳輸個數。

檢測過程：首先通過K×K個網格對輸入圖像進行劃分，每個網格生成M個邊界框，共計K×K×M個邊界框，然后含有目標的網格需要對圖片中的目標預測概率值、位置和置信度，所以這個網格的輸出值為M個邊界框的坐標、寬高、目標的置信度和預測概率值即共計N×(4+1+1)個值。YOLOv4的網絡結構其主干特征提取網絡為CSPDarkNet53網絡，CSPnet網絡結構是構建主干特征提取網絡的核心，它將殘差塊的堆疊進行拆分，其中一部分作為主干部分進行殘差塊堆疊，另一部分作為一個大的殘差邊，將基礎層的特征映射經過少量處理直接與主干部分進行特征矩陣相加，在減少計算量的同時保證準確率。

圖2 網絡模型結構圖Fig.2 Network model structure diagram

在主干網絡輸出層前添加SPP模塊等作為neck部分可以極大增加感受野，對主干特征提取網絡生成的最底層有效特征層進行3次卷積后，分別利用4個不同尺度的最大池化核進行最大池化處理，然后對池化處理后的4個特征層進行拼接，采用特征金字塔網絡對SPP模塊處理后的特征層和主干特征提取網絡生成的其他兩個有效特征層進行反復上采樣和下采樣操作，實現特征的反復提取和融合。輸出層的錨框機制和YOLOv3相同，應用在網絡中的不同尺度特征圖。

2.2 改進的YOLOv4中耕期甘蔗幼苗識別模型

YOLOv4的損失函數由檢測回歸損失，置信度損失，分類損失三部分組成，其中置信度損失和分類損失采用交叉熵函數計算。本文的網絡模型通過不同尺度的邊界框和特征圖計算損失函數，用于檢測大小不同的中耕期甘蔗幼苗，目標損失函數如式(1)所示。

Loss=LCiou+LConf+LCla

(1)

式中：LCiou——檢測回歸損失；

LConf——置信度損失；

LCla——分類損失；

Iou——候選框覆蓋范圍與標記框覆蓋范圍的交并比；

d——預測框、真實框中心點歐氏距離；

c——預測框、真實框最小包絡框的對角線距離；

α、λnoobj——權重系數；

v——衡量長寬比一致性的參數；

K——劃分的網格數；

Ci——第i個網格中存在甘蔗植株的預測置信度；

g——類別；

pi(g)——第i個網格中某個類別的樣本概率；

其中α、v計算公式分別如式(2)、式(3)所示。

(2)

(3)

式中：wgt、hgt——真實框的寬、高；

w、h——預測框的寬、高。

根據實際需要，對中耕期甘蔗幼苗的識別檢測為二分類任務，只有正例與負例，且二者的概率和為1，所以針對分類損失函數進行簡化，如式(4)所示。

(4)

式中：pi(o)——第i個網格中為甘蔗植株的樣本概率；

3 中耕期甘蔗幼苗識別試驗

3.1 目標特征分析

本次研究對象為廣西大學扶綏亞熱帶農牧產業協同創新基地的新植蔗株如圖3所示。

圖3 創新基地新植蔗株Fig.3 New sugarcane plants in the innovation base

中耕期甘蔗幼苗主要由根、莖、葉三部分組成，植株高度為40～50 cm，種植行距為1.2～1.4 m，需培土厚度為8～13 cm。雖然甘蔗的表面特征與土壤顏色具有明顯差異性，但是其幾何形狀具有一定不規則性，因此在經過多次標定試驗后，選取甘蔗根部與土壤接觸的局部位置作為特征標記和特征識別區域。

3.2 圖像采集與數據預處理

針對處于中耕期的甘蔗幼苗進行圖片采集，采樣方式為將攝像頭擺放在拖拉機距離地面約90 cm的高度，沿著中耕培土機的行駛路徑進行視頻錄制，視頻分辨率為1 920像素×1 080像素，幀速率為120 fps，介于地形地貌的差異性，本次素材的采集在多個不同的甘蔗種植區域進行，每塊區域的錄制時長約60 s，共計約300 s。使用Adobe Premiere軟件對錄制的視頻按幀截取圖片并保存，篩選出450張圖片通過Labelimg可視化圖片標注工具對目標進行標記，將目標添加同一類標簽并生成標記文件，按比例生成模型訓練所需的訓練集、驗證集與測試集，其中250張作為訓練集，50張作為驗證集，150張作為測試集。訓練集、驗證集和數據集圖片分辨率為416像素×416像素。

3.3 試驗平臺

本次試驗的操作系統為Windows 10，處理器為AMD Ryzen5 3600 6-Core Processor，主頻為3.60 GHz，動態加速頻率可達4.20 GHz，顯卡采用NVIDIA GeForce RTX 2070s，使用CUDA Toolkit和Cudnn神經加速器進行加速訓練。在Spyder上使用python編程語言編寫程序并調用Pytorch等框架，訓練參數設置如下，批處理個數為6，學習率設置為0.001，選擇Step模式更新學習率。

3.4 評價指標

在目標檢測領域中，對于檢測效果可以通過準確率P，召回率R和P-R曲線下的面積AP，即平均準確率進行評估。具體計算如式(5)～式(7)所示。

(5)

(6)

(7)

式中：TP——被正確分類的正樣本，即預測框和真實框之間的置信度大于規定閾值的樣本；

FP——被分配為正樣本的負樣本，即預測框和真實框的置信度小于規定的閾值的樣本；

FP——被分配為負樣本的正樣本；

N——測試集中所有圖片的個數。

4 蔗壟定位的試驗數據處理

根據甘蔗中耕培土的實際需求，為了能夠判斷中耕培土機左右兩壟甘蔗植株的總體排列方向以及兩壟中心位置的偏移程度，通過YOLOv4網絡模型對甘蔗植株進行預測，獲取目標預測框下端邊界的中間點坐標作為一株甘蔗植株的坐標信息。為了對兩壟甘蔗植株坐標數據分別計算處理，先利用支持向量機將坐標根據壟的類別進行分類，共分成兩組坐標數據，分別對應左、右兩壟甘蔗植株的位置，再計算出左右兩壟的傾斜值并傳遞給后續設備，為甘蔗中耕培土機解決“火山口”問題做出前期工作。

4.1 坐標分類

在機器學習領域，SVM(Support Vector Machine)，即支持向量機，是一個有監督的學習模型，通常用來進行分類以及回歸分析。原理是通過內積函數定義的非線性變換將輸入空間變換到一個高維空間，然后在這個空間中求最優分類面[28]。SVM的分類性能受到諸多因素影響，其中兩個因素較為關鍵[29]：(1)誤差懲罰參數C；(2)核函數形式及其參數。

本次從YOLOv4網絡模型預測的坐標數據中篩選出100組用于分類試驗，其中訓練集60組，測試集40組。分類試驗選擇線性核函數，設置誤差懲罰參數從10到100，對訓練集和測試集的準確率進行統計，結果如圖4所示。最終當誤差懲罰參數C為11～13時，訓練集準確率達到95.6%，測試集準確率達到92.60%，此時效果最佳。誤差懲罰參數為80以后出現過擬合現象，準確率明顯降低。

圖4 誤差懲罰參數對準確率的影響Fig.4 Influence of error penalty parameters on accuracy

4.2 壟距定位的數據計算

由于預測框的預測順序與甘蔗植株的實際排列順序具有差異性，并且可能存在偏差較大的預測坐標，例如獲取了被誤識別為目標的其他區域的坐標，所以讀取分類后的左右兩壟坐標數據，對每組數據分別按以下步驟進行計算斜率。

1)分別以第1，2，3…m株甘蔗植株與土壤接觸點的坐標為基準，計算該坐標與其他坐標斜率的絕對值如式(8)所示，共得到m組斜率數據，每組數據舍棄最大值和最小值，計算余下斜率的平均值，得到斜率的平均值k1，k2，k3…km。

(8)

式中：ki——斜率；

m——基準坐標的個數；

xi、xj——第i、j株的橫坐標；

yi、yj——第i、j株的縱坐標。

2)計算k1，k2，k3…km的標準差S，若S>1，則說明k1，k2，k3…km的離散程度較大，所以以中值M作為最終傾斜值；若0≤S≤1，則取平均值Ka為最終傾斜值，如式(9)所示。

(9)

式中：L——傾斜值；

M——斜率的中值；

S——斜率的標準差；

Ka——平均斜率。

其中S和Ka的計算公式如式(10)、式(11)所示。

(10)

(11)

5 試驗結果分析

5.1 識別模型性能分析

將處理后的數據集輸入網絡中進行迭代訓練，訓練完成后，使用可視化工具讀取最新的Pytorch日志文件，呈現當前程序運行的最新狀態，得到訓練集損失函數下降曲線如圖5所示，從圖中曲線可以得出，當模型在經過少量迭代次數訓練時，訓練損失快速下降，在經過500次迭代后，訓練損失下降放緩，1 000次迭代后，訓練損失值穩定在50左右，說明已經出現過擬合現象。當損失值取得最小值時，以此時的權值文件作為網絡最終的訓練結果即最優權值文件，然后在YOLOv4網絡模型中加載最優權值文件對測試集圖片進行識別測試，結合本次識別目標，使用TP表示正確檢測到的甘蔗植株，FP表示檢測到其他物體誤判斷為甘蔗植株，FN表示沒有檢測到的甘蔗植株。共測試3組圖片，其中每組圖片由測試集中隨機選取的100張圖片組成，圖片包含不同光線下的目標。置信度閾值設置為0.5時，3組模型性能試驗平均值結果：TP為1 096，FP為217，FN為196，準確率為83.47%，召回率為84.83%，每幅圖片平均識別時間為0.21 s。

圖5 中耕期甘蔗幼苗識別損失函數曲線Fig.5 Recognition loss function curve of sugarcane seedlings in intertillage period

5.2 識別試驗測試結果分析

對3組測試集進行試驗后，結果如圖6(a)所示，測試圖片中灰色矩形框內為網絡模型標記的甘蔗植株的位置，白色矩形框內為甘蔗植株由于分蘗產生的多個標記結果重疊的區域或偏移程度較大的目標，白色斜線的矩形框內為網絡模型預測錯誤的甘蔗植株的位置。

(a)模型測試結果

在實際甘蔗中耕培土過程的應用中，拍攝設備實時拍攝出圖像后，運用識別網絡模型對中耕培土機左右兩壟中耕期甘蔗幼苗進行識別定位和坐標獲取，根據實際需要，調整置信度閾值以減少其他區域被誤識別的現象，從而提高識別準確率P。根據多次測試，閾值設置為0.7時，雖然識別出的甘蔗植株數量由1 096減少至763，召回率由84.43%下降至59.06%，但準確率由83.47%提升到95.50%，此時所采集的樣本圖片的平均識別株數為18，每幅圖片平均識別時間為0.20 s，在保證了有足夠目標坐標數據的前提下，減少了數據分類以及計算處理的工作量，提升了處理效率和數據計算的準確率，結果如圖6(b)所示。置信度閾值調整前后的評估數據對比如表1所示。

表1 置信度閾值調整前后評估數據對比Tab.1 Comparison of evaluation data before and after the confidence threshold adjustment

5.3 蔗壟的定位試驗結果分析

將識別網絡模型獲取的甘蔗植株的坐標數據輸入分類模型中進行分類，每幅圖像中數據的平均分類時間約為2 ms，完成分類后的部分坐標如表2所示。左側壟的甘蔗植株坐標順序對應樣本圖片中左側壟的左下方至右上方的順序，橫坐標逐漸增加，縱坐標逐漸降低；右側壟的甘蔗植株坐標順序對應樣本圖片中右側壟的左上方至右下方的順序，橫坐標逐漸增加，縱坐標也逐漸增加。經過壟距定位的數據計算，左側壟的傾斜值為1.27，右側壟的傾斜值為0.92。對多張樣本圖片重復進行識別試驗與蔗壟的定位試驗，最終獲得傾斜值的范圍為0.7～1.4，將傾斜值輸入后續設備，設備根據傾斜值的大小進行調整從而改變供土方向和供土量。

表2 分類后的部分坐標Tab.2 Part of the coordinates after classification

6 結論

本文提出了基于機器學習的中耕期甘蔗幼苗識別定位和坐標分類計算方法，結合甘蔗中耕培土問題的實際需要，針對甘蔗中耕培土機左右兩壟甘蔗植株存在培土不到位的情況，即“火山口”現象，通過YOLOv4網絡建立識別網絡模型，調整YOLOv4預測網絡的置信度閾值對中耕期甘蔗幼苗根部和土壤接觸的局部區域進行識別定位和坐標獲取，然后運用支持向量機將坐標數據根據左右兩壟分成兩組，并分別對每組坐標數據進行計算處理，實時得到兩組坐標數據的傾斜量，后續設備根據傾斜量的數值大小進行調整，以改變供土量和供土方向。

1)通過試驗測試表明，基于YOLOv4網絡模型的中耕期甘蔗幼苗識別模型對每幅測試圖片的平均識別時間滿足甘蔗智能中耕培土機作業時0.8～1.2 km/h的行駛速度，YOLOv4目標檢測算法可以應用于實際的甘蔗中耕培土過程中，實現中耕期甘蔗幼苗快速準確的識別和定位。當根據需求調整YOLOv4預測網絡的置信度閾值為0.7時，準確率可達到95.50%，所采集的樣本圖片的平均識別株數約為18，平均識別時間約為0.20 s，在保證有足夠甘蔗植株坐標信息的前提下，減少了數據分類以及計算的工作量，提升了處理效率和數據計算的準確率。

2)經過分類測試試驗，基于支持向量機對YOLOv4網絡模型識別獲取的坐標數據分類準確率為92.60%，每幅圖像中數據的平均分類時間約為2 ms，表明可以快速準確地對中耕期甘蔗幼苗的坐標信息進行分類，滿足判斷實際空間分布的計算需要。

3)經過對每組坐標數據的計算處理，傾斜值的范圍為0.7～1.4，根據識別、計算獲得的斜率值參數，對后犁、擋泥板等部件進行實時調整，改變供土方向和供土量，為開發智能甘蔗中耕培土機、解決甘蔗中耕的“火山口”問題提供理論與技術基礎。