基于改進Faster R-CNN的田間植株幼苗檢測方法

陳旭君　王承祥　孫?！堩槨≈斓氯×尉?/p>

摘要：為了準確檢測田間植株幼苗，以實現植株幼苗的精準噴藥施肥，提出了一種基于改進FasterR-CNN的植株幼苗檢測方法。以FasterR-CNN結構為基礎設計植株幼苗檢測網絡，將ResNet50網絡作為共享卷積層，并將Dropout層引入到FastR-CNN網絡的全連接層之間，用月季苗圖像對網絡進行訓練生成模型。結果表明，改進的FasterR-CNN模型對月季苗的檢測準確度可達96.5%，召回率達到95.35%，而且對其他種類植株幼苗如玫瑰和番茄幼苗也具有良好的檢測能力。改進的網絡模型的泛化能力強，收斂速度快，有助于自動化植保機械的研發。

關鍵詞：精準農業;植株幼苗檢測;卷積神經網絡;FasterR-CNN;過擬合

中圖分類號：S126文獻標志碼：A

文章編號：1002-1302（2021）04-0159-05

作者簡介：陳旭君（1999—），男，湖北大冶人，主要從事深度學習與自動化研究。E-mail：chenxujun173@163.com。

通信作者：廖娟（1986—），安徽安慶人，博士，講師，主要從事圖像分析和視覺導航研究。E-mail：liaojuan308@163.com。

隨著精準農業的發展以及人們對于食品安全和環境污染問題越來越重視，精準農業成為植保領域的一個重要研究方向[1-2]，自然環境下快速準確的植株幼苗識別對實現農藥精準噴施具有重要意義。然而復雜的背景環境如光照變化[3]、天氣[4]、雜草[5]等影響著植株幼苗的準確識別。

近年來，計算機視覺技術在自然環境下幼苗識別方面的研究和應用得到廣泛開展[6]。García-Santillán等在分割植物與土壤背景后，利用Otsu自動閾值分割法區分麥苗和雜草[7]。Liao等基于秧苗顏色與背景顏色的差異性，構建光照不變超綠特征因子，采用自適應閾值分割出綠色秧苗[8]。但這些方式都是通過提取目標特定圖像特征或結合傳統分類算法來區分綠色作物和雜草，其特淺層征如顏色、紋理等通常是由人工選取標定，易受人為因素干擾，在性能提升和表征作物的特定信息方面具有局限性，從而對識別準確性產生不利影響。

相比傳統方法，深度卷積網絡能從大量數據中自動學習并提取特征，對圖像具有極強的表征能力，廣泛應用于農業領域[9-10]。張善文等構建了一種深度卷積網絡模型，從彩色病害葉片圖像中提取高層次的抽象特征，并在輸出層進行黃瓜病害識別，正確識別率高于90.32%[11]。Dias等提出了一種基于深度卷積神經網絡的蘋果花識別方法，其召回率和精確率都在90%以上[12]。王振等采用卷積神經網絡對黃瓜葉部病斑圖像進行預訓練得到網絡模型訓練的初步參數，然后將預訓練結果輸入到全卷積神經網絡中進行模型二階訓練，經SVM分類器進行實現分割，平均像素分割準確率為80.46%[13]。Abdullahi等將深度卷積神經網絡用于對玉米圖像的檢測和分類，其檢測平均精度達到了99.58%[14]。

為了實現田間植株幼苗的準確檢測，本研究以FasterR-CNN[15]為基礎，提出一種改進FasterR-CNN的田間植株幼苗檢測方法，利用卷積神經網絡在目標檢測方面的自學習能力和泛化能力，使網絡可以精準檢測月季幼苗，同時使網絡對多種植株幼苗的檢測具有普適性。

1材料與方法

1.1圖像采集

植株幼苗圖像均采集于安徽農業大學農萃園內試驗田，采集時間為2019年10月6—20日08：00—11：00、13：00—17：00，采集設備為圖1-a所示的跨壟式智能小車，小車安裝樹莓派USB免驅攝像頭，距離水平地面高度為30cm，由RaspberryPi3B+開發板進行控制，采集的圖像如圖1-b所示，圖像分辨率為640×480像素，格式為JPEG。

1.2數據集構建

對不同的試驗田采集月季苗圖像共650張，測試集250張，訓練集400張。由于戶外場景的復雜性，須對數據集進行數據增強處理，以增加樣本的多樣性。以圖1-b月季苗圖像為例，進行6種數據增強操作如圖2-a～f所示。其中，圖像亮度和飽和度分別增強為原來的1.3倍和減弱為原來的0.7倍，添加噪聲為0.05的椒鹽噪聲和均值為0.1、方差為0.01的高斯噪聲，訓練集圖像經增強后共為2800張。

為加快神經網絡收斂速度，首先將圖像縮小為448×448像素，然后對訓練集的月季苗目標進行人工標注。另外分別采用250株玫瑰苗、番茄苗、枸杞幼苗和鳳仙花苗圖像測試網絡模型的泛化能力。

1.3FasterR-CNN的網絡結構

1.3.1共享卷積層共享卷積層對輸入的特征圖進行初步的特征提取，將提取出的特征圖用于RPN網絡和FastR-CNN網絡共享。FasterR-CNN網絡常采用VGG16網絡[16]作為共享卷積網絡，將輸入的原始特征圖映射為一個512維的特征圖，減少網絡反向傳播的訓練參數。

1.3.2RPN網絡RPN網絡結構如圖3所示，其輸入為卷積特征圖，以大小為w×h的低維特征圖中每個像素為中心，生成k個3×3的錨框，則每張特征圖共生成w×h×k個錨框，由后面連接的回歸層和分類層對生成的錨框進行回歸分析和分類處理。回歸層選出可能包含目標的目標建議區域，分類層對每個目標建議區域進行得分判斷，最后將生成的結果進行參數化設置，將得分高的目標建議區域輸入到FastR-CNN的感興趣區域池化層。

RPN網絡采用端到端的訓練方式，訓練中網絡通過反向傳播計算每一層的損失函數值，根據損失函數值的大小不斷更新網絡權值。損失函數值越小，模型的魯棒性越好，損失函數如式（1）所示。

1.3.3FastR-CNN模型RPN將生成的建議區域輸入到FastR-CNN的ROI池化層，降低特征圖分辨率，減少訓練參數，加快神經網絡的收斂速度。然后將參數輸入2個全連接層，最后使用回歸分析選定目標框，并使用Softmax分類器進行分類，輸出預測目標框和目標框中可能是正確目標的概率。

1.4FasterR-CNN的改進

增加共享卷積層的深度可以提高網絡的檢測精度，但同時會造成信號在網絡中的傳播時間變長，信息的損耗和誤差也會更多，因此，本研究采用ResNet網絡[17]作為共享卷積網絡。ResNet模型在淺層網絡上添加恒等映射，由x經恒等變換傳輸到輸出層，只用訓練輸入與輸出的殘差，避免了網絡深度的增加造成退化問題。三層的殘差學習單元結構如圖4所示，x是殘差輸入，H（x）是輸出，網絡學習的殘差函數為F（x）=H（x）-x，1×1和3×3的小卷積核比傳統大卷積核減少了訓練參數。

[FK（W12][TPCXJ4.tif;S+2mm][FK）]

常用的三層殘差單元有ResNet50、ResNet101和ResNet152，為了選取合適共享卷積層，采用月季苗訓練集訓練上述3個網絡模型，以網絡的精確度、檢測時間和訓練時長作為評價指標，比較結果如表1所示。由表1可知，網絡深度的增加能提高識別精度，但也會增加訓練參數，降低收斂速度和檢測速度。為增加網絡深度，提高特征提取準確度，同時保證網絡收斂速度，選擇ResNet50網絡作為RPN和FastR-CNN的共享卷積層。

訓練深度卷積神經網絡時，經常會出現過擬合現象，為了提高網絡的泛化能力，在FasterR-CNN的全連接層中引入Dropout層，隱藏部分神經元。Dropout設置為0.5，同時將網絡權值乘以0.5以保持輸入數據和輸出數據的穩定。改進的FasterR-CNN如圖5所示。

2結果與分析

試驗設備為臺式計算機，CPU為Corei7-8700k，GPU為NvidiaRTX2070，內存32G，存儲為500GB固態硬盤和1TB機械硬盤，設備操作系統為windows10（64位），編程軟件為Matlab2019a。訓練過程分為4步：先訓練RPN網絡，根據RPN輸出的目標建議區域對FastR-CNN網絡進行訓練，再根據FastR-CNN的參數訓練RPN網絡，FastR-CNN根據參數更新后的RPN網絡再次進行訓練，最后將RPN網絡和FastR-CNN網絡進行統一。在每一步的訓練過程中，設置學習回合數為15，并采用隨機梯度下降算法優化網絡，其中訓練的第1步和第2步設置初始學習率為1×10-5，第3步和第4步的初始學習率設置為1×10-6。

為了驗證本文FasterR-CNN對田間植株幼苗檢測效果，以準確率（precision，P）和召回率（recall，R）作為模型性能評價指標，用來度量模型的優劣，P值和R值計算如下：

P=檢測正確[]檢測正確+檢測誤以為正確×100%;

R=檢測正確[]檢測正確+檢測誤以為錯誤×100%。

試驗中采用基于VGG16和ResNet50作為共享卷積層的FasterR-CNN模型分別對月季花進行目標檢測，表2所示為2種不同特征提取網絡的FasterR-CNN檢測結果的準確率和召回率。由表可知，基于ResNet50作為共享卷積層的FasterR-CNN模型在準確率和召回率2項指標上表現出優良性能，其對月季苗檢測準確率達到96.50%，召回率達到95.35%，明顯優于VGG16網絡。另外，在相同的設備和參數設置下，以VGG16為基礎網絡的FasterR-CNN網絡訓練時間長達22h，而改進的FasterR-CNN模型訓練時間縮短了4h。在檢測速度上，基于VGG16網絡的FasterR-CNN平均檢測時間為0.312s/f，而殘差結構不會增加訓練參數，還能激發深層網絡的收斂性能，其平均檢測時間為0.281s/f，比VGG16網絡檢測速度快了0.031s/f。

另外使用改進的網絡模型對與月季花具有較高相似度的植株幼苗包括玫瑰幼苗、番茄幼苗、枸杞幼苗和鳳仙花苗進行檢測，以驗證網絡的泛化能力，檢測結果如圖6所示。從圖6可見，以月季苗為樣本訓練好的模型對其他植株幼苗也具有良好的檢測效果。

對于量化網絡的泛化能力，表3給出了改進前后FasterR-CNN以及LeNet5和AlexNet網絡對玫瑰幼苗、番茄幼苗、枸杞幼苗和鳳仙花苗的檢測準確率和召回率?？梢?，網絡深度的增加會增強網絡的泛化能力，提高對多種植株幼苗的識別精度，而增加了候選框的FasterR-CNN在檢測精度上相比LeNet5和AlexNet網絡有了很大的提升，改進的FasterR-CNN使用了更深度的ResNet50網絡并引入了Dropout層，使網絡的檢測精度和泛化能力有更進一步的提升。網絡對玫瑰幼苗、番茄幼苗、枸杞幼苗的檢測精度隨著網絡深度的增加均有較大提高，而鳳仙花苗的檢測精度卻提高較少，主要是因為訓練集的月季花苗葉片較小，而鳳仙花整體葉片較大，當網絡深度增加時，訓練網絡模型對非小葉片植株的檢測敏感度不足，導致檢測精度沒有較大提升。由表2和表3的數據可以證明，網絡的改進提高了網絡模型的泛化能力，加快了網絡的收斂速度，對多種植株的檢測具有普適性。

3結論

本研究提出了一種基于改進FasterR-CNN的植株幼苗檢測方法，通過采用ResNet50網絡作為共享卷積層提取特征，在FasterR-CNN模型中增加Dropout層，加快了網絡的收斂速度，同時也增強了網絡的泛化能力。經驗證，改進的FasterR-CNN在針對月季苗、玫瑰苗、番茄幼苗和枸杞幼苗的識別上具有較高的識別精度，可以初步應用于植株幼苗的精準檢測定位。本研究有助于推動自動化施肥機或者灑藥機的研發，降低農藥和化肥在農業生產中的使用量，保護環境和農產品安全。

本研究將可以進一步進行建模，設計算法尋找網絡模型與網絡泛化能力的關系，并不斷改進網絡結構，提高網絡的泛化能力和收斂速度，通過較少數據集的訓練，使網絡模型對于一般的植株幼苗檢測具有普適性。

參考文獻：

[1]鄧向武，齊龍，馬旭，等.基于多特征融合和深度置信網絡的稻田苗期雜草識別[J].農業工程學報，2018，34（14）：165-172.

[2]趙常，耿愛軍，張姬，等.水肥藥精準管理技術研究現狀與發展趨勢[J].中國農機化學報，2018，39（11）：28-33.

[3]孫俊，何小飛，譚文軍，等.空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[J].農業工程學報，2018，34（11）：159-165.

[4]BonadiesS，GadsdenSA.Anoverviewofautonomouscroprownavigationstrategiesforunmannedgroundvehicles[J].EngineeringinAgriculture，EnvironmentandFood，2019，12（1）：24-31.

[5]張樂，金秀，傅雷揚，等.基于FasterR-CNN深度網絡的油菜田間雜草識別方法[J].激光與光電子學進展，2020，57（2）：297-305.

[6]楊斯，黃鋁文，張馨.機器視覺在設施育苗作物生長監測中的研究與應用[J].江蘇農業科學，2019，47（6）：179-187.

[7]García-SantillánID，MontalvoM，GuerreroJM，etal.Automaticdetectionofcurvedandstraightcroprowsfromimagesinmaizefields[J].BiosystemsEngineering，2017，156：61-79.

[8]LiaoJ，WangY，YinJN，etal.SegmentationofriceseedlingsusingtheYCrCbcolorspaceandanimprovedOtsumethod[J].Agronomy，2018，8（11）：1-16.

[9]KamilarisA，Prenafeta-BoldúFX.Deeplearninginagriculture：asurvey[J].ComputersandElectronicsinAgriculture，2018，147：70-90.

[10]甘騏榕，蘇芳，練坤玉，等.改進LeNet-5模型在大米分選算法上的應用[J].安徽農業大學學報，2019，46（3）：549-553.

[11]張善文，謝澤奇，張晴晴.卷積神經網絡在黃瓜葉部病害識別中的應用[J].江蘇農業學報，2018，34（1）：56-61.

[12]DiasPA，TabbA，MedeirosH.Appleflowerdetectionusingdeepconvolutionalnetworks[J].ComputersinIndustry，2018，99：17-28.

[13]王振，張善文，王獻鋒.基于改進全卷積神經網絡的黃瓜葉部病斑分割方法[J].江蘇農業學報，2019，35（5）：1054-1060.

[14]AbdullahiHS，SheriffRE，MahieddineF.Convolutionneuralnetworkinprecisionagricultureforplantimagerecognitionandclassification[C]//2017SeventhInternationalConferenceonInnovativeComputingTechnology（INTECH），2017：1-3.

[15]RenSQ，HeKM，GirshickR，etal.FasterR-CNN：towardsreal-timeobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2017，39（6）：1137-1149.

[16]HammadI，El-SankaryK.ImpactofapproximatemultipliersonVGGdeeplearningnetwork[J].IEEEAccess，2018，6：60438-60444.

[17]HeKM，ZhangXY，RenSQ，etal.Deepresiduallearningforimagerecognition[C]//2016IEEEConferenceonComputerVisionandPatternRecognition（CVPR），2016：770-778.