一種改進的少樣本農作物目標識別算法研究

張瑞森 萬興鴻 高昕

摘? 要：為解決在農田無人巡檢過程中農作物目標智能識別的問題，將Cycle-GAN網絡與Faster RCNN網絡相結合構成了一種新的能支持少樣本學習的網絡模型，其中Cycle-GAN網絡被用于提供數據增強。文中主要闡述了該網絡的結構，并且對玉米、花生與豆子三種作物的種植地在不同的天氣條件下進行了測試，對不同農作物的最優和最差識別率分別是96.53%和96.25%。實驗證明，通過兩者的結合能夠提供更好更快的農作物識別和檢測，新的少樣本農作物目標識別模型具有較好的魯棒性。

關鍵詞：少樣本學習;農作物識別;數據增強;魯棒性

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：2096-1472（2022）-01-10-04

Abstract： In order to solve the problem of crop object intelligent detection in the process of unmanned farmland patrol inspection， this paper proposes a new network model that can support few-shot learning by combining Cycle-GAN network and Faster RCNN network. The Cycle-GAN network is used for data enhancement. The paper mainly explains the structure of the proposed network， and tests the planting areas of corn， peanuts and beans under different weather conditions. The best and worst detection rates for different crops under different weather conditions are 96.53% and 96.25%. Practice has proved that a combination of the two can provide better and faster crop identification and detection， and the new few-shot crop object detection model has better robustness.

Keywords： few-shot learning; crop detection; data enhancement; robustness

1? ?引言（Introduction）

農田無人巡檢是一項保護可用耕地、實施基本農田保護措施的重要工作，可延伸至農作物病蟲害防治、農作物產量綜合預測、除草機器人智能除草等方面。而在農田無人巡檢過程中，首先要解決的重要問題是農作物目標的智能識別。

國內常采用的無人巡檢技術主要基于無人機飛控平臺，且多用于電力巡檢[1]、安保巡檢[2]和能源巡檢[3]。同時，無人機巡檢還用于精準快速巡查秸稈禁燒工作[4]及農田植保工作[5]。但是，國內外少有使用陸基平臺開展農田無人巡檢的案例。

在早期的研究中，吳健宇[6]提出了將多種經典的卷積神經網絡相結合的思想，搭建了一種新的可應用于農作物病蟲害防治的識別算法。而陳小幫[7]則重點研究了基于深度學習在航拍農作物圖像中的識別問題，實驗表明能將農作物識別準確率提高到98%。但是，大多數農作物目標識別算法的研究還基于大樣本條件下的監督學習策略，且少有在不同農作物與天氣條件下的比較研究。因此，進行能夠在小樣本情況下仍然適用的農作物目標識別算法的研究顯得十分迫切。

基于上述原因，本文提出了一種融合Faster RCNN網絡與Cycle-GAN網絡的少樣本目標識別算法，實驗時通過機器人陸基移動平臺搭載攝像頭在實際的種植地形中進行連續采樣，實時進行田間農作物的識別和檢測工作。該方法具有識別率高、識別速度快、能在多種天氣條件下魯棒工作的特點。

2 網絡模型的建立（Establishment of network model）

當今被用于圖像識別的深度卷積神經網絡有GoogLeNet[8]、Faster RCNN[9-10]、Mask RCNN[11-12]等。對農作物的識別在一定程度上可以采用這些圖像識別的技術與方法，但它們普遍都面臨小樣本情形下識別率不高的困境。為了尋找克服這樣的共性問題的方法，本文采用的是將循環一致性生成對抗網絡（Cycle-GAN）置于Faster RCNN網絡的前端形成的新網絡，簡稱CCG Faster RCNN網絡。

2.1? ?循環一致性生成對抗網絡

到現在為止，圖像生成領域最常使用的是生成對抗網絡（GAN），用它來做數據增強可以解決小數據集樣本量稀缺的問題。該數據增強的實現是利用GAN[13]網絡的生成網絡與判別網絡之間的動態博弈，以尋求得到一個最優的生成式模型，用于產生更多的圖片來滿足目標識別的需求。但它存在著需要配對訓練對象以及可能出現所有的x都映射到y空間的同一張圖片使損失無效的問題。

Cycle-GAN網絡作為一個在GAN網絡的基礎上衍生出來的模型，它不需要特意地配對訓練圖像。在文獻[14]中分別設置了一個對抗損失函數和，

其中：

式中，D為判別器;為真實圖像的分布;為服從關系;為期望。此外，還定義了循環一致損失函數解決損失無效的問題，如公式（2）所示：

式中，表示范數。由此，該網絡總的目標優化函數如公式（3）所示。其中為公式（2）在總的目標優化函數即公式（3）中所占的權重。在文中采取Cycle-GAN網絡增強數據。

2.2? ?快速區域卷積神經網絡

Faster RCNN網絡于2015 年被提出，它在假設目標位置時采用深度網絡計算建議框以解決建議框在檢測系統中計算瓶頸的問題，通常使用VGG16等經典卷積網絡作為主干網，用于提取特征圖。由于殘差網絡（ResNet）[15]通過對輸入輸出的差別部分進行學習，保證了信息的完整性，同時內部殘差塊跳躍連接，緩解了增加網絡深度帶來的梯度消失現象，因此本文使用的主干網絡改變為ResNet101，其主要流程如圖1所示。

2.3? ?CCG Faster RCNN網絡

CCG Faster RCNN網絡中將Cycle-GAN網絡即CCG部分用于增加輸入Faster RCNN網絡的樣本數量，而后者則用于訓練農作物識別模型。文中新提出的目標檢測網絡的主體結構如圖2所示，所采用的卷積網絡結構為Convolution-Pooling-InstanceNorm-ReLU-Fully connected，其中Faster RCNN部分相關重要的參數如表1所示。

圖3為CCG部分中的生成器模型細節[16]，由2 組卷積層、9 層殘差塊和2 組轉置卷積層構成。在圖3每層網絡下方的介紹中，字母C表示卷積層，R表示殘差塊，Tc表示轉置卷積層;字母后緊跟著的數字表示卷積核的大小，s-x、p-x、nck-x分別表示步長、補零、卷積核數目為x，例如C3s-2p-1nck-64表示卷積核大小為3×3、步長為2、補零為1、卷積核數目為64的卷積層。對于判別器則是采用5 組卷積層。

從圖2中可以發現，初始圖像先由路徑①輸入生成器中，經卷積層、殘差層和轉置卷積層的運算后得到生成圖像，再從路徑②與自動生成的圖像一起進入判別器中，通過判別后的生成圖像能進入下一層網絡的條件是應滿足生成圖像為真實圖像的概率不大于20%。其中由CCG部分生成的典型圖像如圖4所示。

下一層網絡即Faster RCNN網絡，將生成圖像與樣本圖像沿著圖2中的路徑③輸入，在該網絡中完成對模型的訓練。該方法的有效性在于能有效利用少量的典型樣本通過CCG進行圖形增強的輸出，將生成的圖像與原始的樣本圖像結合輸入訓練網絡中實現對樣本的訓練，用來解決初始樣本不足的問題。

3? ?模型訓練（Model training）

3.1? ?數據集采集

本文采取由基于AGV的麥克納姆輪機器人移動平臺搭載攝像頭在實際的種植地形中進行連續采樣，將采集的視頻樣本按照2 幀/秒的間隔進行取樣，其中攝像頭的幀率為25 幀/秒，經多次采集和篩選后僅取2，500 張作為網絡模型所需要的初始樣本集。考慮天氣因素對識別準確率的影響，文中采取在不同天氣下采集樣本實驗，并對其結果進行對比的方法，以檢驗在不同實際環境下的魯棒性。

3.2? ?實驗過程

本文采用MATLAB R2020b作為訓練平臺，整個網絡的訓練在GPU上完成，GPU的計算能力為5.0。在訓練集訓練的過程中，設置訓練輪數為20 輪，每輪迭代50 次，學習效率均為1×10-4。

在本次實驗中，采用1，000 張擴增圖像與初始樣本集合并構成本文的數據集，這個數據集整體分為三部分，即用于訓練的數據集、用于驗證的數據集和剩下的測試集，占總數據的比例分別為70%、20%、10%。將訓練集的圖像通過Image Labeler標注工具進行人工標注，隨后將訓練集中的圖片隨機不重復地送入Faster RCNN網絡中進行訓練。完成訓練后的網絡將對驗證集中的圖像全部進行檢驗，并隨機抽取測試集中的圖像進行驗證。

3.3? ?實驗結果

將該訓練好的模型分別對玉米、花生和豆子三種作物進行測試，其中每種作物測試20 組圖像，得到如圖5所示的結果。圖5中測試圖序號表示從測試集中隨機抽取出的用來檢測網絡識別率、驗證網絡可行性的圖像的序號，也用于給得出的測試結果編號。

為了進一步探究在不同的天氣條件下采用該算法對農作物的識別能力，接下來分別在晴天和陰天對玉米、花生和豆子三種農作物的實時識別率進行了實驗。經過多次實驗將玉米的識別率變化趨勢記錄在圖6中，三種作物平均識別率的對比則放在表2中。

由表2可以發現，在不同的天氣條件下該網絡均能夠較準確地識別出農田中的農作物，同時算法也有著較快的識別速度，所以本文提出的農作物識別方法可適用于不同天氣環境中的農田作物識別與監測的實時作業。

4? ?結論（Conclusion）

針對小樣本情況下導致的農作物識別與檢測比較困難的問題，本文采用了一種新的改進算法CCG Faster RCNN。該方法在網絡模型的訓練階段就大大地降低了對真實樣本的大量需求。對不同天氣下該網絡識別率的測試結果表明，新的模型在一定程度上可規避天氣對其的影響。后續將對該算法更多可能的影響因素進行測驗，使其能夠應用于更多的場景。

參考文獻（References）

[1] 黎春翔.無人機電力巡檢圖像的缺陷檢測和信息量化[D].廣州：華南理工大學，2020.

[2] 張凌云.安防巡檢機器人導航系統設計與實現[D].成都：電子科技大學，2018.

[3] 徐思雅，邢逸斐，郭少勇，等.基于深度強化學習的能源互聯網智能巡檢任務分配機制[J].通信學報，2021，42（05）：191-204.

[4] 魏亞松，舒適.淺析無人機在精準快速巡查秸稈禁燒工作中的作用[J].科技經濟導刊，2019，27（10）：47，63.

[5] 王子彬.基于六旋翼無人機的農業植保系統研究與設計[D].秦皇島：燕山大學，2018.

[6] 吳健宇.基于深度卷積神經網絡的農作物病蟲害識別及實現[D].哈爾濱：哈爾濱工業大學，2019.

[7] 陳小幫.基于深度學習的農作物航拍圖像識別研究[D].廣州：廣東工業大學，2019.

[8] 張振洲，熊凌，李克波，等.基于改進GoogLeNet的鋅渣識別算法[J].武漢科技大學學報，2021，44（03）：182-187.

[9] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（06）：1137-1149.

[10] 余曉寧，顧桂梅，王陽萍，等.基于Faster R-CNN的接觸網吊弦故障檢測方法[J].蘭州交通大學學報，2021，40（02）：58-65.

[11] HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[Z/OL]. （2018-01-24） [2021-08-07]. https：//arxiv.org/abs/1703.06870.

[12] 楊帆，梁敏健，楊寧祥，等.橋式起重機部件多任務學習Mask R-CNN分割與關鍵點識別方法[J].自動化與信息工程，2021，42（02）：14-18.

[13] SKANDARANI Y， JODOIN P M， LALANDE A. GANs for medical image synthesis： An empirical study[Z/OL]. （2021-07-19） [2021-08-07]. https：//arxiv.org/abs/2105.05318.

[14] ZHU J Y， PRAK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[Z/OL]. （2020-08-24） [2021-08-07]. https：//arxiv.org/abs/1703.10593.

[15] HE K， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[Z/OL]. （2015-12-10） [2021-08-07]. https：//arxiv.org/abs/1512.03385.

[16] 王金娜，蘇杰，楊凱，等.基于Cycle-GAN的絕緣子圖像生成方法[J].廣東電力，2020，33（01）：100-108.

作者簡介：

張瑞森（2000-），男，本科生.研究領域：電氣工程及自動化.

萬興鴻（1999-），男，本科生.研究領域：自動化.

高? ? 昕（1981-），男，博士，講師.研究領域：智能感知與控制.