基于卷積神經網絡的農機圖像自動識別研究*

雷雪梅，張光強，姚旗，劉偉渭，邱帥

(1. 四川化工職業技術學院智能制造學院，四川瀘州，646000； 2. 國家農業智能裝備工程技術研究中心，北京市，100089； 3. 西北農林科技大學農學院，陜西咸陽，712100； 4. 西南交通大學機械工程學院，成都市，610031； 5. 西南大學人工智能學院，重慶市，400715)

0 引言

目前，以通訊網絡和互聯網為基礎，通過衛星定位裝置、農機作業工況傳感器、圖像傳感器等感知農機實時運行狀態，實現對農機裝備集群作業的智能化識別、定位、監測和管理的物聯網技術得到了快速發展和實踐應用[1-2]。為了鼓勵農戶實施農業機械化作業，國家在多個省份相繼展開農機作業補貼。然而在政策實施過程中，存在農機作業質量層次不齊、虛報作業面積、虛報農機補貼等情況，為了減少這種情況的出現，政府相關部門通過無線通訊和網絡技術實現監管農機作業質量[3-5]。其中，利用圖像識別技術自動識別農機機具類型和作業狀態，能夠降低人工抽檢強度、加強監管力度、提高系統智能化水平，是農機作業監管系統的關鍵技術之一。

圖像識別技術在農業科技方面有著非常廣泛的應用，如病蟲害識別[6-7]、果實品種識別[8-9]、產量估計[10-11]、農機路徑規劃[12]等都改變了傳統的生產方式，提高了工作效率?；诰矸e神經網絡的圖像識別算法[13-14]是以視覺系統的特征分層機制為依據，模擬神經元之間的連接來自動提取圖像特征，通過多層迭代、特征抽象、最終實現分類識別。經典的卷積神經網絡結構，如LeNet[15]、AlexNet[16]等，由卷積層、池化層、全連接層組成。卷積層使用不同的卷積核提取多種圖像特征，池化層在保留主要信息的同時對特征圖進行降維處理，通過多次的卷積—池化連接，提取的圖像特征從具體的邊緣信息到抽象的語義信息，再經過全連接層的迭代，實現分類識別[17-19]。卷積神經網絡算法不需要手工提取特征，在圖像識別[20-21]、語音識別[22-23]、自然語言處理[24-25]等方向已經有了非常好的應用效果。彭明霞等[26]采用Faster R-CNN方法對棉花雜草進行了識別，其平均目標識別準確率達到了95.5%。盧偉等[27]采用卷積神經網絡方法檢測拖拉機駕駛員面部特征，用于識別駕駛員的疲勞狀態，其模型識別準確率為98.9%?？讘c好等[28]以拖拉機運行速度與發動機轉速等信息為基礎，采用卷積神經網絡對拖拉機工況進行了識別檢測，其準確率可以達到93.3%。然而采用卷積神經網絡對農機圖像識別報道文獻較少。

本文采用基于卷積神經網絡的圖像識別技術，研究大量農機機具圖像的自動分類方法。對農機機具圖像進行預處理，構建農機機具圖像標注數據集，設計卷積神經網絡模型，實現農機機具圖像的自動識別。

1 構建農機機具圖像標注數據集

1.1 圖像收集與整理

本文以農機機具圖像作為識別對象，在農機作業過程中，車載攝像頭每隔2 min拍攝一次作業機具圖像并通過GPRS無線網絡上傳到監管系統中。通過分析農業機具作業圖像，整理出多種作業背景下的播種機、翻轉犁、起壟機、深松機和旋耕機5種類型的常用機具圖像。構建了容量為73 970張的農機機具圖像數據集，其中，55 000張圖像用于構建訓練集，18 970張圖像用于構建驗證集，二者互相獨立且無重疊。每種類型的機具圖像數量均按照收集的原始圖像比例設置，同時為滿足網絡輸入要求，所有圖像尺寸均轉換為64像素×64像素大小，表1為數據集中不同機具類型圖像數量的具體分布情況。

表1 農機機具圖像數量分布Tab. 1 Quantity distribution of agricultural machinery image

1.2 標注數據集

卷積神經網絡算法屬于監督分類，需要對大量數據集進行標注。本研究采用Tensorflow平臺對農機機具圖像數據集進行標注。首先，將整理好的訓練集和驗證集存放在兩個文件夾下，每個文件夾包含前述的5種圖像類型，即播種機、翻轉犁、起壟機、深松機和旋耕機，并分別建立對應的文件夾標簽。然后，使用Tensorflow的內置函數將每張圖片轉換成固定長度的二進制數據，其中第一個字節為圖像標簽，剩余64×64×3字節是圖像信息。最終，本文將訓練集和驗證集分別轉換為兩個獨立的二進制文件，得到完成標注的農機機具圖像數據集。

1.3 農機機具圖像預處理

與其他研究領域的圖像數據相比較，農機作業環境較為惡劣，獲取的機具圖像質量較差、圖像背景復雜、圖像拍攝角度存在差異。圖像預處理不僅可以消除背景、顏色及尺寸差異等噪聲的影響，還能減少網絡訓練計算量，提高算法效率和網絡準確率。本文針對農機機具圖像存在的問題，分別進行了圖像裁剪、圖像色彩調整和運動模糊消除3個方面的圖像預處理。

1.3.1 圖像裁剪

原始機具圖像是由不同地區的不同農機作業監控裝置拍攝獲得，因此存在圖像尺寸差異。由于神經網絡采用固定的輸入節點，將機具圖像輸入給神經網絡之前，需要統一圖像尺寸。本文采用雙線性插值法將機具圖像裁剪為64像素×64像素。雙線性插值法的核心思想是在x與y方向分別進行一次線性插值計算，相比于最鄰近插值的粗糙以及雙立方插值的計算量過大，該算法處理效果較穩定、計算難度低。

1.3.2 圖像色彩調整

在訓練農機機具圖像識別網絡時，通過調整機具圖像的色相、亮度、對比度等屬性，能夠使訓練后的網絡盡可能少地受到無關因素的影響。本文采用Tensorflow API提供的圖像預處理函數brightnes函數對原始機具圖像進行處理。經過圖像預處理，局部亮度偏高的圖像(圖1(a))、色相差的圖像(圖1(b))、對比度低的圖像(圖1(c))等，被恢復為清晰的農機機具圖像(圖1(d)，圖1(e)，圖1(f))。

圖1 機具圖像調整色彩前后對比圖Fig. 1 Comparison of machine and tool images before and after color adjustment

1.3.3 運動模糊消除

農機機具圖像是在農機作業過程中由車載攝像頭拍攝獲得，因此經常會出現運動模糊的機具圖像。所謂運動模糊是指拍攝相機和被攝景物之間存在相對運動而造成的圖像模糊。模糊圖像的處理方法主要有圖像超分辨率重構、圖像增強、圖像復原3種。其中，圖像復原是根據圖像退化的先驗知識建立一個退化型，以該網絡為基礎，采用各種逆退化處理算法逐步進行恢復，從而達到改善圖像質量的目的。

圖2 機具圖像去除運動模糊前后對比圖Fig. 2 Comparison of machine and tool images before and after removing motion blur

本文采用了圖像復原方法中的維納濾波算法對運動模糊機具圖像進行預處理，將運動模糊的播種機(圖2(a))、深松機(圖2(b))、翻轉犁(圖2(c))，處理為清晰的農機機具圖像(圖2(d)，圖2(e)，圖2(f))。

2 農機機具圖像自動識別算法

2.1 卷積神經網絡結構

本文設計的卷積神經網絡結構如圖3所示，共7層，包含4個卷積層和3個全連接層。其中，前2個卷積層后面連接池化層，最后1個全連接層使用Softmax函數做分類。

圖3 卷積神經網絡結構Fig. 3 Structure of convolutional neural network

若Xi表示卷積神經網絡的第i層特征圖，網絡輸入X0為64×64×3的原始圖像，則卷積層Xi的計算過程可描述為

(1)

其中，Wi表示第i層卷積核的權值向量；運算符號?代表卷積核與第i層圖像或特征圖進行卷積操作，卷積的結果與神經元偏移量bi相加；然后通過非線性的激勵函數f(x)得到第i層的特征圖，本文卷積神經網絡中選用Relu函數作為非線性激勵函數，它具有收斂性能好、計算復雜度低等特點。常用的池化方式有平均池化和最大池化，本研究采用了最大池化法。若Xi是池化層，則Xi的計算過程可描述為

Xi=Maxpooling(Xi-1)

(2)

表2為卷積神經網絡詳細設計參數。

C1層采用了32個5×5×3的卷積核，步長為1，對輸入圖像卷積之后提取出32種特征，得到32個60×60的特征圖，再經過S1層得到32個29×29的特征圖。C2層有64個5×5×32的卷積核，對第S1層輸出特征圖做卷積，得到64個29×29的特征圖，再經過S2層得到64個14×14的特征圖。C3層有128個5×5×64的卷積核，對第S2層輸出特征圖做卷積，得到128個14×14的特征圖；C4層使用256個5×5×128的卷積核，對C3層輸出特征圖做卷積，得到256個14×14的特征圖，輸出給F5層。F5層采用384個神經元，對256個14×14的特征圖進行全連接處理；F6層采用192個神經元，對256個神經元進行全連接處理；F7層使用softmax函數將特征向量處理結果分為5類。

表2 卷積神經網絡參數設計Tab. 2 Design of convolution neural network parameters

2.2 減少過擬合

卷積神經網絡模型對訓練集識別率很高，而對于驗證集識別率很低的情況稱為過擬合，通常是由于模型過于復雜，訓練數據不足或訓練集圖像分布不均勻。本研究采用了增強數據集和模型正則化的方法來減少過擬合。

2.2.1 增強數據集

在本研究中，采用了2種方法增強數據集：增加數據集的數量和提高數據集的豐富性。數據集的豐富性能夠保證模型對不同背景條件的機具圖像都有良好的識別能力。通過采用隨機裁剪和垂直翻轉的方法來增大數據集的數量，具體方法如下：首先，在64×64大小的圖像中心位置和4個邊角等5個區域分別提取60×60區域用作訓練，這樣將數據集擴大了5倍；由于設備安裝方式的不同，導致有部分機具圖像是上下顛倒的，為了平衡這部分數據，提高模型對其識別能力，對所有圖像進行垂直翻轉，在保證數據豐富性的同時，又將數據集擴大了2倍。

2.2.2 模型正則化

正則化是降低模型復雜度的一種方法，通過給損失函數加上約束項來對參數引入先驗分布，控制損失函數的優化傾向于選擇較小參數的方向。本文所用的L2正則化就是在損失函數后面加一個正則化項，得到新的損失函數

(3)

式中：C0——原始的代價函數；

所有參數ω平方和除以訓練集樣本大小n，再乘以正則系數λ，λ的作用即是權衡正則項與原始代價函數C0的比重。按照梯度下降法更新參數的規則，先對新的損失函數求導，然后得到參數更新值

(4)

2.3 提高模型訓練效率

2.3.1 歸一化圖像

圖像歸一化是計算機視覺中對數據集預處理的常用方法之一，主要利用圖像的不變矩尋找一組參數使其能夠消除其他變換函數對圖像變換的影響，也就是轉換成唯一的標準形式來增強圖像的仿射變換。在卷積神經網絡算法中，將像素值為0～255的UNIT型數據歸一化到0～1之間，可以簡化計算，加快網絡收斂性能，提高網絡計算精度。歸一化方法有離差歸一化和標準差歸一化，本研究中使用標準差歸一化

(5)

式中：μ——所有像素的均值；

σ——所有像素的標準差。

歸一化后的圖像滿足均值為0，標準差為1的標準正態分布。神經網絡是以樣本在事件中的統計概率來進行訓練和預測的，將數據歸一化到0～1之間統計概率分布，使得樣本所有像素的均值為0，并且其標準差一致，可以提高網絡學習速度，加快網絡收斂。

2.3.2 多GPU訓練

本文設計的機具識別網絡模型需要訓練的參數有2×105，處理完所有圖片需要進行上億次加乘運算，傳統的CPU單線處理需要4～5 d的時間才能使模型達到收斂，效率太低不利于修改參數和調整網絡。GPU計算模塊專為處理大規模、高密度浮點數據而設計，其帶寬大、數據并行計算的優勢極大地提高了運算速度，減少了運算時間。本文采用2塊GPU并行運算的方式訓練網絡模型，如圖4所示。

圖4 GPU計算模型Fig. 4 Model of GPU calculation

卷積神經網絡的訓練目標是最小化網絡的損失函數。原始圖像經過前向傳輸后得到預測值，使用平方誤差代價函數計算預測值與實際值之間的差異，第n個樣本的誤差函數可表示為

(6)

式中：tkn——第n個樣本對應標簽的第k維；

ykn——第n個樣本對應的網絡輸出的第k個輸出；

c——分類數目。

訓練過程中，使用隨機梯度下降方法將loss值反向傳播，逐層更新網絡參數。參數更新規則為

(7)

(8)

式中：η——學習率。

將初始學習率η設為0.01，一次訓練的數據集大小(batchsize)為128，以0均值，標準差0.01的高斯分布初始化每層權重Wi，神經元偏置量bi的初始值為0。以8個線程將數據分批、獨立地分布在2塊GPU上，2個GPU共享模型參數，同步運算。由于GPU之間傳輸數據比較慢，計算得到的參數全部存儲在CPU上，并在CPU上更新所有參數。

3 試驗與分析

3.1 模型訓練試驗與結果分析

本文網絡模型在2塊NVIDIA GeForce GTX 1080 GPU上訓練，迭代100 000次之后，損失函數收斂到0.01。將本文所建的農機機具圖像標注數據集在LeNet-5和ResNet-50上分別進行訓練，與本文所用機具識別網絡進行對比，3個網絡的參數配置及訓練結果見表3。

表3 3種卷積神經網絡性能比較Tab. 3 Performance comparison of three convolutional neural networks

從表3的對比結果分析：LeNet-5結構簡單，網絡層數少，輸入圖像小，所需訓練時間最少，但是其識別準確率較低，僅有81%，無法滿足實際應用需求；ResNet-50網絡和本文卷積神經網絡識別準確率均超過98%，滿足實際應用需求，但是ResNet-50網絡比較復雜，參數較多，其訓練時間需要58 h，相比之下，本文的機具識別網絡訓練時間比較少，只有30 h，并且測試一張圖片的效率也高于ResNet-50。綜上所述，從網絡結構與參數、訓練時間、識別準確率及效率上來說，本文設計的網絡結構適用于農機機具圖像識別，可滿足實際監管需求。

3.2 模型測試試驗與結果分析

為了描述網絡的實際應用性能，本文從2021年9月江蘇省農機深松作業圖像中挑選出5種機具類型圖像各200張對模型進行測試，并從召回率、魯棒性2個方面對模型進行評價。

3.2.1 ROC曲線與AUC

ROC曲線的橫坐標為假陽性率(False Positive Rate，FPR)，縱坐標為真陽性率(True Positive Rate，TPR)，該曲線下各部分的面積求和即為AUC。在圖像識別評價精度指標中，ROC曲線能夠盡量降低不同測試集帶來的干擾，更加客觀地衡量網絡本身的性能。

FPR和TPR的計算方法分別為

(9)

(10)

式中：P——真實的正樣本的數量；

N——真實的負樣本的數量；

TP——P個正樣本中被分類器預測為正樣本的個數；

FP——N個負樣本中被分類器預測為正樣本個數。

AUC可通過對ROC曲線下各部分的面積求和得到，且ROC曲線是由坐標為{(x1,y1)，(x2,y2)，…，(xm,ym)}的點按順序連接而形成，則AUC的計算為

(11)

式中：xi、yi——上述假陽性率(FPR)、真陽性率(TPR)取值。

ROC曲線經常作為二分類最重要的指標之一，對于本文多分類，將m個測試樣本(m=2 600)，n個類別(n=13)。在訓練完成后，計算出每個測試樣本在各類別下的概率，得到一個[m，n]形狀的矩陣Q，每一行按類別標簽排序，表示一個測試樣本在各類別下概率值。相應地，將每個測試樣本的類別轉換為類似二進制的形式，每個位置按標簽排序，用來標記是否屬于對應的類別，由此也可以獲得一個[m，n]的標簽矩陣L。每種類別下，都可以得到m個測試樣本為該類別的概率(矩陣Q中的列)。所以，根據概率矩陣Q和標簽矩陣L中對應的每一列，可以計算出各個閾值下的假陽性率(FPR)和真陽性率(TPR)，從而繪制出一條ROC曲線。這樣總共可以繪制出n條ROC曲線。最后對n條ROC曲線取平均，得到最終的ROC曲線和AUC。本次農機機具識別網絡測試試驗中，農機機具圖像分類的ROC曲線與AUC如圖5所示。

在圖5中，試驗結果表明ROC曲線下的AUC均值為92%，且曲線靠近左上角，說明本文的機具識別網絡分類的真陽性率很高，分類錯誤較少，該網絡對5種機具圖像的分類能力符合實際應用需求；同時ROC曲線是光滑的，說明農機機具識別網絡訓練后沒有出現太大的過擬合。

圖5 農機機具圖像ROC曲線與AUC圖Fig. 5 ROC curve and AUC diagram of agricultural machinery and tools

3.2.2 混淆矩陣和F1-score

在圖像識別評價精度中，混淆矩陣主要用于比較真實結果和實際預測值。若M[t，p]表示混淆矩陣，第t行代表真實類別，每一行的總數代表該類別的真實數量。第p列代表預測類別，每一列的總數表示預測為該類別的數量；矩陣中的值，實際為t類的樣本被判定為p類的數量。

F1-score用于評價分類網絡性能，它考慮測試的精確度P和召回率R來計算分數，公式如式(12)所示。

(12)

采用農機機具識別網絡對測試集的5類機具圖像進行測試試驗，試驗結果的可視化混淆矩陣如表4所示。

表4 混淆矩陣Tab. 4 Confusion matrix

分別計算機具類別A～E的精確度、召回率和F1-score，計算結果見表5。其中，精確度表示該類別混淆矩陣對角線的值除以該類別對應列總和；召回率表示該類別混淆矩陣對角線的值除以該類別對應行總和，F1-score值作為參數指標精確度和召回率的調和平均。

在表5中，農機機具識別網絡在測試集上精確度的平均值為98.47%，說明網絡對負樣本的區分能力很強；召回率的平均值為98.37%，說明網絡對正樣本的識別能力很強；F1-score的平均值為98.41%，說明分類網絡對大部分機具類型、作業場景、非機具圖像以及光影干擾等都能準確識別，具有良好的魯棒性、穩健性、實用性較強，滿足實際應用的要求。

表5 精確度、召回率和F1值Tab. 5 Precision, recall and F1-score %

3.2.3 討論

識別錯誤的機具圖像如圖6所示，分析原因如下。

1) 采集圖像時，由于攝像頭傾斜等原因只拍到機具的一部分導致識別錯誤，圖6(f)和圖6(g)將翻轉犁識別為起壟機，圖6(o)將旋耕機識別為深松機。

2) 機具表面存在土壤、秸稈、人、草等，遮擋了大部分機具，圖6(l)和圖6(m)將旋耕機識別為翻轉犁，圖6(k)將深松機識別為起壟機。

3) 部分機具外形相似，如圖6(k)將深松機識別為翻轉犁，該類型的深松機和翻轉犁均為三角框架形式，差別只在其安裝的深松鏟。

4) 數據集收集不夠全面，如播種機圖6(a)、圖6(b)、圖6(c)、圖6(d)圖像均會出現識別錯誤，此種現象的情況較少，可能是其紋理、顏色比例與其他機具相似，所以識別錯誤。

上述分析說明，模型仍存在不足之處：當機具圖像有大面積遮擋或只拍攝到部分機具時，識別能力較弱。

圖6 識別錯誤農機機具圖像Fig. 6 Misrecognition image of agriculture machine

4 結論

1) 構建了包括播種機、翻轉犁、起壟機、深松機和旋耕機5種類型的農機機具圖像標注數據集，其中訓練集55 000張，驗證集18 970張，該數據集可以用于研究農機機具的自動識別、檢測、跟蹤等智能化應用。針對農機機具圖像存在的質量問題，分別進行了圖像裁剪、圖像色彩調整和運動模糊消除3個方面的圖像預處理。

2) 根據實際應用需求和數據特點，設計了能夠自動識別農機機具的卷積神經網絡。在2塊GPU上訓練了近80 000張機具圖像，識別準確率超過98%，單張圖片識別效率達0.1 s。訓練集和驗證集識別率均超過98%，說明網絡對環境變化、光影干擾、小區域前景遮擋具有良好的魯棒性，訓練集和驗證集樣本不重疊，說明網絡有良好的泛化能力。

3) 與經典網絡LeNet-5和ResNet-50相比，本文設計的農機機具識別網絡在保持較高識別準確率與效率的同時，結構相對簡單，參數較少，所需訓練時間較短。

4) 在訓練集和驗證集外，隨機挑選5種類型的圖像各200張作為測試集，設計測試試驗驗證模型的實用性，測得模型對各類機具圖像識別精確度平均值為98.47%，召回率平均值為98.37%，F1-score平均值為98.41%，表明模型實用性較強；并分析了錯誤識別的原因。

綜上所述，本文根據農機機具原始圖像構建了基于卷積神經網絡算法的農機機具圖像標注數據集，設計卷積神經網絡結構并訓練模型實現了農機機具的自動識別，能夠較好地滿足實際應用需求。