自然場景下基于改進LeNet卷積神經網絡的蘋果圖像識別技術

程鴻芳張春友

(1. 蕪湖職業技術學院，安徽 蕪湖 241000；2. 內蒙古民族大學機械工程學院，內蒙古 通遼 028043)

隨著中國蘋果產業不斷向機械化、規模化方向發展，利用圖像識別技術對果實進行識別、監測及自動化管理是解決目前人工作業效率低，勞動強度大問題的關鍵[1-2]。為此，學者們對其進行了深入研究，并取得了較大進展。錢建平等[3]以圖斑為特征變量進行蘋果圖像特征提取，并建立產量估測模型計算單株果樹的產量。許立兵等[4]針對傳統蘋果分級檢測存在的問題，設計了一種基于ARM的蘋果采后田間分級檢測系統，采用基于Haar-like特性的級聯Adaboost目標檢測算法，對蘋果果實的大小和缺陷進行識別，實現了蘋果的田間預分級檢驗。田有文等[5]利用高光譜成像技術提取蘋果感興趣區域光譜信息，對果梗的完整性進行檢測，實現了對蘋果品質的等級評價。

但是，隨著機器視覺研究的發展，數據量劇增，傳統基于果實顏色、形狀或紋理特征等內容的識別方法，在特征提取方面存在的計算復雜、特征不可遷移等問題愈發突出。特別是對復雜背景環境、光照條件、果實重疊及其他遮擋等情況的圖像識別上，存在識別準確率差和運算效率低的問題，不能滿足實際需求。近年來，卷積神經網絡(Convolutional Neural Networks, CNN)開始逐漸應用于目標識別與定位領域。周云成等[6]在VGGNet基礎上，設計了一種基于深度卷積神經網絡的番茄主要器官檢測器，在檢測速度和精度上優于同類算法。馬永杰等[7]提出了改進深度卷積神經網絡AlexNet的分類識別算法模型，對交通標志進行識別，結果達到預期。龍滿生等[8]利用卷積神經網絡強大的特征學習和特征表達能力，對油茶病害特征進行提取，并借助遷移學習方法，將AlexNet模型在ImageNet圖像數據集上，學習得到的知識遷移到油茶病害識別任務，從而提高了圖像的分類精度。

可見，卷積神經網絡可直接將原始圖像作為輸入，避免傳統識別算法中繁瑣的數據處理過程，實現圖像特征的自動提取，并且能進行自我學習，對圖像具有極強的數據表征能力，是一種高效的識別方法，經過檢索尚未發現有其他研究人員將此技術用于復雜背景環境、光照條件、蘋果果實重疊及其他遮擋等情況的圖像識別上。本試驗擬以LeNet卷積神經網絡作為基礎，對其池化方法、激活函數等參數結構進行改進，設計一種基于改進LeNet卷積神經網絡的蘋果目標識別模型，以此模型為基礎，深入分析研究卷積神經網絡對果實目標的識別效果。同時，對照其他研究方法在自然場景下對不同位置形態的蘋果果實進行識別訓練及測試驗證，并對果實重疊及其他遮擋等復雜情況進行重點分析，以期建立一種抗干擾能力強，識別成功率高，識別速度快，對枝葉遮擋、光線變化等影響均具有相對較好魯棒性的方法。

1 卷積神經網絡

CNN模型主要包括輸入層、卷積層、池化層、全連接層和輸出層。其中卷積層和池化層是模型核心部分，主要用于圖像特征的提取，全連接層能夠實現圖像從高維特征域到圖像類別域的映射[9-10]。

1.1 卷積層

卷積層包含多個卷積核，通過卷積計算得到輸入圖像的特征圖，其表達式為[11-13]：

(1)

式中：

f(·)——激活函數；

1.2 池化層

池化層又叫下采樣層，本質上是圖像的一種聚合操作，用于對原始的特征信息進行提取，減小特征維數和數據的空間大小，可以在一定程度上控制模型的過擬合現象，其表達式為：

(2)

式中：

down(·)——下采樣函數；

2 試驗數據

2.1 圖像采集

分別在陰天和晴天的順光和逆光條件下，在某蘋果園自然場景下采集蘋果圖像，以保證樣本的多樣性。共采集原始圖像600幅(晴天和陰天各300幅)，格式為JPEG，分辨率為2 992像素×2 992像素。

2.2 樣本處理與試驗方法

對圖像進行預處理，可以增強數據樣本，減少后續試驗運行時間，提高模型性能。包括：① 對數據集進行數據增強處理，以更好地提取圖像特征，避免出現過擬合；② 圖像進行空間尺度變換，即將圖像進行隨機縮放、平移、旋轉、鏡像、隨機裁剪；③ 進行圖像均值與方差均衡，即樣本歸一化。預處理后圖像尺寸為32像素×32像素。處理中，共得到蘋果圖像2 435幅，在不同天氣情況下隨機選取487幅圖像作為測試，其他圖像用于訓練，二者之間無重疊。表1為測試集樣本信息。

表1 測試集樣本數量

3 基于改進LeNet卷積神經網絡的蘋果圖像識別

3.1 卷積神經網絡的構建

以 LeNet 作為基礎網絡架構在 Matlab 中建立卷積神經網絡模型，并對其重要的結構參數進行改進，為了更好地提取圖像的低階特征和有效的傳遞誤差梯度，采用Re LU作為激活函數。在池化操作中使用最大池化方法代替平均池化方法，以降低特征提取時因估計均值偏移所引起的誤差，如圖1所示。

為保證所建立的神經網絡模型具有較好的性能，綜合考慮模型結構參數，包括3個卷積層C1、C3和C5，2個池化層S2和S4，1個全連接層F6，1個輸出層。

圖1 基于改進 LeNet 的蘋果圖像識別網絡結構

輸入到第1卷積層C1的是大小為32×32的圖像，取6個尺寸為5×5的卷積核，卷積運算后得到6個特征圖，C1層中包含的訓練參數為6×(5×5+1)，即得到的特征圖大小為28×28；第1池化層S2中包含6個大小為14×14的特征圖，與C1中所對應的大小為2×2特征圖的領域相連接；第2卷積層C3中采用16個大小為5×5的卷積核，計算方法同C1類似，得到16個10×10 大小的特征圖；第2池化層S4采用大小為2×2的采樣核，特征圖個數為16個，經過池化操作后輸出16個5×5 大小的特征圖；第3卷積層C5中每個神經元與S4中的5×5 鄰域相連接，輸出120個1×1的特征圖，使池化層S4與卷積層C5之間構成全連接；全連接層F6中擁有84個隱含節點，與卷積層C5構成全連接；最后在輸出層中輸出分類結果。各層具體參數如表2所示。

表2 LeNet 神經網絡各層參數

3.2 圖像識別步驟

采用所提的改進LeNet卷積神經網絡模型對蘋果圖像進行識別，具體方法參照文獻[14]。

(1) 對預處理后的圖像進行篩選，達到訓練要求。

(2) 隨機選取圖像，建立數據集，初始化網絡結構得到卷積核的權值。

(3) 將圖像在C1卷積層中進行卷積計算，獲得相應的特征圖。

(4) 利用最大池化法將特征圖在S2池化層中進行下采樣。

(5) 重復步驟(3)和(4)，將得到的特征圖在C3卷積層和S4池化層中進行2次卷積和采樣，獲得新的特征圖。

(6) 重復步驟(3)和(4)，對輸出的特征圖進行3次卷積。

(7) 將最后得到的特征圖轉換成列向量，作為全連接層的輸入，通過反向傳播算法更新網絡參數；

(8) 利用訓練得到的網絡模型對測試圖像進行分類，通過Softmax分類器結合多尺度滑動窗算法顯示識別結果。按照圖像中果實的相對位置將果實分為4類：獨立果實、遮擋果實、重疊果實以及相鄰果實。

4 結果與分析

4.1 模型訓練

利用訓練集樣本進行訓練，取網絡初始權重的初始化標準差為0.01，均值為0的高斯分布，設樣本迭代次數為 2 000次，權重參數的初始學習速率為0.001，動量因子為0.9。訓練結果如圖2所示。

圖2 CNN訓練準確率與損失值變化曲線

由圖2仿真結果可以看出，所設計算法的訓練準確率隨著迭代次數的增加而迅速升高，且趨于穩定，訓練集和驗證集兩者的分類結果非常接近，準確率達到98.5%。目標函數的損失值迅速降低，在迭代2 000次時，目標函數的損失值收斂在0.05左右，基本保持穩定，表明所設計的網絡模型是有效的，達到了預期的訓練效果。

4.2 模型驗證

網絡的最終輸出為識別到蘋果目標的概率，為了驗證改進LeNet卷積神經網絡模型的有效性，對測試集的圖像進行識別。在測試集中隨機選取150幅圖像，陰天和晴天各75幅，共有果實圖像4 252個。選用識別目標與真實目標重合的比率重疊系數作為試驗結果有效性的評價指標，網絡的最終輸出為識別到的蘋果目標的概率，結果僅保留重疊系數>75%的區域，即當重疊系數>75%時，認為識別準確，識別結果示例和具體識別結果分別如表3所示。

由表3可知，獨立果實、重疊果實、相鄰果實以及遮擋果實的識別率分別為96.25%，91.37%，94.91%，89.56%，綜合識別率達到93.79%。其中因遮擋、重疊以及光線等原因，使果實輪廓不全或不清晰的果實，容易出現漏識別現象，從而影響了整體的識別精度。但整體來看，所設計的卷積神經網絡模型具有很好的識別效果。

表3 果實識別具體結果

4.3 與其他方法對比分析

為進一步驗證算法的優越性，將本算法與基于ResNet-44的R-FCN網絡、基于ResNet-101的 R-FCN網絡以及基于ResNet-50的R-FCN網絡進行對比[15]，結果如表4所示。與其他網絡算法相比，本文設計的基于改進LeNet卷積神經網絡的蘋果識別方法具有較強的抗干擾能力，識別成功率高，識別速度快，對枝葉遮擋、光線變化等影響均具有相對較好的魯棒性。

表4 不同網絡識別效果對比

5 結論

針對傳統圖像識別方法在特征提取方面存在計算復雜、特征不可遷移等問題，為避免光照條件、重疊及其他遮擋等因素給圖像識別帶來的影響，利用卷積神經網絡圖像特征提取能力強的特點，提出基于卷積神經網絡的蘋果圖像識別方法。以LeNet卷積神經網絡作為基礎網絡架構，并對其結構和參數進行優化和改進，以更好地對圖像特征進行提取。同時，利用該模型對不同果實位置差別的數據集進行訓練、驗證和結果分析，并與同類文獻進行識別精度對比。分析結果表明：本試驗所建立的網絡模型可有效實現蘋果圖像的識別，對獨立果實、重疊果實、相鄰果實以及遮擋果實的識別率分別為96.25%，91.37%，94.91%，89.56%，綜合識別率達到93.79%。與其他方法相比，本算法果實識別速度快、識別率更高，尤其對重疊及其他遮擋的果實圖像具有較好的識別能力。