基于改進卷積神經網絡的番茄品質分級方法

阮子行, 黃 勇,, 王 夢, 史 強, 張金玲

(1.新疆農業大學機電工程學院,新疆 烏魯木齊 830052; 2.新疆工程學院機電工程學院,新疆 烏魯木齊 830023)

中國是亞洲地區番茄產量最大的國家,同時也是世界上番茄產量最大的國家,番茄在中國農作物中的種植面積占比較高,其中在2020年僅中國新疆地區的番茄產量便達到8.242×106t[1]。新疆地區番茄的種植面積連續多年保持在46 667 hm2以上,但是縱觀整個中國,番茄的產業化水平仍較低,加工產品的附加值也較低,是中國番茄產業遇到的重要問題[2],其中番茄精確的品質分級技術是亟待解決的重要問題之一。近年來,為了提高農產品品質分級的作業效率,從而解決勞動力不足的問題,農產品品質分級成為農業的重點工作之一[3]。高精度的農產品分級不但可以提高生產效率,而且可以提高農產品的整體質量,使其更有利于長期存儲[4-5]。品質檢測的手段有很多種,隨著圖像處理與機器視覺的發展,基于機器視覺和深度學習的品質分級技術已經成為研究熱點[6]。本研究旨在從番茄外部品質分級的角度出發,通過深度學習手段為番茄品質分級提供一種新方法。

目前,國內外學者在農產品品質分級方面做了大量工作,其中Blasco等[7]開發的機器視覺算法基于貝葉斯估計分割水果與背景,并通過尺寸、顏色、莖的位置和外部瑕疵的檢測在線評估橙子、桃子和蘋果的質量,該分類系統經過在線測試蘋果,在批量分類水果時獲得了良好的性能,瑕疵檢測、尺寸估計的準確度分別為86%、93%。Sayed等[8]提出了1種基于海洋捕食者算法(MPA)和卷積神經網絡的柑橘病害分類的新混合方法。MPA用于找到批量大小、退出率、退出期和最大訓練批次,在柑橘病害分類方面的整體準確率可達100%,表明所提出的基于MPA優化的ResNet50具有優越性。Bhole等[9]基于遷移學習的預訓練SqueezeNet模型,根據缺陷、形狀、大小和成熟度等參數對杧果進行評估分級,2份數據集分別為杧果果實的RGB圖像和熱圖圖像,測試結果表明,該系統對2份數據集的分類準確率分別為93.33%、92.27%,RGB圖像、熱圖圖像的訓練時間分別為30.03 min、7.38 min。何進榮等[10]通過對經典網絡模型進行優化,采用經典的卷積結構作為蘋果外部特征提取器,并采用批量歸一化的方式優化模型,采集了19 500張圖片,按照3∶1的比例劃分數據集,結果顯示,DXNet模型的分級準確率達到97.84%。胡發煥等[11]采用形態學手段將目標臍橙與背景分離,并捕捉臍橙的果面缺陷、尺寸、表面顏色等特征,將其輸入支持向量機,訓練后的品質分級識別率達到90.5%,并且實時性較好。

本研究擬以分選臺常見的6種番茄樣本作為研究對象,設計改進網絡結構,并通過批量歸一化和注意力機制對其進行優化,研究優化后的模型整體性能與批量歸一化、注意力機制對模型的影響,以期探究不同優化算法和單一背景數據集對網絡模型性能的影響。

1 材料與方法

1.1 數據集

本試驗中的所有番茄樣本均購自新疆烏魯木齊番茄市場,番茄品種為櫻桃番茄,燈光由普通室內照明用日光燈提供,采用一加8手機進行圖像采集,番茄的外觀形態共6種,詳見圖1。

圖1 常見番茄的外觀形態Fig.1 Common types of tomatoes

經過篩選后,數據集中共有1 455張圖片,各類番茄的具體圖片數量見表1。為了獲得更好的訓練效果,在網絡訓練前對原始數據進行一些處理。(1)由于不同網絡模型中圖片數據的輸入尺寸不同,所以要根據不同網絡模型將圖片數據放縮至規定尺寸和格式,本研究中的圖片均采用JPG格式[12]。(2)由于大量數據樣本可以增加模型訓練的準確度,本研究擬通過任意角度旋轉剪切、增強對比度、引入噪聲和水平翻轉等手段進行數據增廣[13-14]。增強后的各類樣本圖片數據集數量如下:正常番茄1 758張,綠柄番茄1 650張,霉變番茄1 698張,破裂番茄900張,未成熟番茄1 554張,軟爛番茄1 170張,共計8 730張,并用數字1～6給不同外觀形態的番茄編號,如表1所示。

表1 番茄樣本圖片的原始數量及增廣后的數量

1.2 試驗環境

模型搭建和訓練所用試驗環境如下:電腦操作系統為64位Win10家庭版,軟件平臺采用Matlab 2022a中的深度網絡設計器(Deep learning toolbox),顯卡為NVIDIA GeForce RTX 3050 Laptop(4 G顯存),計算統一設備架構(CUDA)版本為11.6.0,CUDNN版本為11.3,采用三星16 G內存、三星512 G固態硬盤。本網絡訓練均基于Matlab2022a平臺,采用圖形加速器加速進行訓練,試驗批次(Batch size)為16次,訓練輪數為30輪,迭代次數為9 810次。

2 卷積神經網絡模型的構建

2.1 網絡模型結構

2.1.1 卷積層結構 本研究設計的卷積網絡選取6個卷積層,分別為Conv1、Conv2、Conv3、Conv4、Conv5、Conv6,其中前5個卷積層的作用是捕捉圖像信息特征,第6個卷積層采用1×1的卷積核,其主要作用是實現通道維度的變化,減少參數量并結合激活函數引入更多非線性特征[15-16]。其中卷積核尺寸、步長、各個卷積核數量及Padding參數見表2。

表2 網絡中各個卷積層參數

本網絡中的激活函數均采用ReLU激活函數,采用4個池化層(其中3個為最大池化層,1個為全局平均池化層)和1個全連接層,本研究圖片數據集中的番茄共有6種分類類型,因此將最后全連接層節點數設為6個。

2.1.2 全連接層 目前常見的卷積神經網絡有很多種,其中LeNet、AlexNet和VGGNet這3種卷積神經網絡發布得較早,其網絡結構沒有分支,相對其他網絡結構更為簡潔。第1次利用大批量圖像數據集完成深層卷積神經網絡結構的便是AlexNet網絡,它正式打開了深度學習的大門,該網絡的權重層有8層(5層卷積層、3層全連接層),進行1 000種分類時模型可計算的參數量為6.09×107[17-18]。對AlexNet網絡參數量進行分析,結果見表3。

表3 AlexNet網絡各層參數

對AlexNet網絡各層參數進行統計可以發現,全連接層參數數量為58 631 144個,占整個網絡參數數量的96.17%,5層卷積層的參數量占比不足4.00%。參數過多使得訓練過程對設備的要求更高,造成計算效率降低,更容易出現過擬合,并且也限制了網絡在移動平臺中的布置[19-20]。

結合經典網絡AlexNet的網絡參數表可以看出,全連接層中包含整個網絡的絕大多數參數信息,需要用其他結構代替,從而進行優化改進。孫俊等[21]、張華鵬[22]針對AlexNet模型數據參數龐大的問題,通過全局平均池化層代替全連接層的方式優化了AlexNet網絡模型參數,使得模型參數的內存需求僅為2.6 MB。另一種結構采用1×1的卷積操作來實現,1×1的卷積操作可以在保證參數量為1的同時實現網絡通道數的變換,并配合非線性激活函數引入更多非線性特性[23-24]。

結合以上2種方式,本研究設計的卷積神經網絡結構首先使用1×1的卷積操作以增加通道數,經過全局池化層降低參數量,通過全連接層將上一層的全局池化層進行全連接,并傳遞給Softmax分類函數實現分類輸出,該模型結構相較于擁有3個全連接層的結構,參數量可以得到極大減少,訓練時可使圖形處理器(GPU)中CUDA內存占用率由原來的70%～80%降至30%～40%。

2.2 網絡模型結構的優化

2.2.1 引入批量歸一化層優化[25]在卷積神經網絡中,當底層網絡梯度發生微小改變時,經過激活函數及一系列線性映射后,上層梯度會發生較大幅度的變化,隨著網絡層數的增加,這種變化會不斷被放大,網絡也會不斷適應梯度的變換,導致網絡越來越難以被訓練。批量歸一化(Batch normalization, BN)操作是將這些輸入值規范化至1個合適范圍內,在不影響梯度變換大趨勢的前提下降低網絡整體大幅度變化帶來的不確定性,可以增加數據的穩定性。數據的穩定傳遞可以加快模型訓練的速度,降低網絡對參數的敏感程度,使得由超參數造成的網絡變化規律更加明顯,網絡學習更加穩定。在本網絡中選擇在Conv2、Conv4及Conv6后增加批量歸一化操作,批量歸一化公式如下:

(1)

(2)

(3)

式中:X為輸入數據;Y為輸出數據;β、r分別是平移參數、縮放參數,在反向傳播中訓練得到;ε>0,且是很小的數;m為輸入數據數量;u為輸入數據的均值;δ為輸入數據的標準差。

網絡的整體結構如圖2所示。

圖2 本研究設計的神經網絡結構Fig.2 Neural network structure designed in this study

2.2.2 通過注意力機制優化[26]敏銳度指人視網膜對不同物體具有的信息處理能力,表現為重點關注某些部分而忽視某些部分。在神經網絡中,通過給予不同特征不同權重來實現注意力的分配,將更多計算資源分配至更重要的任務中,從而更加高效地實現信息處理[27]。

圖3為壓縮激勵注意力模型結構,該模型學習卷積過程中通道之間的相關性,從而實現注意力分配,具體分為3個部分。(1)壓縮(Squeeze)。是通過1個全局平均池化層將特征圖壓縮為1×1×C的向量,再經全連接層(FC)把神經元數量減少,該操作通過減少特征圖的寬、高從而降低計算量,除去過多的無用信息,其中降維系數(r值)選擇16。(2)激勵(Excitation)。壓縮后C/r個通道數的特征圖,由激活函數ReLU激活,賦予每個通道不同的權重,再經FC將C/r個通道恢復成C個通道,得到1×1×C尺寸的數據。最后由Sigmoid激活函數使各個通道的權重歸一化。此時該向量與輸入特征圖有相同的通道數,并且每個通道的權重不同。(3)Scale操作。得到1×1×C向量后,與輸入特征圖的W×H×C進行Scale操作,賦予輸入特征圖權重,得到不同權重的W×H×C特征圖。

FC:全連接層;Sigmoid:一種函數名稱;Scale:通道權重相乘。圖3 壓縮激勵注意力模型結構Fig.3 The structure of the squeeze excitation attention model

引入壓縮激勵模塊(SE模塊)進一步提升網絡模型的精度,在圖2神經網絡結構的基礎上,在卷積層1、卷積層2、卷積層3、卷積層4、卷積層5后均加入SE注意力機制模塊,以此優化整個網絡結構。

3 結果與分析

3.1 混淆矩陣分析

選用數據增廣后的6類番茄樣本數據,共計8 730張圖片,按照4∶1的比例劃分為訓練集與測試集,并按照網絡輸入大小裁剪為227像素×227像素×3(寬×高×通道數)的尺寸,圖4為本研究設計的卷積神經網絡對6種不同番茄外觀形態進行分類的混淆矩陣。

圖4 本研究模型的混淆矩陣Fig.4 The confusion matrix of the model constructed in this study

對樣本進行測試后分別計算精確度(P)、召回率(R)、精確度和召回率的調和平均數(F1),其公式如下:

表4 6類番茄評估指標的對比

(4)

(5)

(6)

式中:TP代表預測為正的正樣本;FP代表預測為正的負樣本;FN代表預測為負的正樣本。

表4為6類番茄外觀形態的3種分級評估指標參數,其中未成熟番茄的外觀形態分級效果最精確,軟爛番茄的外觀形態分級效果最差,6類番茄外觀形態的綜合分類精確度(表5中的測試精度)達到96.57%,表明本研究設計的神經模型對番茄各個外觀形態的識別能力均較強。

表5 5種模型訓練參數的對比

本研究設計并優化后的網絡以CNN-7-SE-5作為記號。將目前常見的4種神經網絡模型輸出節點數微調后,用以自建番茄數據集訓練網絡,并與本研究設計的網絡模型的訓練數據進行對比。從圖5a可以看出,該網絡模型在收斂速度上相較于AlexNet、MobileNet-V2、NasNet-Mobile、ShuffleNet 4種模型更快,迭代500次左右就優先達到90%的訓練精度(準確率),并且整體訓練精度變化穩定,沒有大幅度的變化,最終5種模型的訓練精度都在95%以上。圖5b可以看出,本研究設計的模型也是收斂最快的,迭代1 000次左右便最先將損失值降至0.25,最終5種模型的損失值均在0.13左右。

a:訓練精度曲線;b:訓練損失曲線。圖5 5種模型訓練曲線Fig.5 Five model training curves

本研究設計的模型結構,以自建的6種番茄外觀形態分類數據為數據集進行模型訓練,得到表5中的數據。可以看出,該模型在識別精度上相較于經典模型并沒有明顯優勢,但是在參數量、單張照片測試時間及訓練時間上的優勢明顯,訓練時間減少了22%～96%,測試精度提高了0.18～1.89個百分點,單張照片測試時間減少了37%～83%,此外,CUDA內存占用比例也得到了一定程度的降低。

3.2 試驗模型性能探討與分析

3.2.1 優化后操作對網絡模型的影響 分別對優化后的網絡模型(引入SE模塊、批量歸一化)和未優化的網絡模型進行訓練與測試,對比在相同數據集、環境、超參數條件下2種模型的訓練精度和損失值隨迭代次數的變化趨勢。如圖6所示,在模型訓練過程中共迭代9 810次,加入SE模塊和批量歸一化后的網絡模型在前2 000次迭代中的收斂速度明顯優于未優化網絡的模型,訓練好的模型在測試集中的測試精度也由未優化的93.99%提升至優化后的96.57%,提高了2.58個百分點。

a:訓練精度曲線;b:訓練損失曲線。圖6 模型優化前后性能對比曲線Fig.6 Performance comparison curves before and after model optimization

圖6顯示,與優化后的網絡相比,未優化的網絡在訓練過程中準確率與損失值變化波動起伏較大,通過本研究中的優化操作可以使網絡模型的訓練更加穩定,更有利于網絡模型的建立,在測試精度、網絡訓練穩定性上都能得到一定程度的提升,說明本研究的優化方式是十分有效的。

3.2.2 注意力機制對網絡模型性能的影響 為了驗證注意力機制SE模塊對具體目標的影響,對比番茄外觀形態原圖和3種網絡的Conv5層中激活區域最大特征的通道圖(AlexNet網絡、本研究設計的未加SE模塊的網絡、本研究設計的增加SE模塊后的網絡)。由于AlexNet網絡與本研究設計的網絡同為采用5層卷積層提取特征的網絡,因此選用AlexNet網絡進行對比。圖7b為AlexNet網絡Conv5層中激活區域最大的特征圖,對比原圖(圖7a)可以明顯看出,正向激活區域主要集中在番茄左上角高光區域及周邊區域。由圖7c可以看出,本研究設計的網絡在未加入SE注意力機制時,Conv5層最大激活區域圖中整個正向區域相較于圖7b明顯增加,包含在整個番茄四周。由圖7d可以看出,加入SE注意力機制的Conv5層最大激活區域中的激活區域得到進一步增加,整個番茄區域中絕大部分都被正向激活,使得目標特征得到更多關注,也避免了番茄表面局部特征和背景噪音的干擾,能夠增強網絡分類的泛化能力與魯棒性。

a:原圖;b:AlexNet網絡激活;c:未加SE模塊激活;d:加SE模塊激活。圖7 3種模型的Conv5層激活區域對比Fig.7 Comparison of the activation regions of the Conv5 layer of the three models

3.2.3 優化算法對模型性能的影響 在相同數據集、參數設置的情況下,分別采用SGDM、Adam、RMSprop這3種常見的優化算法對改進后的卷積神經模型進行網絡訓練對比。從圖8可以看出,在前1 000次迭代中,3種優化算法的訓練精度曲線和損失曲線基本保持重合;在迭代次數達到1 000次后,3條曲線的軌跡開始發生變化,其中SGDM優化算法的訓練精度曲線增加幅度和速率都高于采用Adam、RMSprop優化算法的卷積模型;損失值降低幅度和速率也高于采用Adam、RMSprop優化算法的卷積模型。采用SGDM、Adam、RMSprop 3種優化算法的最終模型測試精度分別為96.57%、94.56%、94.28%。由此可見,SGDM優化算法相較于Adam、RMSprop優化算法更適合本模型,測試精度分別提高了2.01個百分點和2.29個百分點,因此在本研究中,SGDM優化算法是更好的選擇。

a:訓練精度曲線;b:訓練損失曲線。圖8 3種優化算法對應的訓練曲線Fig.8 Training curves corresponding to the three optimization algorithms

3.2.4 單一背景數據集對網絡性能的影響 通過傳統的圖像處理手段,先進行濾波降噪,消除噪聲干擾,再通過在RGB和HSV顏色空間的不同算子實現了6種類型番茄與背景的分割,其中注意避免高亮區域對背景分離的干擾,結合RGB空間和YIQ空間兩個空間信息特點,利用布爾運算實現目標的完整分割,大部分情況分割效果較好,如圖9所示。通過對比兩組數據集在相同模型下的訓練效果可以發現,單一黑色背景數據集訓練出的模型測試精度為96.97%,相較于未去除背景的數據集測試精度提高了0.40個百分點,可以推測背景中存在影響學習分類的噪聲,影響了模型的學習,移除背景后減少了背景干擾,使得分類精度得到提升。

第1行的3張圖從左到右依次為去除背景的正常番茄、去除背景的綠柄番茄、去除背景的霉變番茄,第2行的3張圖從左到右依次為去除背景的破裂番茄、去除背景的未成熟番茄、去除背景的軟爛番茄。圖9 消除背景的6種番茄Fig.9 Six tomato samples without background

消除背景后,雖然測試精度得到小幅度提升,但是提升幅度并不明顯,可能是仍有部分數據并未很好地實現背景分割導致,詳見圖10。由于光線照射原因導致背景明暗程度不一致,使得番茄目標不能從背景中完全分割出來,整體數據樣本存在小部分數據不一致,存在的部分背景在訓練過程中會引入不確定的干擾因素,導致訓練精度提升并不明顯。

3張圖從左到右依次為未完全去除背景的破裂番茄、未完全去除背景的綠柄番茄、未完全去除背景的霉變番茄。圖10 背景未完全分割的番茄樣品Fig.10 Tomato sample image with incompletely segmented background

4 結 論

以自采集的6類番茄外觀形態數據集為研究對象,通過數據增廣對數據進行6倍擴增,構建并優化卷積神經網絡算法,對6類不同品質番茄圖像進行檢測與分類,討論網絡模型訓練效果并與其他模型進行對比,探究歸一化操作、注意力SE機制、3種優化算法、數據單一背景等對模型性能的影響,得到如下結論:

(1)本研究設計的卷積神經網絡結構中使用1×1的卷積層和全局平均池化層并通過1個全連接層實現所有神經元的全連接,并傳遞給Softmax分類函數實現分類輸出,與3個全連接層相比,此結構的參數量可以得到極大降低,訓練時使得GPU中的CUDA內存占用比例得到了一定程度的降低。

(2)利用批量歸一化和壓縮激勵模塊(SE模塊)進行網絡結構優化后,與未優化的網絡模型相比,優化后的網絡模型測試精度提高了2.58個百分點。并且對比傳統經典AlexNet、MobileNet-V2、NasNet-Mobile、ShuffleNet 4種網絡模型,具有收斂速度更快、模型體積更小、計算量更少等優勢,訓練時間減少了22%～96%,測試精度提高了0.18～1.89個百分點,單張照片測試時間降低了37%～83%。

(3)采用批量歸一化和注意力機制優化后的網絡訓練過程更加穩定,模型注意力更多集中在番茄整體上,正向激活區域也更多,在一定程度上降低了背景干擾,提升了算法的魯棒性和泛化能力。

(4)探究3種優化算法SGDM、Adam、RMSprop對模型的影響,結果表明,SGDM優化算法的模型測試精度相較于Adam、RMSprop優化算法分別提高了2.01個百分點和2.29個百分點,可見SGDM優化算法更適合該網絡模型與數據集。為了探究單一背景對模型性能的影響,通過圖像處理去除數據集背景,重新訓練后模型的準確率提高到96.97%,相較于未去除背景的數據集測試精度提高了0.40個百分點,可見去除背景在一定程度上降低了背景噪點的干擾,使得模型準確度得到提升。