基于微調優化的深度學習在果蔬識別中的應用

來 曉

（浙江農林大學 信息工程學院，杭州311300）

0 引 言

果蔬農產品種類繁多，對其進行自動分類識別在商品交易智能化以及無人零售推廣方面具有重要意義。近年來物聯網技術的廣泛應用，貿易發展的主要方向趨于商品交易智能化［1］。在新冠病毒疫情影響下，以智能取餐柜為代表的無人零售業率先興起，國家鼓勵全面推行“無接觸”服務，無人零售迎來了新的機會，因此亟需設計表征效果更好的果蔬智能分類器，提高果蔬識別的準確率。

近年來，基于深度學習的計算機視覺研究取得了重大的進展。識別任務的成功與否很大程度上取決于能否獲得大量的訓練樣本，標記訓練樣本是一個昂貴的過程。針對果蔬識別研究，目前大多處于構建數據集、優化分類模型階段［2］。隨著深度學習的不斷發展與完善，深度卷積神經網絡（Convolutional neural network，CNN）廣泛應用于各個領域，尤其是在圖像識別、自然語言處理中取得了巨大的成果。深度神經網絡相比傳統機器學習方法減少了人工干預過程，擁有自主學習特征和表達能力。AlexNet、VggNet16、Inception V3等經典的深度卷積神經網絡，通過數據增強、Dropout方法防止過擬合，使模型適應性更強。

本文基于遷移學習方法對深度學習模型進行改進，使用全局池化技術解決全連接問題，在自主構建的F＆V果蔬數據集上進行遷移學習，用較少的計算資源提高模型識別率。針對融合兩個庫出現的數據不平衡問題，利用模型融合的方法合并果蔬數據集。采用特定的遷移學習引入方式，設計多類實驗，結合實驗數據對比改進后的卷積神經網絡模型在果蔬分類上的性能，與現有的深度學習算法相比，本文提出的果蔬識別方法提取到的特征對果蔬的識別分類更加高效，進而實現果蔬農產品的快速分類。

1 實驗數據

1.1 實驗數據

標記訓練樣本是一個昂貴的過程，針對果蔬識別研究，目前大多處于構建數據集、優化分類模型階段。針對果蔬種類繁多的現狀，以及面對光照、陰影、陽光帶來變化的現實場景，采用融合兩個基數據集的方式構建果蔬數據集F＆V＿1。

（1）通過網絡爬蟲技術采集包含蘋果、香蕉、火龍果等15種常見的果蔬樣本，果蔬圖片按照種類區分，存放在對應果蔬命名的文件夾下。同時人工篩選網絡爬取的數據，手動刪除無法預覽以及標簽與實際不符合的數據，共計3 542張圖片。

（2）選用kaggle公開數據集Fruit Recognize賦予深度學習模型在真實環境中更強的感知孛習能力。Fruit Recognize是Chris Gorgolewski利用高清Logitech網絡攝像頭建立的一個多視角的果蔬圖像數據庫，包含15個類別44 406張果蔬圖像，具體見表1。該數據集在相對不受限制的條件下收集的，采集了一天的不同時間段以及不同天氣環境下的果蔬圖像，具有位于自然光、人工照明等不同照明條件下15種果蔬圖片，能應對光線、陰影、陽光、姿勢等變化情況，如圖1所示。

圖1 果蔬樣本示例Fig.1 Examples of fruit and vegetables images

1.2 數據增強

本文使用的數據增強方法具體包括：

（1）水平翻轉圖像。

（2）對圖像進行透視變換，變換范圍為0～0.2。

（3）將圖像隨機縮放0～0.25倍。

（4）水平平移、垂直平移圖像。在數據集F＆V＿1中，定義來自Fruit Recognize的數據為FP，樣本量為N1，來自Online Picture的數據為OP。使用上述數據增強方式組合，將F＆V＿1數據集擴充了5倍，構成數據增強果蔬數據集F＆V＿2，隨機抽取5次1／5的F＆V＿2數據集樣本得到5個F＆V數據集，具體F＆V見表1。

1.3 研究內容技術路線

通過分析國內外基于圖片識別技術的果蔬分類算法研究，提出了基于深度學習的果蔬識別研究。采用深度學習算法對果蔬圖片自動進行特征提取，從而訓練分類器進行果蔬圖像分類，如圖2所示。進行深度學習模型訓練時，從頭開始訓練一個神經網絡對于有限的計算資源是非常耗時的，往往難以直接訓練出泛化能力足夠強的深度神經網絡。因此，采用遷移學習方法，利用在ImageNet數據集上己經訓練好的網絡，針對自己的任務再進行調整，有效節省訓練時間，提高學習精度。

表1 實驗數據Tab.1 Experimental data

圖2 技術路線Fig.2 Technical route

1.4 實驗測量標準

為了驗證果蔬分類算法的性能，選取合適的性能指標對實驗結果進行評估［3］。采用所有有待識別果蔬農產品的識別率指標平均精確率（Mean Accuracy，MA）、正樣本精確率（Precision，P）、正樣本召回率（Recall，R）、負正類率（FPR）、平衡F分數（balanced F Score，F1-score）、kappa系數（K）來衡量算法的識別率性能。對于每個分類，分別計算每個類正樣本精確率，取不加權平均得到ma cr o-P，由macr o-P的定義可知，某一方法若想獲得較高的平均精確率，就需要每個正樣本精確率都獲得較高的精度。kappa系數值越高，代表模型實現的分類準確性越高，計算公式（1）～（6）如下：

其中，n test為待識別果蔬的總數量，n a為模型正確識別果蔬的數量。

其中，T P i為正樣本正預測；F P i為負樣本負預測；F Ni為正樣本負預測；N為類別數；n y為第i類真實樣本數；n y＾為第i類預測樣本數；n test為待識別果蔬的總數量。

2 基于深度學習的圖像識別

2.1 遷移學習

遷移學習的常用方法有以下幾種：

（1）實例遷移，源域中部分與目標域相似的數據可以通過權重調整的方法重用，用于目標域的學習。

（2）特征遷移，將源域和目標域的交叉特征變換到統一的特征空間，利用傳統的機器識別方法進行分類識別。

（3）參數遷移，源域和目標域共享模型參數，源域中通過大量數據訓練好的模型參數可以應用到目標域上［4］。參數遷移中，如果目標數據集很小而參數量很大，對目標網絡所有參數進行調整，可能會導致過擬合，因此通常固定網絡前n層參數，僅需初始化網絡中的幾層。遷移學習為機器學習領域深度神經網絡訓練，保留和重用網絡模型提供了解決思路。

馮海林等提出基于樹木整體圖像和集成遷移學習的樹種識別，預訓練模型已經具備有助于圖像分類的基本特征（邊緣、顏色、紋理）提取能力，這里采用參數遷移方法［5］。將在ImageNet數據庫上訓練好的模型（VggNet16、ResNet、Inception-V3）的通用特征遷移到果蔬識別的模型中，構成果蔬識別模型Fruit＆Vegetable＿Model（FVM），以提高圖像識別率、減少模型訓練的參數數量提高訓練效率。

2.2 深度學習模型

2.2.1 VggNet16網絡結構

VGG卷積神經網絡在圖像分類和目標檢測任務中都表現出較好的結果，因此VGGNet常被用作模型的特征提取器。VGG16采用統一大小的3×3卷積核替代AlexNet中較大的卷積核（11×11，5×5），簡化了神經網絡結構。反復堆疊3×3的小型卷積核和2×2的池化層，通過不斷加深網絡結構來提升性能。另一方面，隨著網絡的加深，圖像的寬度和高度都以一定的規律不斷地減小，每次池化后縮小一半，信道數目增加一倍，減少了訓練參數。VGG16由13個卷積層和3個全連接層以及Softmax輸出層構成，訓練的特征數量非常大，其中絕大部分參數來自全連接層，使用全局池化層（Global Average Pooling，GAP）替換全連接層以減少訓練參數［6］，如圖3所示。

圖3 基于VGG16的果蔬識別模型Fig.3 Fruit and vegetable recognition model based on VGG16

2.2.2 Inception V3網絡結構

Inception網絡是卷積神經網絡分類器發展史上一個重要的里程碑。Inception V3模型基于卷積神經網絡，在ILSVRC（ImageNet large scale visual recognition challenge）2012分類挑戰賽驗證集上測試，取得了實質性的收益。Inception V3使用更優秀的因子分解方法，分解卷積和積極降維讓計算成本相對較低，同時可以保持高質量檢測。Inception V3整合Inception V2的所有升級，將5×5的卷積分解成兩個3×3的卷積的堆疊，通過這種分解得到28%的相對增益。將空間卷積進一步分解為不對稱卷積，替換3×3的卷積核，分解為1×3和3×1兩個卷積，這種方法在成本上比單個3×3卷積降低33%。Inception模塊中的濾波器擴展，使模型變得更寬，以解決表征性瓶頸局限。

2.2.3 ResNet50網絡結構

深度學習網絡通過不斷加深網絡提升模型最后的分類和識別效果，常規堆疊網絡隨著網絡深度的增加，出現梯度消失和梯度爆炸現象，在開始就阻礙網絡的收斂，導致網絡深度的增加，準確率達到飽和，然后迅速下降問題。針對上述退化問題，He K等提出殘差（Residual）結構，殘差神經網絡（ResNet）在淺層網絡疊加殘差模塊（Residual bloak），避免梯度消失和梯度爆炸問題，使得訓練更深的網絡的同時又能保證良好的性能［7］。經典的殘差網絡模型有ResNet50、ResNet101和ResNet152，分別是50、101、152層ResNet。ResNet50采用了Inception模塊化的結構，利用殘差模塊訓練更深的網絡，結合Inception網絡和VGG網絡的優點，提升模型的訓練效果。具體如圖4所示。

2.3 實驗環境與參數設置

實驗基于Windows10操作系統，處理器為Inter（R）Xeon（R）Silver 4110 CPU＠2.10GHz。神經網絡的搭建、訓練、測試使用python語言編程，調用開源人工神經網絡庫Keras來實現。

圖4 殘差神經網絡Fig.4 ResNet

論文使用ImageNet數據集上訓練好的模型來初始化3種深度學習模型權重。采用Adam優化器進行網絡訓練，通過自適應學習率迭代地更新網絡權重，在較少的內存需求下達到高效的計算。設置的初始學習率為1e-4，batch＿size為32。3個模型經過30個批次訓練之后逐漸收斂，在相同的參數設置下得到最優果蔬分類模型，并對實驗結果進行分析總結。數據集被隨機分為訓練集、驗證集、測試集三部分，數據集占比為6∶2∶2。

2.4 果蔬識別模型的構建

利用參數遷移方法將3種模型的共性知識進行遷移，除去模型的全連接層和softmax層，自定義新的頂層網絡，采用全局池化技術替代原模型中的全連接層連接方式。構成果蔬識別模型Fruit＆Vegetable＿Model（FVM），如圖5所示。

自定義頂層網絡，通過2種方式訓練模型：直接遷移和特定地微調（finetune）方式。直接遷移即只訓練網絡的自定義層，特定地微調（finetune）方式引入F1、F2、F3、F4、F5、F6指針，指針位置指向網絡的特定層，隨著指針的變化，部分底層的權重也隨著訓練。

FVM卷積神經網絡使用交叉熵損失函數來評估真實值和預測值之間的差距，損失函數見式（7）。

式中：H（X，q）為訓練損失；θ為權重參數；e為訓練批次樣本；p為期望概率；q為預測概率。

圖5 果蔬圖像識別模型Fig.5 Image model FVM

Adam（adaptive moment estimation）優化器在模型中用于參數的更新，式（8）～式（13）：

式中：g t計算t時間步的梯度，J（θt-1）為損失函數。

式中：m0初始化為0，β1系數為指數衰減率，控制權重分配（動量與當前梯度），通常取接近于1的值，默認為0.9。

式中：v0初始化為0，β2系數為指數衰減率，控制之前的梯度平方的影響情況，默認為0.999。

式中：對梯度均值mt、v t進行偏差糾正，降低偏差對訓練初期的影響。

式中：ε＝10-8，避免除數變為0，α為學習率默認為0.001。

3 實驗結果與分析

3.1 三種模型直接遷移訓練結果展示

基于VggNet16、ResNet50、Inception V3模型改進的果蔬分類模型FVM1、FVM2、FVM3，在原始數據集上采用直接遷移學習方法遷移共性知識的訓練結果。15種果蔬正樣本精確率P和正樣本召回率的對比結果，如圖6所示。

圖6 15種果蔬正樣本精確率P和正樣本召回率的對比Fig.6 Precision and recall of fruits and vegetables

把3種網絡結構估測的評價指標進行對比，見表2。VGG16的正樣本精確率macr o-P、正樣本召回率macr o-R、F1-S core、kappa系數K分別為92.13%、92.22%、91.55%、98.12%，其平均準確率略低于ResNet50；Inception V3作為檢測模型得到的正樣本精確率ma cr o-P、正樣本召回率macr o-R、F1-Sco r e、kappa系數K分別為87.78%、87.26%、87.52%、86.15%；基于ResNet50的果蔬識別模型具有最高的正樣本精確率macr o-P（0.9344）、最高的正樣本召回率macr o-R（0.9240）、最高的F1-Sco r e（0.9292）及最大的kappa系數K（0.9151）。因此，從綜合結果來看，基于ResNet50構建識別模型略優于基于VGG-16構建的模型，基于Inception V3的識別模型效果略差。

3.2 果蔬識別模型算法對比分析

如圖7～圖9這3個線性圖所示，以F＆V測試集數據作為輸入，分別表示每種果蔬基于FVM1和VGG16的正樣本準確率（P）及正樣本召回率（R）；基于FVM2、FVM2-1、FVM2-2、FVM2-3和Inception V3的正樣本準確率（P）及正樣本召回率（R）；基于FVM3和ResNet50的正樣本準確率（P）及正樣本召回率（R）。

表2 基于直接遷移的各項評價指標系數Tab.2 Evaluation index coefficients based on direct transfer

圖7 FVM1和VGG16正樣本準確率和正樣本召回率的對比Fig.7 Precision and recall between FVM1 and VGG16

圖8 FVM2、FVM2-1、FVM2-2、FVM2-3和Inception V3正樣本準確率和正樣本召回率的對比Fig.8 Precision and recall between FVM2、FVM2-1、FVM2-2、FVM2-3 and Inception V3

圖9 FVM3和ResNet50正樣本準確率和正樣本召回率的對比Fig.9 Precision and recall between FVM3 and ResNet50

把6種模型估測的評價指標進行對比見表3，FVM1的正樣本精確率ma cr o-P、正樣本召回率macr o-R、F1-Score、kappa系數K分別為94.65%、94.19%、94.42%、94.68%，其平均準確率（MA）比VGG16提升了2.84%；基于Inception V3優化得到模型中，FVM2-1的正樣本精確率ma cr o-P、正樣本召回率macro-R、F1-Sco r e、kappa系數的正樣本準確率（P）及正樣本召回率（R）數K在FVM2-模型中指標值最高，可以發現僅調整Inception V3混合層的第二個模塊的參數對識別模型的優化效果最佳，其平均準確率提升了7.33%；基于ResNet50的果蔬識別模型具有最高的正樣本精確率ma cr o-P（0.9588）、最高的正樣本召回率macr o-R（0.9481）、最高的F1-S cor e（0.9534）及最大的kappa系數K（0.9549）。因此，從綜合結果來看，FVM3略優于FVM1和FVM2-1。

表3 基于改進模型的試驗結果Tab.3 Result base on direct transfer

3 結束語

本文提出了一種基于深度學習和遷移學習的果蔬識別方法，解決自然場景中不同光照條件下果蔬圖像識別問題。首先，自行建立一個新的果蔬圖像數據集F＆V，采用多種采集方式下數據融合，打破不同識別系統之間的信息壁壘，建立新的識別模型，保障果蔬數據分類的全面性、互補性和準確性；其次，利用數據增強，增強了預測模型的泛化能力，提升了模型的分類性能。傳統果蔬識別模型人工提取特征困難，對深度學習網絡模型進行改進，使用全局池化技術替換全連接技術連接網絡，結合遷移學習方法構成果蔬識別模型FVM，進一步提升了網絡的準確性。通過微調優化方法，模型的準確性至少提升了3%，文中特定方式的遷移可為不同的模型微調提供參考依據，具有一定的實用價值。在后續的研究中，還可以引入新的預測模型進一步實現農產品自動分類任務。