基于改進MobileNet V3網絡的桃子成熟度分級方法

關鍵詞：桃子；外觀成熟度分級；卷積神經網絡；MobileNet V3；注意力機制；激活函數

中圖分類號：S662.1：S126 文獻標識號：A 文章編號：1001-4942（2024）11-0148-08

中國是世界上最大的桃子生產國，種植面積約為90萬公頃，其中鮮桃產業的生產規模約為1600萬噸，并呈逐年上升的趨勢。然而，由于質量參差不齊，出口量僅占世界出口總量的10%。目前我國桃子外觀成熟度分級主要依賴基于主觀經驗的人工方式，這往往會導致同一批次的桃子成熟度具有較大差別，無法達到高品質標準且難以樹立良好品牌形象來進一步提高產品價格。因此，實現桃子外觀成熟度的智能化分級對提升我國桃子產業規模和效益具有重大現實意義。

在水果智能化分級方面，國內外學者已開展了相關的研究，并提出一些基于機器學習和計算機視覺技術的自動分級方法，可概況為以下幾類：

（1）以水果大小為主要依據的分級方法。目前大多方法使用最大果徑來估計水果大小，進而實現基于果實大小的分級。Throop等首先利用不同角度的蘋果圖像計算出蘋果的最大直徑和最大橫截面面積，再將蘋果視為一個球體，估算出蘋果的大小，進而根據大小進行分級，識別準確率達到97.6%。鄭紀業等提出一種基于線性擬合模型的蘋果大小分級方法，利用直徑像素數估算果實直徑用于蘋果大小分級，準確率可達92%。應義斌等通過采集水果圖像的邊界信息來獲得待測量水果與圖像之間點與點的關系，并提出一種面積修正算法，該方法對水果大小的檢測精度達到96%。鄭羽綸首先計算蘋果的最大和最小半徑比，將最大比值的截面作為果徑面，然后用果徑面的最小外接圓的直徑進行蘋果大小分級。

（2）以水果顏色為主要依據的分級方法。顏色是水果的重要外觀參數，同時也是水果分級任務中需要考慮的重要指標。侯文軍用HSI模型來描述蘋果顏色，并根據色澤直方圖的特點使用4種色度均值來代替蘋果的色澤，然后借助BP神經網絡實現分級。樊澤澤等借助卷積神經網絡提取蘋果圖像的特定顏色分量，并通過二值化處理對目標輪廓進行精確提取，檢測精度達到91.6%。

（3）以水果紋理為主要依據的分級方法。紋理特征可在一定程度上反映水果的成熟度和內部品質。李偉等首先將目標圖像進行灰度化，然后根據紋理圖像中灰度突變的特點對圖像進行銳化處理，通過計算圖像的平均灰度值完成水果的紋理分級。Jafari等通過橙子的視覺紋理粗糙度估算橙皮的厚度。Khoje等借助小波變換、遺傳算法等實現了水果圖像的紋理表征，用于品質分類。

（4）以水果表面缺陷為主要依據的分級方法。水果表面的完整性對其銷量有重要影響。楊濤等首先使用K-means聚類算法對獼猴桃外觀圖像進行分割，然后通過顏色比較確定存在缺陷的果實，最終借助支持向量機（SVM）對獼猴桃進行分級。張婧婧等使用顏色空間聚類方法對蘋果果實的外表缺陷進行檢測，并實現果實的分級。

綜上所述，現有的水果分級方法大多借助傳統圖像處理技術和機器學習算法實現自動分級檢測。然而，此類方法無法實現快速檢測，且在檢測精度方面仍具有一定的提升空間。因此，為實現高精度、高效率的桃子外觀成熟度分級，本研究以卷積神經網絡MobileNet V3為基準模型，構建一種改進的神經網絡模型CS-MobileNet-P-L，用于桃子外觀成熟度自動分級任務中。

1材料與方法

1.1數據采集及處理

本研究選用的桃子品種為萊州蜜桃。為了確保數據的多樣性和真實性，一部分桃子圖像采自山東省泰安市某種植基地，另一部分圖像選自網絡公開數據集。為保證圖像質量的一致性，對圖像進行清洗篩選等預處理操作。預處理后的數據集包含4類共6360張圖片，分別對應4種成熟度等級。具體信息如下：A1表示第一等級，即完全成熟，包含1420張圖片；A2表示第二等級，即基本成熟，包含1500張圖片；A3、A4分別表示第三、四等級，即開始成熟和未成熟兩種狀態，各包含1800張和1640張圖片。4種等級的桃子外觀圖像如圖1所示。按6：2：2的比例將數據集劃分為訓練集、驗證集和測試集三部分，具體信息見表1。

1.2卷積神經網絡MobileNet V3

MobileNet V3是Google公司提出的一種輕量級網絡，能夠在計算資源有限的環境下取得出色的性能。MobileNet V3采用深度可分離卷積（DSConv），并在網絡中引入倒殘差結構，借助其低秩特性實現更為高效的層結構。為了保證特征提取過程中的精度.MobileNet V3模型中使用了一種新的激活函數H-Swish，該函數定義公式為：

在此基礎上.MobileNet V3在倒殘差結構中引入SE注意力機制模塊，構成Bneck結構，該結構工作原理如圖2所示。

1.3改進的卷積神經網絡CS-MobileNet-P-L

由于MobileNet V3在桃子外觀成熟度分級任務中的準確度還有進一步提升的空間，本研究對其網絡結構進行調整和優化，提出改進模型CS-MobileNet-P-L。與原始模型MobileNet V3相比，CS-MobileNet-P-L模型主要在三方面進行了改進：①構建通道位置雙重注意力機制模塊：②調整網絡結構中的激活函數；③改進Last Stage結構。CS-MobileNet-P -L模型的結構參數如表2所示。

1.3.1構建通道位置雙重注意力機制模塊 Mo-bileNet V3中的SE注意力機制在工作過程中未將輸入圖像中的位置信息考慮在內，因此，為使模型在特征提取過程中能夠快速定位到目標區域，本研究引入多方位協調注意力機制模塊CA，通過與SE機制相融合，構建出通道位置雙重注意力機制模塊，協同進行圖像特征的提取，從而提高特征捕獲精度和目標區域定位準確性。如圖3所示，CA注意力機制將通道注意力信息沿水平和垂直兩個方向進行分解，以提取位置信息與通道信息之間的關系，借此增強網絡的特征提取精度。為高效利用圖像表達的特征信息，本研究引入CA注意力機制，采用注意力協調生成方法來確保特征提取的高效性，充分捕獲不同通道間的相關性信息，并利用空間位置信息突出目標區域。

1.3.2調整網絡結構的激活函數 為了進一步提高模型的識別精度，本研究用更為高效的PRe-LU（Parametric Rectified Linear Unit）激活函數來替代Bneck結構中原有的激活函數H- Swish和ReLU。其中，H-Swish激活函數計算復雜度較高；ReLU激活函數在較低維度空間內，正數輸入時輸出等于輸入，而負數輸入時輸出為0，導致一些神經元在訓練過程中永遠不會被激活，從而降低模型的性能。

PReLU激活函數的最大優點是能夠在糾正線性單元參數過程中實現自適應學習，允許神經元在負數輸入時具有非零梯度值。模型訓練過程中，所有神經元都能夠更新其權重，提高模型自適應能力，同時加快模型的收斂速度。PReLU函數的定義如式（2）：

式中，y_i表示非線性激活函數f在通道i的輸入；a_i用來控制函數的斜率，通過對a_i進行調節，可使不同的通道使用不同的激活函數。由于a_i能夠進行自適應學習，因此函數定義式（2）可轉換為式（3）：

通過構建雙重注意力機制和調整激活函數，得到改進后的SC-Bneck-P結構，如圖4所示。

1.3.3改進Last Stage結構 為了提高網絡末端在特征提取階段將特征映射轉化為輸出結果的準確性，對MobileNet V3中的Last Stage結構進行了改進。Last Stage結構的主要任務是通過全局平均池化將圖像特征進行匯總，并將其轉化為固定大小的特征向量，從而降低空間維度，使圖像特征轉化為全局特征，然后通過全連接層將全局特征向量映射為各類別的分數：這些分數經過Softmax層轉化為類別概率分布，表示輸入圖像屬于各類別的概率：輸出層選擇最高概率得分的類別作為模型的預測結果，從而完成模型的預測。然而，在MobileNet V3的Last Stage結構中，全局平均池化層所處理的圖像特征是通過上層的卷積層提取的，但該層卷積核較小，無法捕捉遠距離以及全局結構的特征。而本研究所用數據集中的圖像特征范圍較大，如果仍采用較小的卷積核，某些特征便無法被提取。為解決該問題，對該部分結構進行了改進：首先，將卷積核大小調整為3，以捕捉到更大范圍的特征：然后，在該卷積層后又增加一層卷積，以此構建出層次化的特征表示；最后，將兩個卷積層中的激活函數皆設置為PReLU，以保證模型處理全局結構或捕獲遠距離特征時具有更高的效率。以上改進使得模型在處理廣泛范圍特征時能夠提供更加精確的輸出結果。改進后的Last Stage結構如圖5所示。

1.4性能評估指標

選用準確度（Accuracy，A）、精確度（Preci-sion，P）、召回率（Recall，R）、F1分數（F1）對模型性能進行綜合評估。其中，準確度是全部類別中能夠正確分類的樣本數量在全部樣本數量中的占比：精確度表示在預測結果為某一類別的全部樣本中，預測結果正確的樣本比例：召回率則表示對于某類別，在真實標簽為此類別的全部預測樣本中，預測結果正確的占比；F1分數通過結合精確度和召回率對模型進行綜合評估，是精確度和召回率的調和平均數，可用來衡量模型在精確度和召回率處于平衡時的性能。各指標計算公式為：

式中，TP_i表示第i類中被正確分類的樣本數量；FN_i表示第i類中被錯誤分類的樣本數量；FP_i表示其他類樣本中被錯誤分類為第i類的樣本數量；TN_i表示其他類樣本中未被錯誤分類為第i類的樣本數量。四種指標的值越高，說明模型的預測性能越優越，相反，指標值越低，模型的預測性能就越差。

1.5試驗環境設置

模型的訓練及測試均在Windows 11操作系統上運行，基于Pytorch深度學習框架完成。試驗過程中的硬件參數為Intel（R） Core i5-13500HX@4.70 GHz，內存為16 G 4 800 MHz，GPU采用NVIDIA GeForce RTX 4060，顯存為8 GB。代碼編譯環境為Pycharm，Python版本為3.9。

2結果與分析

2.1訓練策略對比試驗

在深度學習中，訓練策略是指模型訓練之前設定的一系列參數和配置，它們對于模型的性能和學習圖像特征起著重要作用。通過適當調整訓練策略，可以更好地讓模型學習圖像特征，提高性能，并有效避免過擬合，以獲得最佳模型。為驗證不同訓練策略對模型在桃子外觀成熟度識別任務中的影響，本研究以CS-MobileNet-P-L作為基準模型，通過修改優化器和損失函數設置了6種不同的訓練策略（表3），經試驗對比，方案二使用AdamW優化器和CrossEntropyLoss損失函數，展現出優異的整體性能，準確度、精確度、召回率、F1分數分別達到99.32%、99.39%、99.29%、99.33%（表4）。表明對于本研究提出的CS-Mo-bileNet-P-L模型，AdamW優化器比SGD優化器在模型參數優化方面具有更好的效果，同時也體現出CrossEntropyLoss損失函數相對于PolyLoss和FocalLoss在衡量模型的預測標簽與真實標簽之間差異方面表現更出色，能夠鼓勵模型產生更明確的分類決策，具有更廣泛的適用性。

2.2模型結構改進消融試驗

為驗證本研究對MobileNet V3模型各項改進的有效性，采用消融試驗進行對比分析，具體試驗方案如表5所示。其中，方案一為基準模型Mo-bileNet V3，未進行任何改進：方案二是基于方案一將注意力機制模塊改進為通道位置雙重注意力機制：方案三是基于方案二調整Bneck層中的激活函數為PReLU：方案四是在方案三基礎上對Last Stage結構做進一步改進。通過圖6（a）可以清晰地觀察到，在訓練的初始階段，方案一的準確度不僅升幅較小，而且上升速度相對較慢，而經過改進的方案四呈現出明顯的上升趨勢，僅經過前10輪訓練，準確度就已經達到90%的水平。雖然由于數據噪聲或隨機性因素影響，方案四的準確度曲線在某些輪次上出現了一些波動，但整體來看穩定性高于其他三種方案。通過圖6（b）可以觀察到，隨著訓練的進行，與其他三種方案相比，方案四的Loss曲線下降速度最快，雖然在訓練后期存在一些波動，但整體趨于穩定，表明方案四改進的模型取得了良好的性能。總體而言，方案四在整個訓練過程中表現更加出色，表明本研究對模型進行的改進有效。

混淆矩陣能夠有效地可視化每個類別中錯誤分類的情況。根據圖7展示的各方案混淆矩陣來看，方案四盡管在A2類別上的識別精度略低于方案三，但整體性能表現更佳，對各類成熟度桃子的識別效果都較好。

由表6可知，與其他方案相比，在基準模型MobileNet V3的基礎上采用雙重注意力機制模塊、引入高效激活函數、對Last Stage結構進行優化的改進方式（方案四）將模型的準確度分別提高2.71、1.13、0.45個百分點，精確度分別提高2.55、1.05、0.48個百分點，召回率分別提高2.64、1.11、0.39個百分點，Fl分數分別提高2.64、1.10、0.43個百分點。表明方案四改進模型的性能顯著提升，這是因為在Bneck結構中引人多方位協調注意力機制模塊與通道注意力機制共同工作，增強了模型對桃子外觀圖像位置信息的學習能力，使模型對于桃子外觀圖像成熟顯著區域的特征提取能力顯著加強，同時借助PReLU激活函數及改進Last Stage結構的方式進一步提高模型精度，最終使得模型在各評價指標上均取得優異成績，體現出改進方法的有效性。

2.3與傳統神經網絡的對比試驗

為了充分驗證CS-MobileNet-P-L模型對不同成熟度桃子外觀圖像的識別能力，采用相同的訓練策略，將其與另外5種傳統網絡模型Shf-fuleNet、EfficientNet、GhostNet、MobileNetV2、ResNet進行對比試驗，結果如圖8、表7所示?？梢钥闯?，CS-MobileNet-P-L模型隨著訓練輪次的增加，損失函數快速收斂到較小值，準確度明顯提高，且在訓練輪次為40時，模型開始處于收斂狀態：相比于其他5種模型，損失函數曲線和準確度曲線震蕩幅度都較小，說明模型訓練過程更加穩定，魯棒性更好。與其他模型相比，CS-MobileNet-P-L模型的準確度、精確度、召回率、F1分數均最優，分別提高2.24%～9.73%、2.24%～8.42%、2.22%～9.54、2.21～9.51%。綜上所述，本研究構建的CS-MobileNet-P-L模型在桃子外觀成熟度分級任務中達到了較好的性能。

3討論與結論

針對我國桃子生產中存在的問題，即依賴人工進行桃子成熟度分級的誤差較大，導致不同成熟度等級的桃子混雜在一起，無法達到高品質出口銷售標準，本研究提出一種基于MobileNet V3網絡改進的桃子外觀成熟度分級模型CS-Mo-bileNet-P-L，借助AdamW優化器與CrossEntro-pyLoss損失函數對模型進行訓練，成功提升了模型性能：通過構建通道、方位雙重注意力機制及調整激活函數等方法對Bneck結構進行改進，顯著提高了模型的識別精度；同時對Last Stage結構進行優化，使模型能夠更好地捕獲圖像特征并提高精度。最終，改進后的CS-MobileNet-P-L模型在桃子外觀成熟度分級任務中表現出色，準確度、精確度、召回率、F1分數分別達到99.32%、99.39%、99.29%、99.33%，分別比基準模型Mo-bileNet V3提升2.71、2.55、2.64、2.64個百分點，相較于傳統的分類網絡ShffuleNet、EfficientNet、GhostNet、MobileNet V2、ResNet也都有明顯提升，具有穩定的收斂性能和卓越的桃子成熟度分類識別性能。

鑒于桃子品種眾多且外觀差異較大，未來將收集更多地區和品種的桃子圖像，豐富數據集，以提高模型的泛化能力，并致力于開發適用于移動設備的識別軟件。