基于特征融合注意力機制的櫻桃缺陷檢測識別研究

代東南　馬睿　劉起　孫孟研　馬德新

摘要：針對現(xiàn)有櫻桃缺陷檢測識別中存在的問題，為實現(xiàn)移動端智能化快速檢測與精準識別，本研究提出了一種基于卷積神經網絡對櫻桃圖像進行缺陷檢測識別的輕量化模型，可為開發(fā)櫻桃的移動端無損化智能檢測系統(tǒng)奠定理論基礎。首先，將采集到的完好櫻桃、刺激生長櫻桃、雙胞胎櫻桃和腐爛櫻桃4類櫻桃圖像經預處理后按比例劃分訓練集、驗證集和測試集。其次，基于遷移學習對比分析NASNet-Mobile、MohileNetV2、ResNet18、InceptionV3、VGG-16網絡模型后，選擇各方面性能表現(xiàn)良好的MobileNetV2為基線模型，通過微調構建I-MohileNetV2模型：然后在I-MohileNecV2基礎上，嵌入坐標注意力（CA）模塊，構建ICA-MohileNetV2模型，該模型平均準確率達到97.09%，相比于基線模型（90.02%）提高7.85%，比I-MobileNetV2模型（94.34%）提高2.91%。可見，ICA-MobileNetV2作為可部署移動端的輕量化模型，具有較高準確率和較少參數，適用于櫻桃缺陷檢測與多分類任務，為櫻桃缺陷檢測與品質分級研究提供了新思路。

關鍵詞：櫻桃；缺陷檢測；卷積神經網絡；坐標注意力機制

中圖分類號：S126 文獻標識號：A 文章編號：1001-4942（2024）03-0154-09

櫻桃富含大量鐵元素和多種維生素，并以富含維生素C聞名于世，具有美容養(yǎng)顏、排毒祛濕、補血等多種功效。世界上櫻桃主要分布在美國、加拿大、智利等地，中國主要產地為山東、安徽、江蘇等。櫻桃在生長過程中，受遺傳、環(huán)境壓力、植物生長調節(jié)劑使用不當和病蟲害侵襲等的影響，易形成刺激生長櫻桃、雙胞胎櫻桃等畸形果。畸形果占比是櫻桃品質分級的關鍵指標，NY/T2302-2013《農產品等級規(guī)格櫻桃》規(guī)定：特級櫻桃中不能有畸形果：一級櫻桃中畸形果占比≤2%；二級櫻桃中畸形果占比≤5%。由此可見，櫻桃缺陷準確識別對于提高其整體質量評估、減少經濟損失以及優(yōu)化H動化采摘系統(tǒng)具有重要意義。目前，櫻桃缺陷的檢測識別主要依賴人工目視檢測，這種方法既耗時費力，也不適合大批量檢測，且會造成一定資源浪費。因此，開發(fā)一種準確、高效且無損檢測櫻桃缺陷的方法具有重要的實際應用價值。

深度學習（deep learning，DL）是一種表示學習方法，與傳統(tǒng)的機器學習方法相比能更好地提取數據特征，目前在果實識別、病害檢測等農業(yè)生產活動中應用較廣泛。如Hossain等用深度學習方法搭建了水果識別框架：張永飛等提出了一種基于深度學習的關鍵點檢測方法，能對櫻桃的大小分級和有無果梗進行準確判別。基于深度學習的卷積神經網絡（convolutional neuralnetworks，CNN）可通過自動提取并學習數據的多層表征來實現(xiàn)對復雜模式的模型構建，現(xiàn)已有AlexNet、VGG、GoogeNet、Inception、ResNet等卷積神經網絡被提出，這為提高圖像識別分類精度提供了新的技術支持。周輝禮利用CNN依據蘋果表皮成熟度進行分級，準確率為82%：Nithya等利用基于深度CNN的計算機視覺系統(tǒng)對優(yōu)質芒果進行分類，準確率達98%。但傳統(tǒng)的CNN模型復雜度高，不易在移動設備上開發(fā)應用，如李天華等發(fā)現(xiàn)基于深度學習的視覺識別算法是采摘機器人的關鍵技術之一，但其在實際運用中難以兼顧實時性和精準性。因此，建立便于移動端搭載的高效CNN模型對于拓展其實際應用領域具有深遠意義。

目前基于CNN對櫻桃缺陷檢測識別的研究相對較少，且大多研究中使用的網絡模型參數量大，難以在移動端部署。劉洋等綜合比較Mo-bileNetV1模型和InceptionV3模型后，發(fā)現(xiàn)Mo-bileNetV1模型部署在移動端性能更優(yōu)。因此，本研究利用構建的4類櫻桃數據集，以輕量化Mo-bileNetV2網絡模型為基礎，微調構建新的模塊，并添加特征融合注意力機制，構建了ICA-Mobile-NetV2模型，獲得了較高的櫻桃缺陷檢測準確率，且模型穩(wěn)定性較好，適合移動端搭載，可為進一步開發(fā)櫻桃缺陷在線識別系統(tǒng)提供技術支撐。

1 材料與方法

1.1 數據集構建

1.1.1 圖像采集

供試櫻桃品種為市面常見的甜櫻桃主栽品種之一紅燈櫻桃。在5月下旬紅燈櫻桃成熟期，于青島平度、青島嶗山、煙臺福山櫻桃產區(qū)采摘櫻桃樣品，然后在室內自然光照下采集櫻桃圖像，即：以A4白紙為背景，固定位置擺放櫻桃，采用佳能EOS80D單反相機（1800萬像素）進行拍攝。共采集1549幅圖像，建立完好櫻桃、刺激生長櫻桃、雙胞胎櫻桃、腐爛櫻桃4類數據集。各類櫻桃示例見圖1。隨機對每類櫻桃圖像進行劃分：70%作為訓練集，20%作為驗證集，10%作為測試集。各類數據集劃分詳情見表1。

1.1.2 圖像預處理

由于采集的樣本量較小，模型可能面臨泛化能力不足的問題。為解決此問題，采用數據增強技術如隨機旋轉、水平翻轉、垂直翻轉、對比度調整和亮度調整等來擴充數據集。以刺激生長櫻桃圖像為例，經過數據增強處理后的效果如圖2所示。

為了進一步解決數據集中不同類別圖像數量占比不均的問題，采用數據平衡算法計算權重。設總類別數為C，類別i的樣本數為ni，總樣本數為N，那么，類別i的權重wi計算為：

wi=N/（C×ni）。

該算法將不同類別映射為不同權值，從而實現(xiàn)各數據集間的數據平衡，有助于提高深度學習模型在圖像分類任務中的性能。

1.2 試驗環(huán)境與參數設置

本試驗基于TensorFlow平臺，采用Keras深度學習框架。運行環(huán)境為Windows10專業(yè)版（64位）操作系統(tǒng)，處理器為Intel Core i5-7300HQ，內存8GB，顯卡為NVIDIA GeForce CTX 1050，顯存8CB。試驗參數設置見表2。

1.3 模型性能評價指標

采用準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1分數（F1-Score）、混淆矩陣（Confusion Matrix）作為模型性能評價指標。其中，Accuracy為所有被正確識別的樣本數占總樣本數的比例：Precision是衡量模型正確預測能力的指標，為預測正確的樣本數量占總體的比例：Recall表示在真實樣本中被正確預測的樣本數量占總樣本的比例；F1-Score是結合Precision和Recall的綜合指標，為Precision和Recall的調和平均數，取值范圍是0-1，值越接近1表示輸出結果越好。計算公式如下：

式中：TP表示實際為正也被預測為正的樣本數量：FP表示實際為負但被預測為正的樣本數量：FN表示實際為正但被預測為負的樣本數量：TN表示實際為負也被預測為負的樣本數量。

混淆矩陣又稱可能性矩陣或錯誤矩陣，用于比較分類結果和實際測得值。作為可視化工具，可以把分類結果精度顯示在一個混淆矩陣里。

1.4 模型構建

1.4.1 基線網絡模型篩選

選擇5種網絡模型，包括MobileNetV2、NASNet-Mobile、VGG-16、In-ceptionV3、ResNet18，利用訓練集數據進行模型訓練。通過比較5種模型的識別效果（表3），Mo-bileNetV2模型具有較高的識別準確率，且模型參數量較小，易于后期在移動端設備部署。因此，本研究選用MobileNetV2作為基線網絡模型。

1.4.2 MobileNetV2網絡結構

MobileNetV2是2018年Sandler等提出的一款輕量型CNN模型。MobileNetV2采用深度可分離卷積代替普通卷積，可減少卷積核參數量，降低計算復雜度以加快運行速度，從而使模型輕量化，利于面向實際的移動端應用場景。MobileNetV2網絡由卷積層、池化層以及系列瓶頸結構（Bottleneck）構成，見表4，其中Conv2d為普通的標準卷積操作，Avgpool表示全局平均池化。

Bottleneck結構（圖3）在MobileNetV2中起到降低參數量、減少計算復雜度并提高計算效率的作用，由三層組成：1×1的卷積層（擴展層）、3×3的深度可分離卷積層以及1×1的卷積層（投影層）。擴展層用于將輸入特征圖的通道數增加，即擴大其表示能力：緊接著的3x3深度卷積層通過分離通道間的卷積操作來減少計算量：投影層將擴展后的特征圖壓縮回原通道數，避免了過多的信息丟失。Bottleneck結構有效地實現(xiàn)了計算資源與模型性能之間的平衡，確保了模型在維持高效率的同時，也能夠提供杰出的性能表現(xiàn)，使得MobileNetV2模型在資源受限的設備上仍具有較好的適用性。

1.4.3 基于預訓練模型的遷移學習策略

基于預訓練模型的遷移學習策略是一種將現(xiàn)有預訓練模型（例如在ImageNet上訓練過的深度卷積神經網絡）作為新任務的基礎結構，并在此基礎上進行修改和擴展的方法。該策略可以通過利用預訓練模型中已經學到的通用特征提取能力，加速新任務的學習過程，并提高模型的性能。本研究使用MobileNetV2作為預訓練模型，在此基礎上構建新的全連接層，以幫助MobileNetV2模型更好地適應櫻桃分類任務，捕捉到相關特征。考慮到全連接層不同的神經元個數搭配不同的激活函數對網絡學習能力和泛化能力的影響，即較多的神經元數量可能會提高模型的表示能力和擬合能力，但同時也可能增加計算量和過擬合的風險，反之，較少的神經元數量會降低計算量和過擬合風險，但可能限制模型的表示能力，因此，本研究將128、256、512、1024、2048這5種不同數量的神經元，分別搭配Relu與Leaky-Relu兩種激活函數，設計5種不同的模塊進行逐一對比，并對4種學習率（0.1、0.01、0.001、0.0001）進行測試，選出性能表現(xiàn)優(yōu)秀的一組參數搭配作為后續(xù)試驗的默認參數設置。

1.4.4 特征融合注意力機制

注意力機制（atten-tion mechanism）是機器學習中的一種數據處理方法，廣泛應用在自然語言處理、圖像識別等各種類型的機器學習任務中，主要使網絡能夠更加關注于重要的局部信息。Hou等在2021年提出了一種為輕量級網絡設計的注意力機制，稱為坐標注意力（coordinate attention，CA），其結構如圖4所示。CA通過在x和y兩個方向上進行全局池化，將輸入特征在垂直和水平方向上聚合為兩個獨立的方向感知特征圖。與SE通道注意力不同，CA機制中每個注意力圖都捕獲了輸入特征圖沿著一個空間方向的長程依賴關系。CA機制通過將空間坐標信息與通道特征加權融合，既提高了模型特征表示能力，又能增強模型泛化能力，避免增加計算量的同時擴大感受野。

因CA靈活高效，可將其插入輕量級網絡以提高網絡精度。本研究將CA模塊添加至Mobile-NetV2網絡模塊Bottleneck倒置殘差結構的3×3深度可分離卷積與1×1卷積之間，以提高卷積層的注意力和感知力，進而提高模型的感知精度和分類性能，同時還能減少模型參數和加速模型訓練過程。引入CA的MobileNetV2結構如圖5所示。

2 結果與分析

2.1 遷移學習策略中相關參數的測試調整

2.1.1 全連接層神經元與激活函數的確定

從圖6可見，當神經元個數為256、搭配Relu激活函數時，模型取得最高準確率93.40%，說明此時的模型非線性表達能力和學習能力較原始模型有顯著增強。全連接層神經元數量繼續(xù)增加，兩種激活函數間的差別縮小，且準確率出現(xiàn)一定的下降，這可能是因為隨著神經元個數的增加，模型復雜度提高，運算效率降低，產生過擬合趨勢。因此，最終確定神經元個數為256，搭配Relu激活函數。

2.1.2 學習率的確定

學習率（learning rate，Lr）是訓練模型時用于控制模型權重更新幅度的超參數。過低的學習率易導致收斂速度較慢，困在局部最小值附近：過高的學習率則易導致訓練過程不穩(wěn)定，甚至無法收斂。本研究在控制其他變量相同的條件下，對0.1、0.01、0.001、0.0001這4種學習率進行測試，結果（圖7）顯示，當將學習率設置為0.001時，訓練過程較為平穩(wěn)，模型穩(wěn)定性增強，收斂速度快，準確率提高。

經過上述測試分析，最終確定學習率為0.001、全連接層神經元個數為256并搭配Relu激活函數的效果最好，由此組合成微調模塊后的網絡模型I-MobileNetV2。

2.2 注意力機制對模型性能影響分析

在I-MobileNetV2基礎上，添加CA模塊，組合成新的網絡模型ICA-MobileNetV2。對I-Mo-bileNetV2、ICA-MobileNetV2與未調整的Mobile-NetV2模型的識別效果進行對比，結果（圖8）顯示，ICA-MobileNetV2準確率明顯高于Mobile-NetV2和I-MobileNetV2模型，曲線振蕩幅度變小，且損失值下降更快。表明改進后的ICA-Mo-bileNetV2模型性能提升，能快速平穩(wěn)收斂，而且收斂后的損失值也明顯低于改進前。

為進一步證實模型改進的有效性，本研究又進行了消融試驗，即在參數不變的情況下，在I-MobileNetV2與MobileNetV2的同一位置分別添加SA（spatial attention）、SE（squeeze-and-excita-tion）和CBAM（convolutional block attention mod-ule）三種注意力模塊，對比分析這些改進模型與本研究提出模型ICA-MobileNetV2在驗證集上的準確率。由表5可以看出，本研究提出的ICA-MobileNetV2模型對櫻桃缺陷識別的準確率最高，達到97.09%，明顯高于其他模型1.08-7.04個百分點。

2.3 ICA-MobileNetV2模型的櫻桃識別效果分析

利用測試集的櫻桃圖像數據對ICA-Mobile-NetV2模型的識別效果進行評價。結果（表6）顯示，該模型對雙胞胎櫻桃的識別效果最好，準確率、精確度、召回率、F1分數均達到100%。基于F1分數，該模型對四類櫻桃的識別效果排序為雙胞胎櫻桃>完好櫻桃>腐爛櫻桃>刺激生長櫻桃。總體來看，ICA-MobileNetV2模型對四類櫻桃的識別分類效果較好，各指標均值都達到97%。

圖9是ICA-MobileNetV2測試結果的混淆矩陣。可見，預測值密集分布在對角線上，僅個別出現(xiàn)分類錯誤，這可能是因為部分刺激生長情況相對不明顯的櫻桃以及腐爛范圍較小的櫻桃與完好櫻桃間相似度較高，特征提取過程中不易區(qū)分，從而導致識別錯誤。

3 結論

本研究通過對比分析VCG-16、ResNet18、NASNet-Mobile、MobileNetV2、InceptionV3模型的識別效果，選擇參數量小且準確率較高的輕量級模型MobileNetV2作為基線網絡模型。在此基礎上，對遷移學習策略中的神經元數量、激活函數及學習率進行測試，構建了一個新的I-MobileNetV2模型，在預處理后的櫻桃數據測試集上，達到了94.34%的識別準確率：進一步在I-MobileNetV2網絡的殘差結構中添加CA模塊，構建了ICA-MobileNetV2模型。用驗證集櫻桃圖像對ICA-MobileNetV2模型進行檢驗，識別準確率達到97.09%，可以實現(xiàn)對缺陷櫻桃的高效識別與分類。

本研究基于特征融合注意力機制實現(xiàn)對缺陷櫻桃的識別，不僅省時省力，可有效減輕人工分揀對櫻桃果實的二次損傷，而且輕量化的網絡結構也提高了其在可移動智能篩選設備中部署的可行性。后續(xù)將增加櫻桃品種及缺陷樣本種類，豐富數據集，同時繼續(xù)優(yōu)化模型，提高其識別速度和能力，以更好地投入到生產實踐中。

基金項目：山東省自然科學基金項目（ZR2022MC152）；山東省高等學校青創(chuàng)人才引育計劃項目（202202027）