基于改進ResNet50模型的咖啡生豆質量和缺陷檢測方法

摘要：

咖啡生豆的質量決定著商品咖啡豆的價格，目前對咖啡生豆的篩選主要由人工完成，費時費力。提出一種基于改進ResNet50模型來識別咖啡生豆的方法，首先收集8 000張咖啡生豆圖像建立數據集，并對其進行數據增強，基于ResNet50模型加入CBAM注意力機制，引入遷移學習機制，并使用深度可分離卷積來代替ResNet50殘差單元中的傳統卷積，構建適用于咖啡生豆分類識別的ResNet50-CBAM-DW模型。為評估模型改進的有效性，與ResNet50、AlexNet、VGG16、MobileNetV2等模型進行比較，改進后模型準確率達到91.1%，相較于原ResNet50模型準確率提升3.0%，參數量降低39.0%。

關鍵詞：殘差網絡；咖啡豆；注意力機制；卷積神經網絡；深度可分離卷積

中圖分類號：S571.2; TP391.41

文獻標識碼：A

文章編號：2095-5553 （2024） 04-0237-07

收稿日期：2023年3月7日" 修回日期：2023年5月24日

基金項目： 山東省重大科技創新工程（2021LZGC014—3）；青島農業大學研究生創新計劃項目（QNYCX22038）

第一作者：紀元浩，1998年生，男，山東菏澤人，碩士研究生；研究方向為農業工程與信息技術。E-mail： summerwen2023@163.com

通訊作者：許金普，1979年生，男，山東博興人，博士，副教授，碩導；研究方向為農業信息技術。E-mail： xjp@qau.edu.cn

A method for detecting quality and defects in raw coffee beans based on

improved ResNet50 model

Ji Yuanhao1， Xu Jinpu1， Yan Beibei1， Xue Junlong2

（1. College of Animation and Media， Qingdao Agricultural University， Qingdao， 266109， China；

2. Shandong Institute of Innovation Development， Jinan， 250101， China）

Abstract：

The quality of raw coffee beans determines the price of commercial coffee beans. Currently， the screening of raw coffee beans is mainly done manually， which is time-consuming and laborious." This paper proposes a method to identify raw coffee beans based on an improved ResNet50 model. Firstly， 8 000 images of raw coffee beans were collected to build a dataset and data enhancement was applied to it. A ResNet50-CBAM-DW model for coffee bean classification recognition was constructed based on the ResNet50 model by adding a CBAM attention mechanism， by introducing a migration learning mechanism and using deep separable convolution instead of the conventional convolution in the ResNet50 residual unit. In order to evaluate the effectiveness of the model improvement， the accuracy of the improved model was compared with ResNet50， AlexNet， VGG16， MobileNetV2 and other models， and the accuracy of the improved model reached 91.1%， which improved 3.0% compared with the original ResNet50 model and reduced the number of parameters by 39.0%.

Keywords：

residual networks; coffee beans; attention mechanism; convolutional neural networks; deep separable convolution

0 引言

中國已成為世界上主要的咖啡生產大國、貿易大國和消費大國之一，近些年我國逐漸發展出了自己獨特的咖啡文化和咖啡產業鏈［1］，其中對咖啡生豆的篩選是一個重要的環節。咖啡生豆的外表可能會有破損、褪色、腐爛等情況，這些瑕疵豆的質量較差，容易影響咖啡飲料的口感和質量［2］。因此，找到一種高效精準的咖啡生豆智能檢測方法尤為重要。

除傳統的人工目測方法外，目前應用于咖啡生豆的檢測技術主要有近紅外光譜、多光譜成像和機械分選等。Khuwijitjaru等［3］采用近紅外光譜技術對優質、缺陷、污染的生咖啡豆進行分類，準確率為97.5%。Gomes等［4］使用多光譜成像技術區分傳統和特殊類別的生咖啡豆實現了96%的準確率。但是上述方法都存在成本過高，現實較為復雜的問題而難以大規模推廣應用。

隨著近些年卷積神經網絡模型的不斷更迭［5］，各種網絡層次越來越深，結構越來越復雜，精度也不斷提升。目前，深度學習在解決農業產品品質檢測［6］、分類檢測［7］、病蟲害［8］等問題方面表現出色。

國內外也有部分學者根據咖啡生豆缺陷豆識別的需求，以深度學習為基礎提出了多種解決方案。如Huang等［9］利用深度學習算法對同品種咖啡生豆進行二分類（優質豆、壞豆）劃分，準確率達到了93%。Adiwijaya等［10］從咖啡豆顏色角度入手，將小樣本同品種咖啡生豆中的優質豆劃分為AA、A、B三類，實現了83%的準確率。趙玉清等［11］采用機器視覺技術提取咖啡豆輪廓、顏色和紋理3類特征，將特征組合并在SVM檢測模型上平均精度達86.1%。上述提到的各種方法雖然實現了對咖啡生豆的分類，但是在精度上還有很大的提升空間，另一方面在實際生產過程中，不同形狀的咖啡生豆經濟價值也不盡相同，如咖啡生豆優質豆中的外觀為圓形的小圓豆［2］因其特殊價值通常被篩選出來，另一種外觀特征與優質豆相似的但形態較為細長扁平的長粒豆也被篩選出來，而缺陷豆通常不必做具體的細節劃分直接將其剔除。

本文針對以上存在的問題，選擇使用網絡層次較深、提取特征能力較強的ResNet網絡，提出一種基于改進ResNet50的識別模型，通過對原有的ResNet50模型結構進行修改，并借鑒MobileNet網絡［12］的思想，使用深度可分離卷積方法代替傳統卷積層，在不影響準確率的前提下，減少模型參數，提高收斂速度。并且引入CBAM注意力機制，使其能夠更加精準地提取圖像的特征，增加模型的精準度，同時將ImageNet數據集的預訓練權重進行遷移訓練，以加快模型的訓練和擬合，從而有效地減少模型的訓練時長，實現咖啡生豆高精準分類，為后續在咖啡生豆智能篩選設備的應用上提供基礎。

1 材料與方法

1.1 數據來源

本文采用USK-Coffee［13］項目所收集的阿拉比卡咖啡生豆圖片集合，此數據集共包含4種類別：小圓豆、長粒豆、壞豆、優質豆。圖像尺寸為256像素×256像素。試驗樣本共計8 000幅圖像，每種類別圖像樣本各2 000幅。圖像樣本示例如圖1所示。

1.2 數據處理

在對圖像數據集進行分類之前，首先要對圖像進行預處理，圖片大小需適配網絡輸入要求，將圖像大小調整為統一的尺寸，并使用ImageNet權重進行圖像歸一化，使模型在訓練和預測時能夠更容易地處理不同大小和像素范圍的圖像。將圖像的尺寸縮放為224像素×224像素，另外對圖像使用裁剪、翻轉、平移、旋轉組合方式來進行數據增強，從而提高模型的泛化能力［14］。并按照7∶2∶1的比例劃分訓練集驗證集和測試集，數據集圖片數量如表1所示。驗證集用于檢驗模型效果的可靠性，測試集在模型訓練和數據增強過程中不參與，而是用于評估模型最終表現的優劣。

2 模型結構

2.1 ResNet50殘差網絡

ResNet是由He等［15］提出的一種深度卷積神經網絡，與傳統的深度卷積神經網絡不同，ResNet采用了殘差學習機制，即在每個卷積塊中添加殘差連接，使得網絡中的每一層輸出都能和輸入相加。這樣就可以使得網絡在訓練時能夠更快地收斂，并且由于引入了殘差連接可以有效地防止梯度消失和梯度爆炸的發生，從而達到更好的性能。ResNet50網絡通過引入殘差結構解決由于網絡過深導致的退化問題，使梯度在傳遞過程中不會消失。

在殘差網絡中，網絡的每一層的輸出都是通過計算H（x）=F（x）+x得到的，其中F（x）是這一層的殘差映射，x是這一層的輸入，H（x）是這一層的輸出。殘差映射F（x）的作用是把前面層的輸出作為輸入，并通過一系列卷積和非線性激活函數來計算出新的特征。如果在殘差映射之后加上一個恒等映射層，那么網絡的輸出就等于輸入，這使得殘差網絡的網絡深度可以非常大，但是不增加誤差，從而提高了網絡的表達能力。

本文選擇ResNet50殘差網絡作為基本骨架，并對其進行了改進，并使用ResNet50的殘差塊作為基本的構建模塊，然后在其上進行修改和擴展，以適應咖啡生豆的應用場景。另一方面通過遷移訓練的方式，使用已有的ImageNet權重遷移至模型進行訓練，從而獲得較好的模型性能。殘差網絡如圖2所示。

2.2 模型改進

2.2.1 注意力機制

注意力機制是深度學習中一種模仿人的認知注意力的技術，可以有效地分配模型的計算能力，使其集中在需要注意的特征上。這能夠提升模型的特征學習能力，并且避免在不必要的特征上浪費資源，從而使網絡能夠更加關注于重要的局部信息［16］。CBAM注意力機制（Convolutional block attention module， CBAM）結構包括2個子模塊：通道注意力子模塊和空間注意力子模塊。其結構如圖3所示。

通道注意力子模塊通過計算每個通道的權重來調整輸入張量的每個通道的貢獻，輸入是一個三維張量，維度分別為高度（H）、寬度（W）和通道數（C）。

2.2.2 深度可分離卷積

本文使用的骨干網絡ResNet50在通過不斷堆疊網絡層的基礎上利用殘差結構避免了梯度爆炸和梯度消失，做到了提取特征能力強，準確率高［17］。但是隨著網絡層數的增加，網絡的參數量也隨之增加，從而影響網絡訓練效率。針對此問題，本文借鑒了MobileNet網絡中的深度可分離卷積技術［18］，并將其應用于ResNet50網絡中的傳統卷積，以實現網絡的輕量化。

深度可分離卷積是一種卷積操作，其主要目的是降低參數量，提高卷積的效率；將傳統的卷積操作分成深度卷積和逐點卷積兩部分，如圖5所示。

本文使用深度可分離卷積（Depthwise separable convolutions）來替換ResNet50中的殘差模塊的第二個卷積層，如圖6所示。

首先，對輸入特征圖的每個通道分別使用M個大小為k×k的卷積核進行卷積，得到M個特征圖。然后，使用N個逐點卷積將這M個特征圖在通道上疊加。通過這樣的操作，深度可分離卷積可以在空間和通道維度上分別學習特征。相比傳統卷積，深度可分離卷積所需要的參數量要少很多，k×k×M+M×N，是傳統卷積參數量的1N+k21。

3 試驗結果與分析

3.1 試驗環境

試驗采用的處理器為Intel Core i7 12700H，內存16 G，顯卡為NVIDIA GeForce RTX 3080，顯存8 GB，深度學習框架為TensorFlow2.7.1，編程語言為Python3.7.0。

3.2 參數設置

在訓練卷積神經網絡模型時，模型參數的設置會直接影響訓練的效果。在本試驗中，批大小（Batch_size）設置為4，訓練迭代20個時期（Epochs），并使用Adam優化器。初始學習率設置為0.002，在將圖像輸入網絡訓練之前，先對圖像進行預處理和歸一化處理。

由于網絡層數較多，模型參數量大，因此將ImageNet上訓練好的模型參數來初始化當前模型權重，以加快模型的訓練和擬合，有效地提高模型的訓練效率。

3.3 注意力機制和深度可分離卷積的影響

為證實本文試驗改進的有效性，對比ResNet50在添加SA注意力模塊、CA注意力模塊、CBAM注意力模塊、不添加注意力模塊、僅修改深度可分離卷積層和ResNet50-CBAM-DW模型。將6種模型應用于測試集，最終得到6種模型準確率分別為89.5%、88.3%、91.8%、88.1%、87.0%、91.1%。6種模型的驗證集性能對比如圖7所示。

試驗將深度可分離卷積來替換ResNet50的殘差模塊中的第二個卷積層，試驗結果表明，本模型（ResNet50-CBAM-DW）的準確率為91.1%，相對于修改之前的模型（ResNet50-CBAM）準確率僅降低0.7%，而參數量減少了40.9%。參數量對比如表2所示。在模型的損失值方面，ResNet50-CBAM-DW模型損失值最小，相比較而言表現良好，綜合以上方面，ResNet50-CBAM-DW模型相對于ResNet50模型準確率有了3.0%的提升，通過在驗證集性能上的表現可以看出，模型在第10輪左右開始穩定收斂，且沒有較大波動，得益于深度可分離卷積的存在，使模型在參數量和模型準確率之前取得了一個平衡，在保證網絡訓練效率的同時，也能有效減少參數的數量，從而緩解隨著網絡層數增加而導致的網絡訓練效率下降的問題，為以后在移動端部署打下基礎。

3.4 ResNet50-CBAM-DW模型改進前后對比

為驗證模型ResNet50-CBAM-DW改進的有效性，將本模型與其他常見的應用與圖像分類的卷積神經網絡模型MobileNetV2、InceptionV3、VGG16、AlexNet在咖啡生豆數據集上作對比。訓練時保持各個模型參數一致，Softmax輸出統一為4分類，在相同的訓練環境下迭代20次。各個模型的訓練集性能對比如圖8所示。

由圖8可知，ResNet50-CBAM-DW模型表現最好，且相對于其他模型更加穩定，20次迭代訓練后準確率為91.1%，AlexNet模型震蕩明顯，準確率達到84.8%，InceptionV3和MobileNetV2模型表現較差，兩種模型準確率分別為85.2%和84.6%。VGG16模型相比于其他CNN模型表現較好，準確率達到了87%，相比本試驗模型準確率低4.1%，但是其參數量是本試驗模型的三倍左右，試驗數據如表3所示。

通過與其他卷積神經網絡模型比較，本文提出的ResNet50-CBAM-DW模型在咖啡生豆識別方面取得了較好效果。通過在殘差結構中添加CBAM注意力機制，增加了模型對特征信息的關注權重，提高了算法性能，另一方面將殘差結構中的傳統卷積替換為深度可分離卷積，大幅減少了模型的參數量。

3.5 咖啡生豆分類識別結果的模型評價指標和混淆矩陣分析

準確率（Accuracy）為所有被正確識別的樣本數占總樣本數的比例。精確率（Precision）是衡量模型正確預測能力的指標，代表了預測正確的樣本數量占總體的比例。召回率（Recall）表示在真實樣本中，被正確預測的樣本數量占總樣本的比例。F1分數（F1-Score）是結合Precision和Recall的綜合指標，取值為Precision和Recall的調和平均數，其取值范圍是0～1，1代表模型的最優輸出，0代表模型的最差輸出。

根據表4可以看出，少量的長粒豆和優質豆出現了預測錯誤。這可能是由于長粒豆和優質豆的外觀特征高度相似，導致模型難以區分。此外，壞豆和優質豆也出現了混淆，這可能是由于壞豆中的部分瑕疵特征導致模型容易識別錯誤。總的來說，本文提出的ResNet50-CBAM-DW模型在測試的咖啡生豆數據集上表現出優良的分類性能，能夠較好地區分咖啡生豆的種類，并能準確地對咖啡生豆進行分類。另一方面，通過混淆矩陣可以計算出分類模型的各個類別的準確率、精確度、F1分數、召回率。計算結果如表5所示。

通過表5可知，本模型對小圓豆的識別效果最好，對優質豆的識別效果略有不足，以F1分數為標準對分類性能排序的結果為：小圓豆、長粒豆、壞豆、優質豆。總體來看，針對咖啡生豆測試集的識別準確率為91.1%，精確度91.3%，F1分數為91.1%。這說明ResNet50-CBAM-DW模型在咖啡生豆分類任務上表現出色。

4 結論

1）" ResNet50-CBAM-DW網絡模型在咖啡生豆分類任務中識別準確率達到91.1%，相較于ResNet50模型準確率提升了3%，與MobileNetV2、InceptionV3、VGG16、AlexNet模型相比，在測試集準確率上分別提升了6.5%、5.9%、4.1%、6.3%。

2） 通過使用深度可分離卷積來替代ResNet50模型中的殘差單元里的傳統卷積，使ResNet50-CBAM-DW模型相較于ResNet50-CBAM模型參數量減少40.9%，而準確率僅降低0.7個百分點，綜合參數量、準確率和內存占用量考慮來看，ResNet50-CBAM-DW模型更優。

總體而言，本文提出的ResNet50-CBAM-DW模型采用大量的咖啡生豆數據集進行訓練，可用實現對咖啡生豆四個類別（壞豆、優質豆、長粒豆、小圓豆）的快速檢測，準確高效。不同于人肉眼判斷易受主觀影響，檢測具有客觀性，可以實際應用與咖啡生豆的智能篩選設備。在后期的研究中，還會考慮在復雜背景中瑕疵豆的不同外觀特征對模型的影響，使模型能夠更好地投入生產實踐中，為智慧農業添磚加瓦。

參 考 文 獻

［1］ 黃家雄， 黃琳， 呂玉蘭， 等. 中國咖啡產業發展前景分析［J］. 云南農業科技， 2018（6）： 4-7.

Huang Jiaxiong， Huang Lin， Lü Yulan， et al. Analysis of development prospect of coffee sector in China ［J］. Yunnan Agricultural Science and Technology， 2018（6）： 4-7.

［2］ 胡榮鎖， 方樂天， 況沁蕊， 等. 云南臨滄產區咖啡干香感官特征解析及杯品質量分析［J］. 食品科學， 2021， 42（20）： 180-187.

Hu Rongsuo， Fang Letian， Kuang Qinrui， et al. Sensory characteristics of dry aroma and cupping quality of coffee from Lincang， Yunnan ［J］. Food Science， 2021， 42（20）： 180-187.

［3］ Khuwijitjaru P. Near infrared spectroscopy research performance in food science and technology ［J］. NIR News， 2018， 29（3）： 12-14.

［4］ Gomes W P C， Gonalves L， da Silva C B， et al. Application of multispectral imaging combined with machine learning models to discriminate special and traditional green coffee ［J］. Computers and Electronics in Agriculture， 2022， 198： 107097.

［5］ 張珂， 馮曉晗， 郭玉榮， 等. 圖像分類的深度卷積神經網絡模型綜述［J］. 中國圖象圖形學報， 2021， 26（10）： 2305-2325.

Zhang Ke， Feng Xiaohan， Guo Yurong， et al. Overview of deep convolutional neural networks for image classification ［J］. Journal of Image and Graphics， 2021， 26（10）： 2305-2325.

［6］ 劉云玲， 張天雨， 姜明， 等. 基于機器視覺的葡萄品質無損檢測方法研究進展［J］. 農業機械學報， 2022， 53（S1）： 299-308.

Liu Yunling， Zhang Tianyu， Jiang Ming， et al. Review on non-destructive detection methods of grape quality based on machine vision ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（S1）： 299-308.

［7］ 趙輝， 喬艷軍， 王紅君， 等. 基于雙通道注意力機制的ResNet果實外觀品質分類［J］. 光電子·激光， 2022， 33（6）： 643-651.

Zhao Hui， Qiao Yanjun， Wang Hongjun， et al. ResNet fruit appearance quality classification based on dual channel attention mechanism ［J］. Journal of Optoelectronics·Laser， 2022， 33（6）： 643-651.

［8］ 葉云， 趙小娟， 姜晟. 基于深度學習的荔枝蟲害識別技術的應用與實現［J］. 中國農業信息， 2022， 34（4）： 30-37.

Ye Yun， Zhao Xiaojuan， Jiang Sheng. Application and realization of litchi pest identification technology based on deep learning ［J］. China Agricultural Informatics， 2022， 34（4）： 30-37.

［9］ Huang N F， Chou D L， Lee C A， et al. Smart agriculture： Real-time classification of green coffee beans by using a convolutional neural network ［J］. IET Smart Cities， 2020， 2（4）： 167-172.

［10］ Adiwijaya N O， Romadhon H I， Putra J A， et al. The quality of coffee bean classification system based on color by using k-nearest neighbor method ［C］. Journal of Physics： Conference Series. IOP Publishing， 2022， 2157（1）： 012034.

［11］ 趙玉清， 楊慧麗， 張悅， 等. 基于特征組合與SVM的小粒種咖啡缺陷生豆檢測［J］. 農業工程學報， 2022， 38（14）： 295-302.

Zhao Yuqing， Yang Huili， Zhang Yue， et al. Detection of defective Arabica green coffee beans based on feature combination and SVM ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（14）： 295-302.

［12］ Sandler M， Howard A， Zhu M， et al. Mobilenetv2： Inverted residuals and linear bottlenecks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 4510-4520.

［13］ Febriana A， Muchtar K， Dawood R， et al. “USK-COFFEE Dataset： A multi-class green arabica coffee bean dataset for deep learning” ［C］. In 2022 IEEE International Conference on Cybernetics and Computational Intelligence （CyberneticsCom）. IEEE， 2022.

［14］ 鄭遠攀， 李廣陽， 李曄. 深度學習在圖像識別中的應用研究綜述［J］. 計算機工程與應用， 2019， 55（12）： 20-36.

Zheng Yuanpan， Li Guangyang， Li Ye. Survey of application of deep learning in image recognition ［J］. Computer Engineering and Applications， 2019， 55（12）： 20-36.

［15］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 770-778.

［16］ Woo S， Park J， Lee J Y， et al. CBAM： Convolutional block attention module ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 3-19.

［17］ 李書琴， 陳聰， 朱彤， 等. 基于輕量級殘差網絡的植物葉片病害識別［J］. 農業機械學報， 2022， 53（3）： 243-250.

Li Shuqin， Chen Cong， Zhu Tong， et al. Plant leaf disease identification based on lightweight residual network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（3）： 243-250.

［18］ 鄭光， 魏家領， 任艷娜， 等. 基于深度可分離與空洞卷積的輕量化小麥生育進程監測模型研究［J］. 江蘇農業科學， 2022， 50（20）： 226-232.