









摘要:針對目前咖啡豆存在分級困難、識別準確率低的問題,提出一種融合注意力機制的ShuffleNet V1咖啡豆分級模型(ECA—ShuffleNet MLP)。模型以ShuffleNet V1為主干網(wǎng)絡,刪去輸入層的最大池化層,在ShuffleNet Unit第二個普通卷積后加入ECA注意力機制,同時添加一個多層感知器模塊(MLP)作為分類頭,并采用Fusion Loss作為損失函數(shù)。相比AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,在自建咖啡豆數(shù)據(jù)集上的試驗結果表明:ECA—ShuffleNe MLP模型的咖啡豆分級平均準確率為97.84%,分別提高8.49、5.41、3.85、2.71、4.16和3.20個百分點。在公開咖啡豆數(shù)據(jù)集上的試驗結果表明:ECA—ShuffleNet MLP模型分級平均準確率分別提高3.75、1.00、10.00、2.75、0.08和1.25個百分點。在自制咖啡豆分級分揀試驗平臺上的試驗結果表明:當輸送帶運行速度為50 mm/s時,識別準確率和抓取成功率為84.00%和82.67%。ECA—ShuffleNet MLP模型具有分級準確率高和模型輕量化的優(yōu)點,易于部署在硬件設備上,具有較好的泛用性。
關鍵詞:咖啡豆;深度學習;分級;注意力機制;多層感知器
中圖分類號:TP391.41; TS273; S571.2" " " 文獻標識碼:A" " " 文章編號:2095?5553 (2025) 04?0194?10
Research on coffee beans grading based on the improved ShuffleNet V1
Zhao Yuqing Jiao Yujie Li Hong Wang Tianyun Li Jiashun Zhang Yue
(1. Faculty of Mechanical and Electrical Engineering, Yunnan Agricultural University, Kunming, 650201, China;
2. Faculty of Transportation Engineering, Kunming University of Science and Technology, Kunming, 650093, China;
3. Yunnan Key Laboratory of Coffee, Kunming, 650201, China; 4. Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province, Kunming, 650201, China; 5. College of Big Data, Yunnan Agricultural University, Kunming, 650201, China)
Abstract: Aiming at the current problems of grading difficulties and low recognition accuracy of coffee beans, a ShuffleNet V1 coffee bean grading model (ECA—ShuffleNet MLP) incorporating attention mechanism is proposed. The ECA—ShuffleNet MLP model uses ShuffleNet V1 as the backbone network, deletes the maximum pooling layer in the input layer, adds the efficient channel attention (ECA) mechanism after the second ordinary convolution of the ShuffleNet Unit, and finally adds a multi?layer perceptron module (MLP) as a classification head and Fusion Loss as a loss function. The experimental results on the self?constructed coffee bean dataset show that the average accuracy of the ECA—ShuffleNe MLP model for grading coffee beans was 97.84%, which compared to the AlexNet, VGG16, MobileNet V1, MobileNet V2, ResNet34, and ResNet50 models, improved by 8.49, 5.41, 3.85, 2.71, 4.16, and 3.20 percentage points. Experimental results on the publicly available coffee bean dataset show that compared to the above models, the ECA—ShuffleNet MLP model graded average accuracy improved by 3.75, 1.00, 10.00, 2.75, 0.08, and 1.25 percentage points. The experimental results on the homemade coffee bean grading and sorting test platform show that the recognition accuracy and grasping success rate are 84.00% and 82.67% when the conveyor belt running speed is 50 mm/s. The ECA—ShuffleNet MLP model has a good grading accuracy and light weight, and it is easy to be deployed on hardware devices with good generalizability.
Keywords: coffee beans; deep learning; grading; efficient channel attention; multi?layer perceptron
0 引言
咖啡是云南重要的支柱產(chǎn)業(yè)[1],也是咖啡主產(chǎn)區(qū)農(nóng)戶的主要經(jīng)濟來源之一[2]。2023年,云南省咖啡種植面積約80 khm2,占全國的98%,總產(chǎn)量146 kt,但咖啡精品化率僅22.70%。為推動咖啡產(chǎn)業(yè)高質量發(fā)展,急需提高精品咖啡率和咖啡精深加工率,咖啡豆的分選是實現(xiàn)上述目標的重要手段之一。目前常用的咖啡豆分選法有人工和機械兩種。人工分選存在分選效率低、主觀性強[3]的問題,而機械化分選易產(chǎn)生破損豆[4]。為解決上述問題,需要一種智能、高效、低損的分級檢測技術,提高云南咖啡豆精品率、精深加工率,提升咖農(nóng)的經(jīng)濟效益。
智能分級檢測方法一般采用人工選擇咖啡豆特征來構建分級模型,具有較強的主觀性。如Pizzaia等[5]在特征提取后使用多層感知器(MLP)神經(jīng)網(wǎng)絡對阿拉比卡咖啡樣本進行分類。Subramanian等[6]集成Arduino Mega板實現(xiàn)圖像處理和機器學習技術,運用K—近鄰算法來確定咖啡豆品質和缺陷類型。Waliyansyah等[7]對圖像進行數(shù)字處理之后提取出4種不同的特征,并對不同咖啡分類模型進行評估,使用支持向量機(SVM)得到的分類結果最好。趙玉清等[8]采用機器視覺技術提取3類特征,使用SVM進行缺陷分級,準確度達84.9%。但是,上述智能檢測方法過于依賴人工選擇特征,主觀性較強。
深度學習技術是機器學習的一個子領域,側重于用神經(jīng)網(wǎng)絡模型來表示數(shù)據(jù),具有可自動學習、靈活性高的優(yōu)點[9]。將深度學習與圖像處理技術結合,可以實現(xiàn)對咖啡豆的分級檢測,并且不損傷咖啡豆樣品[10, 11]。Chang等[12, 13]提出了一種基于深度學習的缺陷豆識別方案(DL—DBIS),準確率為80%;另外提出了一種用于咖啡豆缺陷檢測的多尺度缺陷檢測深度學習模型,識別準確率達96%。上述檢測方法應用深度學習理論對咖啡豆進行識別和分類,通過不斷迭代自主學習,自動提取特征,省去了人工特征選擇環(huán)節(jié)[14]。但是這些模型都只應用于咖啡分級或缺陷檢測,沒有將其結合起來。
此外一些研究者將注意力機制引入到農(nóng)業(yè)應用的分級模型中,廣泛應用的是通道注意力機制(CAM),如ECA注意力機制[15]、SE注意力機制(SENet)[16]、CA注意力機制[17]等。周春欣等[18]將ECA嵌入ResNet34主干網(wǎng)絡和特征金字塔(FPN)的輸出端,提出的大豆檢測模型準確率達97.39%。劉莫塵等[19]將CBAM注意力機制(CBAM)模塊和Slim—neck模塊引入YOLOv8—Pose中,對紅熟期的草莓識別精確率達98.14%。研究者又將其引入咖啡分級領域中,張成堯等[20]研究出一種基于YOLOv5的CBAM注意力咖啡瑕疵豆檢測方法,單粒識別準確率達99%。紀元浩等[21]將注意力機制和深度可分離卷積融入ResNet50咖啡缺陷檢測模型中,模型準確率達91.1%。注意力機制的引入提高了模型的魯棒性和泛用性。
為找到適合嵌入式設備的模型,研究者開始研發(fā)規(guī)模小、性能好、響應快的模型,相繼提出各種輕量級架構[22],如ShuffleNet、MobileNet等。國內有研究者將改進后的輕量型模型應用于農(nóng)業(yè)領域,如葉建華等[23]使用改進MobileNet輕量級檢測網(wǎng)絡對咖啡豆進行缺陷檢測,平均準確率達96.13%。王志強等[24]引入多尺度特征融合模塊和CA注意力機制到MobileNet V2番茄葉片病害識別模型,準確率達94.11%。王飛云等[25]搭建的ShuffleNet網(wǎng)絡對發(fā)芽馬鈴薯的檢測準確率達97.8%。但高準確率的輕量級咖啡豆分級和缺陷檢測算法仍存在空缺。
目前咖啡豆主要采用振動篩和色選機進行分級,尚未發(fā)現(xiàn)成熟的基于機器人的智能分級裝備。張立杰等[26]研發(fā)出基于改進型SSD卷積神經(jīng)網(wǎng)絡的設備,采用機器人對蘋果進行分級分選,分級準確率達96%。張文蓉等[27]開發(fā)一種基于機器視覺的分級包裝設備,分級準確率達95.62%。Chopra等[28]集成了光譜學和機器學習的方法,開發(fā)了一套自動識別水果類別和等級的設備,準確率達82%。
為提高咖啡豆分級檢測效率和準確率,本文提出一種融合注意力機制且便于部署在設備上的輕量級咖啡豆分級模型(ECA—ShuffleNet MLP),在自建咖啡豆數(shù)據(jù)集及公開咖啡豆數(shù)據(jù)集上進行試驗,最后將該模型嵌入自建的咖啡豆分級分揀試驗平臺進行試驗。為后續(xù)咖啡豆分級系統(tǒng)的研發(fā)及推廣應用提供基礎。
1 咖啡豆數(shù)據(jù)集構建
1.1 圖像采集
以阿拉比卡(Arabica)咖啡豆作為研究樣本,所有樣本產(chǎn)地為云南省普洱市。樣本均由全球認證咖啡品質鑒定師人工分級,分級標準[29]如表1所示。
樣本咖啡豆共9 268顆,其中正常豆有7 894顆,缺陷豆1 374顆。正常豆包括:一級咖啡豆2 460顆,二級咖啡豆2 601顆、三級咖啡豆2 833顆。
咖啡豆樣本圖像采用X86工業(yè)相機采集,拍照高度為140 mm。拍攝背景采用純白色。在正午自然光照條件下,同時用4個LED燈進行補光。感光度值設置為100,快門速度為1/100,采用自動白平衡。
1.2 圖像預處理和數(shù)據(jù)集劃分
每一個咖啡豆樣本圖像為鏡頭直接拍攝,咖啡豆只占該樣本圖像極少部分,如圖1所示。
為獲得研究的感興趣區(qū),對樣本圖像進行預處理。預處理方法為[8]:首先剪裁掉原始圖像的不重要部分,如補光燈邊框和傳送帶邊緣。然后將圖像進行灰度化,用高斯濾波去除噪聲干擾。接著用Gamma變換修正異常灰度值,增強圖像整體細節(jié)。為增強咖啡生豆圖像被模糊了的細節(jié)以及加強邊緣和輪廓,采用Canny算子找到邊緣,對找到的邊緣像素進行銳化,并疊加在原圖上,讓原圖中咖啡豆的邊緣更加清晰。利用圖像中目標與背景在灰度特性上的差異,經(jīng)多次試驗,選擇固定閾值為170與255,采用二值化閾值方法將灰度圖像轉換為二值圖像,實現(xiàn)圖像分割;將圖像進行黑白反轉,增強特征區(qū)域;運用3次開閉運算填充空隙、消除邊緣毛刺;通過輪廓尋找咖啡豆圖像最大輪廓,得到生咖啡豆的最小外接矩;為減少誤差,將最小外接矩的寬、高各擴展10個像素進行裁剪,得到224像素×224像素大小的感興趣區(qū),如圖2所示。
將4個等級咖啡豆按照8∶2劃分為訓練集和測試集。具體樣本數(shù)分配如表2所示,其中用于訓練的樣本圖像7 416張,用于測試的樣本圖像1 853張。
為防止過擬合,對訓練集中的樣本圖像進行增強,以提升模型魯棒性和泛化能力。圖像增強處理采用3種方法:0°~180°隨機旋轉、垂直翻轉和水平翻轉。經(jīng)過增強后訓練集增加為原來的4倍,共29 664張圖片。
1.3 咖啡豆分級分揀試驗平臺
自建咖啡豆分級分揀試驗平臺(簡稱分級分揀平臺)由上料與傳輸裝置、機器視覺系統(tǒng)和并聯(lián)機器人系統(tǒng)3部分構成。具體由振動上料裝置、輸送帶、視覺檢測裝置、控制主機、機器人本體和控制軟件組成。振動上料裝置將咖啡豆按隊列間隔上料到輸送帶上,輸送帶將咖啡豆運送到機器視覺區(qū)域。視覺系統(tǒng)自動采集圖像,識別咖啡豆級別并定位咖啡豆,將咖啡豆的位置信息轉換為機器人坐標系中的位置。機器人根據(jù)位置信息進行抓取分析和計算,當咖啡豆被輸送到機器人的工作空間后,由電控氣吸執(zhí)行器進行抓取,并放置到相應的收集箱中。分級分揀平臺結構組成如圖3所示。
機器視覺系統(tǒng)由海康威視MV-SI638-08GM智能視覺相機和補光燈組成,智能視覺相機具體參數(shù)如表3所示。
2 ECA—ShuffleNet MLP模型構建
2.1 ShuffleNet V1模型
ShuffleNet V1是一個輕量型卷積神經(jīng)網(wǎng)絡,輸入端采用一個普通卷積連接一個最大池化層,由重復堆疊的ShuffleNet Unit1和ShuffleNet Unit2組成其主體結構。主體結構后面連接一個池化層,用一個全連接層來輸出。ShuffleNet模型中的通道混洗(CS)和可分離深度卷積(DWConv)可增加模型的表達能力,降低計算量。ShuffleNet V1結構如圖4所示。
2.2 ECA注意力模塊
注意力機制(AM)能幫助模型捕獲重要信息并忽略不相關或不重要的信息,以此提升網(wǎng)絡模型的整體性能。ECA注意力機制在不改變維度的情況下,對特征圖進行全局平均池化(GAP),以消除因維度變化對特征提取和通道注意力學習產(chǎn)生的不利影響。該機制中的K次快速卷積實現(xiàn)了通道之間的信息流動和交互。K的數(shù)值和通道數(shù)C的映射成正比,如式(1)所示。
2.3 ECA—ShuffleNet Unit
ShuffleNet V1的基本單元根據(jù)步長分為兩種,一是步長為1的ShuffleNet Unit1,二是步長為2的ShuffleNet Unit2。為保證通道數(shù)的一致性,ECA注意力機制在ShuffleNet Unit1和ShuffleNet Unit2兩個Unit中的插入位置應是相同的。ECA注意力機制在兩個Unit中的插入位置有3種:ECA—A、ECA—B和ECA—C。ECA—A是在通道混洗后增加ECA注意力機制,這種方式能提取出全局特征;ECA—B是在第2個普通卷積后添加ECA注意力機制,這種方式不僅可以提取出全局特征也可提取出局部特征;ECA—C是在特征融合后,在使用ReLU激活函數(shù)前添加ECA注意力機制,這種方式能提取更多的局部特征。
選擇ECA—B插入方式,這種方式能更好地提取出全局和局部特征。ECA—ShuffleNet Unit結構如圖6所示。圖6(a)是ECA—ShuffleNet Unit1單元結構,其處理過程:輸入的特征圖分別進入左、右兩個分支進行處理,右邊分支先經(jīng)過一個1×1的普通卷積后接BN層和ReLU激活函數(shù),之后進行通道混洗,接著再經(jīng)過一個3×3的深度可分離卷積和BN層,后接一個1×1卷積和BN層。左邊分支則是一個殘差結構。左、右分支處理完后將結果進行疊加融合,最后經(jīng)過一個ReLU激活函數(shù)后輸出。圖6(b)是ECA—ShuffleNet Unit2單元結構。其處理過程:輸入的特征圖分別進入左、右兩個分支進行處理,右邊分支與ShuffleNet Unit1的右分支處理過程一樣,但左邊分支則是一個3×3的平均池化層。左、右分支處理完,將兩個分支結果按通道數(shù)相加,完成特征融合,最后同樣經(jīng)過一個ReLU激活函數(shù)后輸出。
2.4 Fusion Loss
Fusion將Focal Loss和Cross—Entropy Loss進行融合,在得到每個樣本的Focal Loss和Cross—Entropy Loss平均值后,使用weight focal和weight ce分別對兩種損失取得的平均值進行加權,將加權后的數(shù)值相加,得到組合損失值。Fusion Loss能在不影響識別精度的情況下大幅度降低損失,提升模型的性能[30]。
Fusion Loss通過懲罰預測錯誤的樣本,讓模型更加準確地學習目標類別,幫助處理類別不平衡問題,將重心快速聚焦在難區(qū)分樣本上,計算如式(2)所示。
2.5 多層感知器
多層感知器(Multi?Layer Perceptron)是一種前向結構的人工神經(jīng)網(wǎng)絡,由幾種不同層級(輸入層、隱藏層和輸出層)間互聯(lián)的節(jié)點組成,每層都和前后層完全連接[31],并行聚合多個神經(jīng)元[32]。多層感知器可以進行高度的并行處理,擁有良好的容錯性,有非常強的適應能力和學習能力。研究中使用的多層感知器計算如式(3)所示,其結構如圖7所示。
2.6 ECA—ShuffleNet MLP模型
ECA—ShuffleNet MLP網(wǎng)絡由4個stage、1個池化層和1個MLP分類頭組成。該網(wǎng)絡首先用24個3×3普通卷積進行特征提取,隨后采用3個stage組成主體結構,后接上一個池化層,最后采用1個MLP模塊作為分類頭進行分類。stage2、stage3、stage4分別采用不同數(shù)量的ECA—ShuffleNet Unit1和ECA—ShuffleNet Unit2來構成不同的網(wǎng)絡結構,單元數(shù)分別為(1、3)、(1、7)、(1、3)。ECA—ShuffleNet MLP網(wǎng)絡結構如圖8所示。
ECA—ShuffleNet MLP刪去原ShuffleNet V1 輸入層的最大池化層以保留更多的特征信息。在ShuffleNet Unit1和ShuffleNet Unit2中引入ECA注意力機制,以提升模型準確性和穩(wěn)定性。引入MLP分類頭和Fusion Loss損失函數(shù)以提升模型準確率,大幅降低模型的損失。
3 試驗與結果分析
3.1 試驗環(huán)境
試驗計算機為英特爾至強Gold 6230R處理器,搭載NVIDIA RTX A6000顯卡,所有模型采用Pytorch1.13.1深度學習框架進行搭建,運行平臺為jupyter,以Python3.9作為編程語言。
模型訓練采用AdamW優(yōu)化器,學習率初始值設置為0.000 1,學習率調整采用StepLR調整器,每50個epoch學習率減半,共進行200個epoch的訓練,設置批次大小batchsize為32。
3.2 評價指標選取
試驗選用平均損失(Average Loss)、平均準確率(Average Accuracy)、參數(shù)大小(Params)、理論浮點運算次數(shù)(Theo FLOPs)、F1值和檢測速度FPS作為模型評價指標,試驗采用Fusion Loss來衡量預測值與真實值的概率分布。準確率Accuracy和F1值計算如式(4)~式(7)所示。
3.3 ECA注意力機制最佳插入位置驗證試驗
對ShuffleNet V1的0.5×、1.0×、2.0×三種架構進行對比后,得到三種架構下,模型準確率為87.69%、94.88%、92.45%,因此,選擇準確率最高的1.0×架構作為后續(xù)試驗改進的基礎。在ShuffleNet V1 1.0架構基礎上,對2.3節(jié)所述的3個ECA插入位置進行試驗,驗證ECA最佳插入位置,試驗結果如表4所示。準確率最高的是在第2個普通卷積后添加ECA注意力機制,即ECA—B架構。
3.4 ECA—ShuffleNet MLP與ShuffleNet V1對比
ECA—ShuffleNet MLP在測試集上的準確率(Accuracy)和損失值(Loss)的試驗結果如圖9、圖10所示,可以看出原模型ShuffleNet V1的準確率和損失變化曲線變化劇烈,從100層開始才開始慢慢收斂,穩(wěn)定性不夠。改進后的ECA—ShuffleNet MLP模型準確率和損失曲線更平緩,大約50層開始就漸漸收斂,識別的平均準確率峰值更高,損失明顯減少。
3.5 ECA—ShuffleNet MLP消融試驗
為評價刪除輸入端池化層對模型性能的影響,進行消融試驗1,試驗結果如表5所示。在ECA—ShuffleNet MLP結構中添加輸入端池化層后的平均準確率是95.08%,刪去輸入端池化層后的平均準確率是96.88%。準確率提高1.80%,損失降低33.74%。試驗結果表明,刪去池化層可以得到性能更強的模型,后續(xù)消融試驗全部在刪去池化層的基礎上進行驗證。
為試驗模型在有無Fusion Loss、MLP分類頭和ECA注意力機制模塊情況下,模型的穩(wěn)定性和準確率變化,采用消融試驗2來進行驗證,試驗結果如表6所示,僅使用Fusion Loss的ShuffleNet V1 1.0 分級模型準確率增加1.46%,損失降低20.05%。與使用Fusion Loss,增加MLP分類頭的模型對比,改進后的模型準確率增加1.56%,AP值和AR值增加1.71%和1.51%。使用ECA注意力模塊和Fusion Loss的模型,準確率增加2.20%,AP值和AR值增加1.44%和1.68%。使用MLP分類頭和ECA注意力模塊的模型,準確率增加2.1%,AP值和AR值增加1.96%和2.52%。同時使用ECA注意力模塊、Fusion Loss和MLP分類頭,準確率增加2.96%,AP值和AR值增加2.95%和3.05%,Params僅增加0.49 M,對參數(shù)量沒有太大影響。通過上述消融試驗可知,ECA注意力機制、Fusion Loss和MLP分類頭的引入同時提高模型準確性,減少損失。
3.6 不同F(xiàn)usion Loss權重對模型影響對比試驗
將ECA—ShuffleNet MLP模型中的MLP模塊和ECA注意力機制去除,對Fusion Loss的兩種不同權重weight ce和weight focal進行對比試驗,試驗結果如表7所示。
由表7可知,采用0.70的weight ce和0.30的weight focal的模型的平均準確率為96.34%、F1值為96.34%、AP值為96.50%、AR值為96.18%時最佳。
3.7 不同分類頭對模型性能影響對比試驗
為驗證MLP分類器的性能,采用支持向量機(SVM)、K近鄰算法(KNN)、高斯樸素貝葉斯(GNB)作為對比,試驗結果如表8所示。采用MLP分類頭的模型性能最佳,平均準確率為97.84%,AP值為97.94%,AR值為97.74%,相比其他分類頭的ECA—ShuffleNet MLP模型,該模型平均準確率提高2.40、5.21和20.43個百分點,F(xiàn)1值提高2.41、5.30和20.28個百分點。
3.8 ECA—ShuffleNet MLP在數(shù)據(jù)集上的對比試驗
1) 自建數(shù)據(jù)集。將ECA—ShuffleNet MLP模型與AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型進行對比試驗,各模型平均準確率變化如圖11和圖12所示,試驗結果如表9所示。
ECA—ShuffleNet MLP模型的性能最佳,其平均準確率為97.84%,AP值為98.50%,AR值為97.19%,相比AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,該模型平均準確率提高8.49、5.41、3.85、2.71、4.16和3.20個百分點,AP值增加8.36、5.49、4.06、2.66、4.66和2.68個百分點,AR值增加3.48、1.17、1.95、1.85、3.99和1.63個百分點。ECA—ShuffleNet MLP模型的Params值是所有試驗模型中最小的,其Theo FLOPs值也遠小于其他模型。
2) 公共數(shù)據(jù)集。將ECA—ShuffleNet MLP模型與AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型在公開數(shù)據(jù)集(Kaggle數(shù)據(jù)集)上進行對比試驗,結果如表10所示。
ECA—ShuffleNet MLP模型平均準確率為99.50%,相比上述其他模型,平均準確率分別提高3.75、1.00、10.00、2.75、0.08和1.25個百分點。在公共數(shù)據(jù)集的對比試驗結果表明,該模型具有較好的泛化性能。
3.9 咖啡豆分級分揀試驗
將訓練好的ECA—ShuffleNet MLP模型嵌入咖啡豆分級分揀試驗平臺進行運行試驗。該試驗平臺中并聯(lián)機器人的工作空間長度為300 mm,完成一次分揀運動(分揀完第一顆咖啡生豆并運動到第二顆咖啡生豆所在位置)的時間最短為1.15 s,所以傳送帶最高速度為260.87 mm/s。該試驗平臺的傳送帶最高速度擋位為400 mm/s、最低速度擋位為50 mm/s,每50 mm/s為一個擋位。因此,試驗采用5種不同的傳輸速度 (50 mm/s、100 mm/s、150 mm/s、200 mm/s、250 mm/s),分別進行300次分級抓取試驗。試驗中,視覺系統(tǒng)每秒采集7幀圖像,并聯(lián)機器人的末端執(zhí)行器垂直方向位移均為30 mm,運行速度均為500 mm/s。抓取結果如表11所示。
輸送帶運行速度為50 mm/s時,識別準確率和抓取成功率最高,為84.00%和82.67%。輸送帶運行速度為250 mm/s時,識別成功率和抓取成功率降為60.66%和57.67%。從分級分揀試驗結果來看,該模型具有較好的硬件匹配適用性,但隨著輸送帶運行速度加快,試驗臺上料裝置的振動加劇,識別準確率和抓取成功率有所降低。
4 結論
提出一種基于ShuffleNet V1基礎架構改進的ECA—ShuffleNet MLP咖啡豆分級檢測模型。
1) 在自建咖啡豆數(shù)據(jù)集上的平均分級準確率、F1值分別達97.84%、97.84%。相比AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,改進的ECA—ShuffleNet MLP咖啡豆分級檢測模型主要的分級檢測性能指標、參數(shù)大小、理論浮點運算次數(shù)均有明顯改善。
2) 在公開咖啡豆數(shù)據(jù)集上的平均分級準確率、F1值分別達99.50%、99.49%。相比AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,改進的ECA—ShuffleNet MLP咖啡豆分級檢測模型主要的分級檢測性能指標更優(yōu),具有較好的泛化性能。
3) 改進的ECA—ShuffleNet MLP咖啡豆分級檢測模型在咖啡豆分級分揀試驗平臺上分級識別準確率最高達84%,具有較好的硬件匹配適用性。
參 考 文 獻
[ 1 ] 黃家雄, 李維銳, 夏兵, 等. 云南咖啡產(chǎn)業(yè)高質量發(fā)展對策初探[J]. 熱帶農(nóng)業(yè)科技, 2022, 45(3): 21-29.
Huang Jiaxiong,Li Weirui,Xia Bing,et al. Strategies on how to promote the development of coffee industry with high quality in Yunnan Province [J]. Tropical Agricultural Science amp; Technology, 2022, 45(3): 21-29.
[ 2 ] 李爽,丁百仁. 新時代保山市咖啡產(chǎn)業(yè)發(fā)展現(xiàn)狀與策略[J]. 林業(yè)調查規(guī)劃, 2022, 47(4): 115-119.
Li Shuang, Ding Bairen. Development status and countermeasures of coffee industry in Baoshan City in the new era [J]. Forest Inventory and Planning, 2022, 47(4): 115-119.
[ 3 ] 張秀花, 靜茂凱, 袁永偉, 等. 基于改進 YOLOv3—Tiny 的番茄苗分級檢測[J]. 農(nóng)業(yè)工程學報, 2022, 38(1): 221-229.
Zhang Xiuhua, Jing Maokai, Yuan Yongwei, et al. Tomato seedling classification detection using improved YOLOv3—Tiny [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(1): 221-229.
[ 4 ] 萬龍, 龐宇杰, 張若宇, 等. 機采籽棉收購環(huán)節(jié)含雜率快速檢測系統(tǒng)研制[J]. 農(nóng)業(yè)工程學報, 2021, 37(6): 182-189.
Wan Long, Pang Yujie, Zhang Ruoyu, et al. Rapid measurement system for the impurity rate of machine?picked seed cotton in acquisition [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(6): 182-189.
[ 5 ] Pizzaia J P L, Salcides I R, Almeida G M, et al. Arabica coffee samples classification using a multilayer perceptron neural network [C]. 2018 13th IEEE International Conference on Industry Applications (INDUSCON). IEEE, 2018: 80-84.
[ 6 ] Subramanian K S, Vairachilai S, Gebremichael T. Features extraction and dataset preparation for grading of ethiopian coffee beans using image analysis techniques [C]. Information and Communication Technology for Intelligent Systems: Proceedings of ICTIS 2018, Volume 1. Springer Singapore, 2019: 287-298.
[ 7 ] Waliyansyah R R, Hasbullah U H A. Comparison of tree method, support vector machine, Na?ve Bayes, and logistic regression on coffee bean image [J]. EMITTER International Journal of Engineering Technology, 2021, 9(1): 126-136.
[ 8 ] 趙玉清, 楊慧麗, 張悅, 等. 基于特征組合與SVM的小粒種咖啡缺陷生豆檢測[J]. 農(nóng)業(yè)工程學報, 2022, 38nbsp; (14): 295-302.
Zhao Yuqing, Yang Huili, Zhang Yue, et al. Detection of defective Arabica green coffee beans based on feature combination and SVM [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(14): 295-302.
[ 9 ] 常禧龍, 梁琨, 李文濤. 深度學習優(yōu)化器進展綜述[J]. 計算機工程與應用, 2024, 60(7): 1-12.
Chang Xilong, Liang Kun, Li Wentao. A review of the development of deep learning optimizer [J]. Computer Engineering and Applications, 2024, 60(7): 1-12.
[10] 張紅濤, 朱洋, 譚聯(lián), 等. 利用機器視覺識別麥粒內米象發(fā)育規(guī)律與齡期[J]. 農(nóng)業(yè)工程學報, 2020, 36(2): 201-208.
Zhang Hongtao, Zhu Yang, Tan Lian, et al. Identifying larval development of Sitophilus oryzae in wheat grain using computer vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(2): 201-208.
[11] 趙露露, 鄧寒冰, 周云成, 等.基于自生成標簽的玉米苗期圖像實例分割[J]. 農(nóng)業(yè)工程學報, 2023, 39(11): 201-211.
Zhao Lulu, Deng Hanbing, Zhou Yuncheng, et al. Instance segmemtation model of maize seeding images based on automatic generated labels [J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(11): 201-211.
[12] Chang S J, Huang C Y. Deep learning model for the inspection of coffee bean defects [J]. Applied Sciences, 2021, 11(17): 8226.
[13] Chang S J, Liu K H. Multiscale defect extraction neural network for green coffee bean defects detection [J]. IEEE Access, 2024.
[14] 李頎, 強華. 基于雙目視覺與深度學習的番茄本體特征檢測系統(tǒng)[J]. 南方農(nóng)業(yè)學報, 2020, 51(1): 237-244.
Li Qi, Qiang Hua. Tomato ontology feature detection system based on binocular vision and deep learning [J]. Journal of Southern Agriculture, 2020, 51(1): 237-244.
[15] Wang Q, Wu B, Zhu P, et al. ECA—Net: Efficient channel attention for deep convolutional neural networks [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 11534-11542.
[16] Hu J, Shen L, Sun G. Squeeze?and?excitation networks [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[17] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 13713-13722.
[18] 周春欣, 霍怡之, 杜有海, 等. 基于改進的RetinaNet大豆外觀品質無損檢測[J]. 中國糧油學報, 2024, 39(9): 172-180.
Zhou Chunxin, Huo Yizhi, Du Youhai, et al. Non?destructive detection of soybean appearance quality based on improved RetinaNet [J]. Journal of the Chinese Cereals and Oils Association, 2024, 39(9): 172-180.
[19] 劉莫塵, 褚鎮(zhèn)源, 崔明詩, 等. 基于改進YOLO v8—Pose的紅熟期草莓識別和果柄關鍵點檢測[J/OL]. 農(nóng)業(yè)機械學報, 1-12 [2024-04-10].
Liu Mochen, Chu Zhenyuan, Cui Mingshi, et al. Red ripe strawberry recognition and stem detection based on improved YOLO v8—Pose [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 1-12 [2024-04-10].
[20] 張成堯, 張艷誠, 張宇乾, 等. 基于YOLOv5的咖啡瑕疵豆檢測方法[J]. 食品與機械, 2023, 39(2): 50-56, 75.
Zhang Chengyao, Zhang Yancheng, Zhang Yuqian, et al. Detection method of defective coffee beans based on YOLOv5 [J]. Food amp; Machinery, 2023, 39(2): 50-56, 75.
[21] 紀元浩, 許金普, 嚴蓓蓓, 等. 基于改進ResNet50模型的咖啡生豆質量和缺陷檢測方法 [J]. 中國農(nóng)機化學報, 2024, 45(4): 237-243.
Ji Yuanhao, Xu Jinpu, Yan Beibei, et al. A method for detecting quality and defects in raw coffee beans based on improved ResNet50 model [J]. Journal of Chinese Agricultural Mechanization, 2024, 45(4): 237-243.
[22] 王軍, 馮孫鋮, 程勇. 深度學習的輕量化神經(jīng)網(wǎng)絡結構研究綜述[J]. 計算機工程, 2021, 47(8): 1-13.
Wang Jun, Feng Suncheng, Cheng Yong. Survey of research on lightweight neural network structures for deep learning [J]. Computer Engineering, 2021, 47(8): 1-13.
[23] 葉建華, 唐輝, 羅奮翔, 等. 基于改進MobileNet的咖啡豆缺陷檢測[J]. 福建工程學院學報, 2023, 21(3): 257-263.
Ye Jianhua, Tang Hui, Luo Fenxiang, et al. Coffee bean defect detection based on improved MobileNet [J]. Journal of Fujian University of Technology, 2023, 21(3): 257-263.
[24] 王志強, 于雪瑩, 楊曉婧, 等. 基于WGAN和MCA—MobileNet的番茄葉片病害識別 [J]. 農(nóng)業(yè)機械學報, 2023, 54(5): 244-252.
Wang Zhiqiang, Yu Xueying, Yang Xiaojing, et al. Tomato leaf diseases recognition based on WGAN and MCA—MobileNet [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54 (5): 244-252.
[25] 王飛云, 呂程序, 吳金燦, 等. 基于Shuffle—Net的發(fā)芽馬鈴薯無損檢測方法 [J]. 農(nóng)業(yè)機械學報, 2022, 53(S1): 309-315.
Wang Feiyun, Lü Chengxu, Wu Jincan, et al. Non?destructive detection of sprouting potatoes based on Shuffle—Net [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(S1): 309-315.
[26] 張立杰, 周舒驊, 李娜, 等. 基于改進SSD卷積神經(jīng)網(wǎng)絡的蘋果定位與分級方法 [J]. 農(nóng)業(yè)機械學報, 2023, 54 (6): 223-232.
Zhang Lijie, Zhou Shuhua, Li Na, et al. Apple location and classification based on improved SSD convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(6): 223-232.
[27] 張文蓉, 王朋, 鐘鳴, 等. 基于視覺的茭白自動分級包裝設備研究與開發(fā) [J]. 中國農(nóng)機化學報, 2021, 42 (12): 114-120.
Zhang Wenrong, Wang Peng, Zhong Ming, et al. Research and development on the automatic sorting and packing equipment of Zizania based on vision [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(12): 114-120.
[28] Chopra H, Singh H, Bamrah M S, et al. Efficient fruit grading system using spectrophotometry and machine learning approaches [J]. IEEE Sensors Journal, 2021, 21(14): 16162-16169.
[29] DB53/T 149.7—2023, 小粒種咖啡第7部分: 生豆分級[S].
[30] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection [C]. Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.
[31] Frate D F, Pacifici F, Schiavon G, et al. Use of neural networks for automatic classification from high?resolution images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(4): 800-809.
[32] Xu P, Yang R, Zeng T, et al. Varietal classification of maize seeds using computer vision and machine learning techniques [J]. Journal of Food Process Engineering, 2021, 44(11): e13846.