

















摘要:
為實現不同等級的龍井茶鮮葉在線分級,提出一種基于機器視覺的茶鮮葉在線檢測與分級方法,設計并制造一套智能分級裝置。通過添加坐標注意力機制、引入空洞空間卷積池化金字塔和改進特征融合網絡對YOLOv5s進行優化得到YOLOv5s—CAB,識別的平均精度均值為90.4%,召回率為87.8%。在茶鮮葉分級裝置上進行試驗,結果表明:確定最佳參數茶鮮葉下落速度和傳送帶速度分別為2.08g/s、150.00mm/s時,識別的準確率達95.58%,驗證裝置的可行性與可靠性,為茶鮮葉的智能化分級提供技術支撐。
關鍵詞:茶鮮葉;深度學習;實時檢測;智能分級
中圖分類號:TP391.41; TS272.3
文獻標識碼:A
文章編號:2095-5553 (2025) 03-0139-07
收稿日期:2023年9月21日" 修回日期:2023年12月14日*
基金項目:浙江省食品物流裝備技術研究重點實驗室開放基金(KF2022003yb)
第一作者:吳堅,男,1965年生,杭州人,碩士,教授;研究方向為物流裝備、數控技術。E-mail: wujian@zust.edu.cn
Design and experiment of an intelligent fresh tea leaves grading device
Wu Jian1," 2, Ye Mengyan1, Zhang Tongfeng3
(1. Zhejiang University of Science and Technology, Hangzhou, 310023, China;
2. Zhejiang Key Laboratory of Food Logistics Equipment and Technology, Hangzhou, 310023, China;
3. Zhejiang Wason Cold Chain Technology Co., Ltd., Hangzhou, 310023, China)
Abstract:
To realize the online grading of Longjing tea fresh leaves of different quality levels, this study proposes a machine vision-based method for online detection and grading of fresh tea leaves, and designs and manufactures an intelligent grading device. By adding a coordinate attention mechanism, incorporating dilated spatial convolution pooling pyramid, and improving the feature fusion network, YOLOv5s is optimized into YOLOv5s—CAB. The average precision for recognition is 90.4%, and the recall rate is 87.8%. Experiments conducted on the fresh tea leaves grading device show that when the optimal parameters for the falling speed of the leaves and the conveyor belt speed are set at 2.08 g/s and 150.00mm/s, respectively, the recognition precision reaches 95.58%, which verifies the feasibility and reliability of the device and provides technical support for the intelligent grading of fresh tea leaves.
Keywords:
fresh tea leaves; deep learning; real-time detection; intelligent grading
0 引言
茶葉具有悠久歷史和豐富文化內涵,我國茶葉有紅茶、綠茶、烏龍茶、黃茶、白茶和黑茶六大類[1]。在茶鮮葉采摘中,由于茶農人員雜及采茶機本身固有屬性特點,導致茶鮮葉間存在較大的差異,茶鮮葉的長度不一、老嫩不均、凈度不高等各種因素影響茶葉品質。傳統的茶鮮葉分級為振動式[2]、滾篩式[3]和風力分選[4],主要利用茶鮮葉大小形狀進行分類,分級效果差異較大。因此,為提高茶葉品質,研究茶鮮葉的智能化分級具有重要意義。
隨著機器視覺技術的發展與應用,越來越多學者將其應用于農產品分級領域[5, 6],在茶葉的檢測與分級中也取得一定成果。胡和平等[7]通過增加CBAM和微小目標檢測層對YOLOv5s算法進行改進,降低茶葉嫩芽的漏檢和誤檢。方夢瑞等[8]設計了基于輕量級目標檢測網絡YOLOv4—tiny的茶葉嫩芽檢測模型,有效提升了不同尺度下茶葉嫩芽檢測的準確率。Li等[9]通過增加注意力機制和使用SIoU損失函數來提高一芽一葉和一芽兩葉的檢測準確率。Wang等[10]基于YOLOv7算法改進來提高茶芽分級識別的準確率。
目前茶鮮葉分級中,根據篩網孔的孔徑進行篩分,由于振動摩擦和掛網等因素導致茶鮮葉的機械損傷較大。機器視覺對茶鮮葉圖像分級有較好的效果,但缺少實際的應用設備。因此,研發一套基于機器視覺的茶鮮葉品質在線檢測與自動分級系統,可減少人力、物力,提高茶葉品質檢測效率,對規范茶葉市場秩序、提高茶葉品質檢測技術水平具有重要意義。
1 總體設計方案
1.1 整體研究方案
整個分級系統過程可分為上料、視覺檢測、分級3個環節,具體流程如圖1所示。
首先,讓茶鮮葉以合適的速度上料并設計相應的傳送模塊;然后,對茶鮮葉進行圖像實時采集,并根據評價等級進行綜合判斷;最后,根據茶鮮葉的評級結果,使茶鮮葉落入不同的等級框中。
1.2 系統機械結構與工作原理
茶鮮葉智能分級裝置的機械結構設計和參數如圖2和表1所示,將茶鮮葉倒在下料框中,在振動電機的作用下茶鮮葉順利下落且以合適的速度上料到傳送帶上,在勻料機構的作用下再次將茶鮮葉分散。當傳感器檢測到傳送帶上的茶鮮葉經過后觸發相機,相機對茶鮮葉進行拍照,并實時地將圖片輸送到電腦。運用改進后的目標檢測算法對茶鮮葉進行檢測識別,按照茶鮮葉分級依據對茶鮮葉進行檢測評級。拍照檢測后的茶鮮葉在傳送帶上繼續向前運動,不斷堆積在分級板的上側。當下落框的所有茶鮮葉拍照檢測評級后,將評級信息匯總后發送給控制裝置,分級機構開始運動,使茶鮮葉落入相應的等級框中,以完成整框茶鮮葉的分級卸料過程。
1.3 智能分級系統平臺搭建
為更直觀地觀察到茶鮮葉的實時分級檢測情況,在Windows系統下使用PyQt5設計茶鮮葉分級可視化界面,方便人機交互。
首先,在功能選擇欄中選擇對應的茶鮮葉種類后初始化模型;然后,根據實際需求選擇合適的檢測方式進行識別,檢測的圖片會在茶鮮葉結果中展示,茶鮮葉信息欄中會展現不同等級的茶鮮葉類別、數量、總數以及總體茶鮮葉的評級結果。當出現雜葉或不同等級的茶鮮葉相近時,茶鮮葉信息欄就會出現預警信息,且蜂鳴器會發出聲音,此時可進行人工干預。
2 茶鮮葉分級算法設計
2.1 等級判定依據與試驗數據
茶樹上采下的嫩枝芽葉,叫“鮮葉”,又叫“生葉”或“青葉”,按采摘后的形態可分為單芽、一芽一葉、一芽兩葉、一芽三葉等。茶鮮葉的優劣一般通過采摘時鮮葉的嫩度、勻度、新鮮度和凈度來體現。國家對各種茶鮮葉的分級有明確的規定,以龍井茶[11]為例,可分為不同的等級,如表2所示。
茶鮮葉樣本采自于浙江省杭州市富陽區茶園,經過采集和整理,得到彩色RGB圖像共計1000張,茶鮮葉共5619朵,其中單芽492朵、一芽一葉1345朵、一芽兩葉1567朵、一芽三葉1245朵、一芽四葉580朵和其他(碎雜葉)390朵,茶鮮葉部分圖片如圖3所示。采用的數據增強工具為Augmentor,其包含多種數據增強手段,能將不同數據增強技術組合使用,以茶鮮葉為例,不同數據增強方式如圖4所示。
2.2 YOLOv5算法
YOLOv5目標檢測模型因其準確性和檢測快速性成為目前熱門的目標檢測網絡之一。其中YOLOv5s是官方版本中網絡深度最淺和寬度最小的網絡,其網絡結構由輸入端(Input)、主干網絡(Backbone)、頸部結構(Neck)和頭部結構(Head)4部分組成,其結構如圖5所示。
輸入端采用Mosaic數據增強、自適應錨框計算等方法,豐富數據集,獲取最佳尺寸框。主干網絡主要由CBS(Conv+ BatchNorm+SiLU)、C3、SPPF模塊組成,在特征提取階段,將預處理后的圖像作為輸入,通過主干網絡獲取待檢測目標不同特征層的特征,并將提取到的特征在特征融合網絡進行融合。Neck部分采用路徑聚合網絡(PANet),自頂向下和自底向上的結構能加強網絡的特征提取能力。頭部結構從特征提的第3、第4、第5層中分別提供不同尺寸的特征通道來進行多尺度檢測[12]。
2.3 改進YOLOv5s網絡模型
為解決茶鮮葉識別過程中大量茶鮮葉堆疊且芽葉相似造成識別準確率低的問題,對YOLOv5s的主干網絡、頸部網絡做相應改進,提出基于改進YOLOv5s的茶鮮葉檢測模型研究。
2.3.1 添加注意力機制
在后續的茶鮮葉識別檢測中存在大量茶鮮葉重疊、背景干擾和噪聲較多的現象,加入坐標注意力機制CA[13]能夠抑制無關信息的干擾,保留更多的茶鮮葉關鍵特征,提高檢測精度。CA不僅捕獲跨通道的信息,還捕獲方向感知和位置敏感的信息[14],有助于模型更準確地定位和識別待檢測的茶鮮葉。
在YOLOv5s模型中,CA融入到主干網絡C3模塊之后,使網絡能充分利用計算資源,篩選出更有用的茶鮮葉特征信息,實現在不增加網絡深度、寬度和輸入圖像分辨率的前提下,學習到更多有效特征,提升網絡性能,且計算開銷可忽略不計。
2.3.2 引入空洞空間卷積池化金字塔
ASPP[15]是基于空洞卷積和空間金字塔池化(SPP)而提出的。ASPP結構對backbone提取出來的特征圖進行卷積和池化操作。如圖6所示,首先,通過1×1普通卷積得到原始大小的感受野,以不同采樣率的空洞卷積并進行采樣擴大感受野,利用全局平均池化得到全局特征信息;然后,將得到的結果Concat到一起,擴大通道數;最后,通過1×1的卷積將通道數降低到預期的數值,相當于以多個比例捕捉圖像的上下文信息。
在自建的茶鮮葉數據集中,不同等級的茶鮮葉存在相似性,且每張圖像至少存在一朵目標茶鮮葉,多目標、多尺寸、相似度高且堆疊的茶鮮葉增大了茶鮮葉分級的難度。YOLOv5s模型通過引入ASPP,可提取到不同尺寸的感受野,能夠更好地捕獲茶鮮葉圖像的上下文信息,利于多目標共存情況下的圖像分割,提高目標檢測的精度和魯棒性,降低茶鮮葉的漏檢率。
2.3.3 改進特征融合網絡
在設計不同等級茶鮮葉實時檢測模型時,要充分考慮茶鮮葉大小和芽葉數量之間的差別。因此,在YOLOv5s模型的基礎上,對主干網絡進行優化,以此來提升茶鮮葉分級的準確率和效率。YOLOv5s模型的Neck部分使用FPN+PAN結構,容易丟失部分原始特征信息。針對茶鮮葉數據集中不同的檢測目標,引入更高效的加權雙向特征金字塔結構BiFPN[16],其刪除單邊輸入的節點,簡化雙向網絡,在輸入和輸出節點處于同一層時額外加一條線,增加特征的融合,網絡結構如圖7所示。
引入BiFPN,可以增加各個特征尺度的耦合,有助于檢測較小茶鮮葉目標的淺層特征;同時跨尺度的連接方式可以提供更全局和更具語義的特征表示,從而解決茶鮮葉部分重疊時導致識別精度低的問題。
通過前面的理論分析與研究,得到一種適用于茶鮮葉檢測的YOLOv5s—CAB模型,其網絡整體結構如圖8所示。
2.4 結果與分析
2.4.1 模型性能評估指標
選用平均精度均值mAP、精確率P、召回率R以及檢測速度FPS作為評估指標。其中精確率和召回率的計算如式(1)和式(2)所示。
P=TPTP+FP
(1)
R=TPTP+FN
(2)
式中: TP——樣本為正,預測結果為正;
FP——樣本為負,預測結果為正;
FN——樣本為正,預測結果為負。
2.4.2 改進后的YOLOv5s消融試驗
為驗證CA、ASPP與BiFPN對網絡的優化作用,進行消融試驗。消融試驗是指對變量進行控制,通過增減模塊來確定模塊的必要性。首先對單一特征進行訓練作為對照組,然后依次合并模塊。
由表3可知,使用YOLOv5s算法對茶鮮葉進行識別,平均精度均值為85.6%,召回率為82.5%,檢測速度為82幀/s。加入3個模塊后,每個模塊在一定程度上都能提高模型的精確率、召回率和平均精度均值。最終提出YOLOv5s—CAB算法,平均精度均值為90.4%,召回率為87.8%。
改進后的YOLOv5s—CAB算法相比于改進前的YOLOv5s算法,在茶葉數據集上平均精度均值提升4.8%,召回率提升5.3%,檢測速度還能保持在79幀/s,改進后的算法能夠在提高檢測精度的同時保證檢測速度。
2.4.3 可視化結果
采用相同的測試圖片對改進前后的模型進行測試并進行可視化,可視化結果如圖9所示。可以看出,YOLOv5s算法存在漏檢的情況,且一芽兩葉、一芽三葉、一芽四葉和其他(碎雜葉)的誤檢率較高。改進優化后的YOLOv5s—CAB算法沒有存在漏檢情況,對不同等級的茶鮮葉識別精度更高,誤檢率降低,標框位置也更精確。
3 茶鮮葉分級裝置試驗與結果分析
3.1 試驗材料與裝置
為檢測茶鮮葉分級裝置運行時的穩定性,并考察該分級裝置的實用性和推廣價值,2023年4月中旬在浙江省杭州市茶園以龍井鮮葉為試驗對象進行檢測分級試驗。試驗材料有茶鮮葉分級裝置、筆記本電腦、龍井茶鮮葉等。根據系統機械結構設計要求,搭建試驗裝置。
3.2 試驗方法
試驗選定上料時間、上料板傾角、傳送帶速度作為試驗因素,探究其對茶鮮葉識別率和準確率的影響情況,以獲得茶鮮葉分級裝置的最佳作業參數。試驗指標計算如式(3)和式(4)所示。
η1=m1m×100%
(3)
η2=1n∑ni=1snSn×100%
(4)
式中: η1——識別率,%;
m1——
被識別的茶鮮葉總數,朵;
m——茶鮮葉總數,朵;
η2——準確率,%;
sn——
被識別的單個等級茶鮮葉總數,朵;
Sn——單個等級的茶鮮葉總數,朵。
試驗1:探究上料板傾角的影響。為避免茶鮮葉在上料過程中速度過快造成堆疊影響識別準確率,或速度過慢難以下落,造成無法識別的情況,將不同天氣采摘的茶鮮葉放在上料板上測試,對比上料板傾角與茶鮮葉下落速度的關系,每組試驗重復2次,取平均值。
試驗2:探究上料時間和傳送帶速度間的影響。分別以不同的上料時間和傳送帶速度進行試驗,對比傳送帶速度v和茶鮮葉下落時間t對茶鮮葉識別率η1和準確率η2的影響,每組試驗重復2次,取平均值。
試驗3:由試驗1、試驗2確定上料板傾角、上料時間和傳送帶速度的最佳參數后,隨機稱取晴天下午采摘的茶鮮葉250g,按照單芽、一芽一葉、一芽兩葉、一芽三葉、一芽四葉和其他(碎雜葉)進行分組,進行茶鮮葉人工分級,統計不同等級芽葉數量。在茶鮮葉分級裝置進行總體試驗,每組試驗重復3次,取平均值。
3.3 結果與分析
試驗1:經過對比試驗,雨天采摘的茶鮮葉在上料板上摩擦力較大,因此,采用的上料板傾角為60°,晴天下午采摘的茶鮮葉適用傾角為45°。
試驗2:對比上料時間和傳送帶速度間的關系。由圖10和圖11可知,當傳送帶的速度為150mm/s時,茶鮮葉的識別率和準確率較高。確定傳送帶的速度為150mm/s,茶鮮葉下落時間120s后,識別率和準確率的漲幅趨于平緩,且準確率在95%以上。結合準確率和識別效率的綜合考量,確定分級裝置最佳參數:傳送帶速度為150mm/s,茶鮮葉的下落時間為120s。
試驗3:由試驗1和試驗2確定最佳參數,茶鮮葉下落速度為2.08g/s(250g茶鮮葉120s下落完),傳送帶速度為150mm/s。表4為晴天下午采摘的茶鮮葉分級試驗結果,試驗時上料板傾角為45°。
由表4可知,原始算法在搭建的樣機上識別率為61.87%,準確率為91.97%,改進后的YOLOv5s—CAB算法在樣機上作業后的平均識別率和準確率分別為74.69%、95.58%。改進后的算法較原始算法在識別率和準確率上分別提高12.80%和3.61%。圖12為茶鮮葉識別過程中的可視化結果,左邊兩幅圖采用YOLOv5s算法,右邊兩幅圖采用YOLOv5s—CAB算法,改進后的YOLOv5s—CAB算法明顯提高了茶鮮葉的識別量,降低了漏檢率。
4 結論
1) 以春季龍井茶鮮葉為研究對象,研制基于機器視覺的茶鮮葉在線檢測智能分級裝置,可實現檢測分級一體化,有效降低勞動強度,提高分級的準確率和效率。
2) 對識別檢測算法進行改進,通過添加注意力機制、引入空洞空間卷積池化金字塔和改進特征融合網絡對YOLOv5s網絡結構進行優化得到YOLOv5s—CAB,其識別的平均精度均值為90.4%,召回率為87.8%,較原始算法提升4.8%和5.3%。
3) 在搭建的樣機上進行試驗,結果表明:樣機檢測分級性能穩定,識別準確率達95.58%。該裝置具有較好的實用價值,也可為其他評級標準類似龍井的茶鮮葉(如安吉白茶、信陽毛尖等)檢測分級提供參考。
參 考 文 獻
[1] 顧陽,劉瑾,劉春沐陽.中國茶業的使命擔當[N].經濟日報,2022-06-09(001).
[2] 袁海波,滑金杰,鄧余良,等.基于YJY-2型鮮葉分級機的機采茶葉分級分類工藝優化[J].農業工程學報,2016,32(6):276-282.
Yuan Haibo, Hua Jinjie, Deng Yuliang, et al. Optimization of grading and classification technology for machine picking leaves based on YJY-2 type classifier [J]. Transactions of the Chinese Society of Agricultural Engineering,2016,32(6):276-282.
[3] 胡永光,李建鋼,陸海燕,等.等直徑滾筒式茶鮮葉分級機設計與試驗[J].農業機械學報,2015,46 (S1):116-121.
Hu Yongguang, Li Jiangang, Lu Haiyan, et al. Design and experiment of equant-diameter roller screening machine for fresh tea leaves [J]. Transactions of the Chinese Society for Agricultural Machinery,2015,46 (S1):116-121.
[4] 王榮揚.柔性片狀物料氣固耦合數值計算及機采茶鮮葉分選裝置試驗研究[D].杭州:浙江理工大學,2020.
Wang Rongyang. Numerical simulations of gas-solid coupling mechanism of flexible flaky materials and experimental studies of the sorting equipment for machine-plucked fresh tea leaves [D].Hangzhou: Zhejiang Sci-Tech University, 2020.
[5] 張俊寧,畢澤洋,閆英,等.基于注意力機制與改進YOLO的溫室番茄快速識別[J].農業機械學報,2023,54(5):236-243.
Zhang Junning, Bi Zeyang, Yan Ying, et al. Fast recognition of greenhouse tomato targets based on attention mechanism and improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery,2023,54 (5):236-243.
[6] 張帆,郭思媛,任方濤,等.基于改進YOLOv3的玉米葉片氣孔自動識別與測量方法[J].農業機械學報,2023,54(2):216-222.
Zhang Fan, Guo Siyuan, Ren Fangtao, et al. Automatic identification and measurement of maize leaves stomata based on YOLOv3 [J].Transactions of the Chinese Society for Agricultural Machinery, 2023,54(2):216-222.
[7] 胡和平,吳明暉,洪孔林,等.基于改進YOLOv5s的茶葉嫩芽分級識別方法[J].江西農業大學學報, 2023,45(5):1261-1272.
Hu Heping, Wu Minghui, Hong Konglin, et al. Classification and recognition method for tea buds based on improved YOLOv5s [J].Acta Agriculturae Universitatis Jiangxiensis,2023,45(5):1261-1272.
[8] 方夢瑞,呂軍,阮建云,等.基于改進YOLOv4—tiny的茶葉嫩芽檢測模型[J].茶葉科學,2022, 42(4):549-560.
Fang Mengrui, Lü Jun, Ruan Jianyun, et al. Tea buds detection model using improved YOLOv4—tiny [J].Journal of Tea Science,2022,42(4):549-560.
[9] Li J, Li J H, Zhao X, et al. Lightweight detection networks for tea bud on complex agricultural environment via improved YOLOv4 [J].Computers and Electronics in Agriculture,2023, 211:107955.
[10] Wang S Y, Wu D S, Zheng X Y. TBC—YOLOv7: A refined YOLOv7—based algorithm for tea bud grading detection [J].Frontiers in Plant Science, 2023,14: 1223410.
[11] GH/T 1115—2015, 西湖龍井茶[S].
[12] 何斌,張亦博,龔健林,等.基于改進YOLOv5的夜間溫室番茄果實快速識別[J].農業機械學報,2022,53(5):201-208.
He Bin, Zhang Yibo, Gong Jianlin, et al. Fast recognition of tomato fruit in greenhouse at night based on improved YOLOv5[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022,53(5):201-208.
[13] Hou Q B, Zhou D Q, Feng J S. Coordinate attention for efficient mobile Network design [D]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2021:13708-13717.
[14] 馬宏興,董凱兵,王英菲,等.基于改進YOLOv5s的輕量化植物識別模型研究[J].農業機械學報,2023,54(8):267-276.
Ma Hongxing, Dong Kaibing, Wang Yingfei, et al. Lightweight plant recognition model based on improved YOLOv5s [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(8):267-276.
[15] Yang M K, Yu K, Zhang C,et al. Dense ASPP for semantic segmentation in street scenes [D]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018:3684-3692.
[16] Tan M X, Pang R M, Le Q V. EfficientDet:Scalable and efficient object detection [D]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020:10778-10787.