基于改進YOLOv7的自然環境烏梅成熟度檢測方法

中圖分類號：S567；TP399 文獻標識碼：A 文章編號：2095-5553（2025）07-0124-07

Abstract：Black plumwithdiferent maturityhas differentpharmacologicalefects.Tojudgethematuritymostfruits in the orchard，a series improvementsare cariedout basedon the YOLOv7 target detection algorithm.The Vision Transformer with Bi-Level Routing Atention（BiFormer）module isadded tothe Backbone YOLOv7 modelto improve thefeatureexpresionability thenetwork.Thefruitmaturityrefinementmoduleisdesignedtoimprovethecorrectrate fruit maturity detection.The studyshows that theimprovedYOLOv7—1model hasa Mean AveragePrecision （mAP） 0.805，and is higher by4.8，12.4，0.9，0.7，12.6，1.7，5.8and12.3 percentage points， respectively，compared with the improved YOLOv7—2 model，Faster R—CNN model，YOLOv3 model，Mask R— CNN model，YOLOv5s model，YOLOv5l model，YOLOv7 model，and YOLOv8 model. The improved YOLOv7— 1 model can improve the accuracy identifying the maturity black plum.

Keywords：black plum;maturity detection;deep learning；natural environment

0 引言

成為合理安排勞動力以及適時采摘的必要條件。

烏梅，別名酸梅、黑莓，薔薇科植物梅的果實，具有食用價值、藥用價值、生態價值[1]。我國是烏梅的原產地，不同成熟度的烏梅作用大不相同2。成熟的烏梅分布不均會加大采摘難度，也會影響果農的收益，因此快速準確地識別烏梅，提供烏梅不同成熟度分布信息，

烏梅的成熟度主要依靠肉眼判斷果實表皮顏色加以區分。傳統機器視覺主要通過果實表皮的顏色特征進行提取分割，建立果實的成熟度模型。劉宇飛等[3]基于機器視覺對番茄表面紅色面積檢測，進行顏色分級，根據顏色特征的關系來判斷番茄的表面成熟度等級。這個分級方法簡易，減少運算時間，但有一定的局限性。周文靜等4將紅提葡萄果穗用KNN模型從背景中分割出來，再運用圓形Hough變換提取出葡萄果實，提取果實的 H 顏色分量值，設置特定的顏色閾值對單個果實成熟度進行判定，經過統計后再判斷整個果串的成熟度等級。上述機器學習進行果實檢測仍存在檢測精度較低、檢測時間較長等問題。

隨著深度學習R—CNN、VGG、FasterR—CNN、YOLO算法、MaskR—CNN的發展，并在各種視覺任務中有較好的檢測效果，一些學者開始利用深度學習對水果成熟度進行識別分類。王立舒等5提出一種改進YOLOv4—Tiny模型的藍莓成熟度識別方法，藍莓成熟度在自然環境中檢測精度較高。但局限于未成熟、半成熟和成熟狀態，不能對藍莓整個成熟過程進行全面把控。李竹等利用VGG16神經網絡，提取果皮顏色特征建立模型，對藍莓成熟度的預測較為精細，提高了對藍莓果實成熟度的預測。王勇等提出一種基于改進YOLOv5s模型的不同成熟度蘋果目標檢測方法，能夠準確定位不同成熟度蘋果的特征區域。苗榮慧等°提出一種改進的輕量化YOLOv7模型的櫻桃番茄果實成熟度檢測方法，提高自然環境中相鄰成熟度果實和被遮擋果實的檢測精度，可見深度學習在果實成熟度檢測研究中優勢顯著。其中Bochkovskiy團隊9提出YOLOv7模型，具有檢測精度高、速度快、支持多種類型自標等優點，在檢測性能上優于其他模型。因此，選取YOLOv7模型為基礎模型用于自然環境烏梅成熟度的檢測。

在自然環境中，大多數檢測算法不能同時滿足精度高、速度快、計算量小的要求。對于平衡好檢測速度、檢測精度和模型計算復雜度的烏梅成熟度檢測方法的研究還較少。烏梅具有以下特性：烏梅形狀較小而密集，果實之間往往存在遮擋問題。烏梅同一花序所結果實成熟度不一致，且相鄰成熟度特征差異不明顯。針對以上問題，本文提出一種改進YOLOv7的目標檢測方法。在YOLO7的Backbone中加人BiFormer注意力模塊[10，11]，并設計果實成熟度精分模塊[12]，加強模型對全局信息的捕捉能力，提高對烏梅相鄰成熟度的區分能力，提高自然環境中烏梅成熟度檢測效果，以確定果園成熟果實的分布區域，為烏梅的采摘提供參考依據。

1材料與方法

1. 1 數據采集

數據集是由智能手機在自然環境下收集的，采集在不同成熟時間段的烏梅圖像共1106張。采集地位于新疆維吾爾自治區喀什地區莎車縣米夏鎮塔瓦克斯村家庭烏梅種植果園，該種植果園涵蓋自然環境下烏梅樹的多種復雜情況的需求。采集時間為2023年5月23—

26日、2023年7月15—18日、2023年8月2—5日、2023年9月13—16日，包含早、中、晚時間段，有晴天、陰天；有順光、逆光、背光拍攝方式，包含自然環境下光線明暗不同、烏梅堆疊程度不同、樹葉遮擋程度不同、成熟度不同，數據集貼近自然狀態下的烏梅。

1.2 烏梅成熟度區分

成熟度區分有很多類型，果皮顏色是衡量果實成熟度的重要指標之一。在烏梅成熟過程中，果實里的各種激素的轉換，顏色會相應地發生變化。從最初的綠色，明顯逐步轉變為紅色，最后呈藍紫色。因此，根據果皮顏色預測烏梅成熟度是一種可行的方式。為了更高效地識別烏梅在自然環境中的不同成熟度，烏梅果實成熟度主要以顏色為判斷依據，根據感官評價法、表皮比較法，以及人工采摘專家的經驗，將烏梅成熟度大致分成4個類別：綠熟期、半轉色期、轉色期、成熟期，如圖1所示。

圖1烏梅成熟度分類

Fig.1 Classification black plum maturity

綠熟期烏梅的表皮顏色完全是綠色，如圖1（a）所示。半轉色期烏梅表皮有輕微藍色或黃色，具體性狀表現為烏梅果實表皮的綠色區域面積占比超過 3/4 .如圖1（b）和圖1（c）所示。轉色期果實表皮顏色逐漸發黃和變紅幾乎沒有綠色，具體性狀表現為果實表面的黃色區域和紅色區域面積占比大于1/2，如圖1（d）～圖（g）所示。圖1（h）是成熟期烏梅，這個階段的具體性狀表現為烏梅果實表皮顏色完全是藍色。

1.3烏梅成熟度檢測模型

YOLOv7網絡模型比當前最優模型計算量少，擁有更快的推理速度和更高的檢測精度。為提高YOLOv7模型目標檢測算法性能，對其進行改進。

將BiFormer注意力模塊分別放在YOLOv7模型 的Backbone的前端（改進的YOLOv7—1模型的具體 檢測識別過程如圖2所示）和后端（改進的 YOLOv7—2模型的具體檢測識別過程如圖3所 示）訓練，添加果實成熟度精分模塊，并進行結果分析。

利用改進的YOLOv7—1模型和改進的YOLOv7—2模型檢測烏梅在4個不同成熟階段的表皮顏色，建立烏梅成熟度預測模型。模型在包含烏梅4個成熟度的圖像數據集上進行訓練和測試，訓練得到最優權值模型。

1.3.1BiFormer注意力模塊

BiFormer注意力模塊是基于VisionTransformer（ViT模型），引人一種新的雙層路由注意力機制（Bi-LevelRoutingAttention），這是一種新的通用ViT模型。BiFormer注意力模塊是一種動態的、查詢感知的稀疏注意力機制，可以幫助網絡捕捉長距離上下文依賴。在YOLOv7的Backbone中加人BiFormer注意力模塊，提高網絡對全局語義信息的捕捉能力。

ViT模型是基于Transformer結構的深度學習模型，對圖像處理有很好的分類能力。ViT的核心流程包括圖像分塊處理（makepatches）、圖像塊嵌入（patchembedding）與位置編碼、Transformer編碼器和MLP分類處理等4個主要部分。ViT會將整幅圖像拆分成小圖像塊，然后把這些小圖像塊的線性嵌入序列作為Transformer的輸入送入網絡，然后使用監督學習的方式進行圖像分類的訓練。ViT模型的整體結構如圖4所示。

BiFormer注意力模塊的整體結構如圖5所示。BiFormer注意力模塊遵循大多數的ViT模型架構設計，也是采用四級金字塔結構，即下采樣32倍。BiFormer注意力模塊在第1階段使用重疊塊嵌入，在第 2～ 第4階段使用塊合并模塊來降低輸入空間分辨率，同時增加通道數，然后采用連續的BiFormer塊做特征變換。在每個塊的開始均使用深度卷積來隱式編碼相對位置信息。隨后依次應用BRA模塊和擴展率為2層的多層感知機MLP模塊，分別用于交叉位置關系建模和每個位置嵌入。

圖5BiFormer注意力模塊的整體結構

Fig.5Overall architecture the BiFormer attention model

1.3.2 HSV顏色分割

運用HSV顏色分割方法，從圖像中提取出改進的YOLOv7模型的檢測框部分。將框內圖像進行提取，對提取后的果實圖像顏色特征進行再提取、計算與分析。流程如圖6所示。

圖6HSV顏色分割及輸出

從圖像中提取出改進的YOLOv7模型的檢測框部分，并將框內的RGB圖像轉換為HSV圖像。HSV與RGB相比，能夠更直觀地表達顏色的明暗程度、鮮艷程度以及色調，且亮度對色彩的影響較小，常用于分割指定顏色的目標。其轉換如式 （1）～ 式（3）所示。

式中： H 號 Hue顏色的色相；s Saturation飽和度；V Value色明度；R Red紅色；G Green綠色；B -Blue藍色。

遍歷整個分割出來的檢測框圖像的像素點，對每一個像素點進行HSV提取；再對該像素點顏色進行判定，判定為某種顏色；直到全部像素點判定完成，就可以知道該顏色的數目。占比計算和輸出，判斷檢測框內的果實為某一成熟期的烏梅。像素占比 A 計算如式（4）所示。

式中：i— 分割部分該顏色像素個數；

改進的YOLOv7模型檢測框內分割部分的所有顏色的總像素個數。

2 深度學習模型實驗

2.1 數據集處理

為增加數據集豐富度，使改進的YOLOv7—1模型和改進的YOLOv7—2模型能夠適應更多的場景，使用旋轉、縮放、水平翻轉和剪切等方法來增強訓練數據集。數據增強技術為訓練過程創建了5530張圖像。按照7：1.5：1.5 比例隨機分為訓練集、驗證集、測試集。

2.2實驗配置環境及訓練參數

訓練與測試在一臺配置為i5—12490F3.00GHZ的CPU、8GB的NVDIAGeForceRTX3070的GPU的計算機上運行，采用python3.8作為編程語言、Pytorch深度學習框架進行訓練。采用改進的YOLOv7—1模型和改進的YOLOv7—2模型為主要框架與預訓練權重，設置輸入圖像尺寸為1280像素 ×1280 像素，以4張圖像為一個批處理量，最大迭代次數為50次的模型參數，進行網絡訓練。

2.3 評價指標

在模型檢測精度方面，選用精確率 P 、召回率 R 和平均精度 AP 作為評價指標。精確率表示識別正確的烏梅數在識別目標中所占比率，召回率表示在所有烏梅中被識別出來的比率。在模型檢測性能方面，選取平均精度均值 mAP 、平均檢測時間ADT和模型內存占用量作為評價指標。檢測時間使用目標檢測網絡檢測一張圖所消耗的平均時間為標準， ms 。 P，R 、AP、mAP 計算如式（5）～式（8）所示。

式中： TP （2 被模型預測為正類的正樣本； FP 被模型預測為正類的負樣本； FN （204 被模型預測為負類的正樣本； M （202 類別總數； AP（k） 第 k 類 AP 值。

3 結果分析

3.1 檢測效果及分析

使用預訓練好的深度學習模型進行訓練，將按照7：1.5：1.5 比例進行訓練，得到4個成熟階段烏梅識別正確率。在綠熟期（2023年5月）半轉色期（2023年7月）轉色期（2023年8月）成熟期（2023年9月）4個成熟階段分別摘取烏梅果實300個，用改進的YOLOv7—1模型進行檢測，結果如表1所示。

表1改進的YOLOv7一1模型不同成熟度級別檢測結果

Tab.1 Detection results different maturity levels theimproved YOLOv7—1 model

3.2 果園識別效果

為測試算法的實用性，把改進的YOLOv7一1模型算法、改進的YOLOv7—2模型對果園中的烏梅進行檢測與識別，檢測輸出圖片中烏梅的總數，并分別顯示果實4個成熟度階段的占比。由此可以推算出果園大部分果實的成熟度，改進的YOLOv7—1模型、改進的YOLOv7—2模型的烏梅不同成熟度檢測效果如圖7和圖8所示。

圖7改進YOLOv7—1網絡模型的烏梅不同成熟度檢測效果 Fig.7 Detection effect theimproved YOLOv7—1network modelondifferentmaturityblack plum

圖8改進YOLOv7—2網絡模型的烏梅不同成熟度檢測效果 Fig.8 Detectioneffect theimproved YOLOv7—2 network model ondifferentmaturityblackplum

綜合對比可以看出，改進的YOLOv7—1模型相比于改進的YOLOv7—2模型目標檢測算法具有更高的識別準確率。因此，本研究算法具有較強的魯棒性，可以適應自然環境下的不同情況。

3.3不同算法檢測能力對比

為驗證所選模型在自然復雜環境下對烏梅成熟度 檢測的準確性和快速性，選擇改進的YOLOv7—1模型 與FasterR—CNN模型、YOLOv3模型、MaskR—CNN 模型、YOLOv5s模型、YOLOv5l模型、YOLOv7模型、 YOLOv8模型和改進的YOLOv7—2模型對測試集的 烏梅圖像進行算法對比，結果如圖9和圖10所示。

Fig.9Different maturity detection effects black plum different trained network models（1）

圖9不同訓練網絡模型的烏梅不同成熟度檢測效果（1）

圖10不同訓練網絡模型的烏梅不同成熟度檢測效果（2）

Fig.10Different maturity detection effects black plum different trained network models（2）

由圖9和圖10可知，只有YOLOv7模型對烏梅果實成熟度的檢測識別效果較好，因此，選擇YOLOv7模型進行改進，改進之后的模型效果更好。改進的YOLOv7—1模型與其他模型在驗證集上對不同成熟度烏梅檢測的試驗結果如表2所示。改進的YOLOv7—1模型在檢測中的總體平均精度均值比改進的YOLOv7—2模型、FasterR—CNN模型、YOLOv3模型、MaskR—CNN模型、YOLOv5s模型、YOLOv5l模型、YOLOv7模型和YOLOv8模型分別高 4.8% 、12.4%.0.9%.0.7%.12.6%.1.7%.5.8% 和 12.3% ，且檢測速度也較快。其中，改進的YOLOv7—2模型的檢測精度較高，并且出現漏檢誤檢的情況較少；FasterR—CNN模型檢測精度較低，不僅參數量大，還耗時；YOLOv3模型內存較大且檢測時間較長，出現漏檢較多；MaskR一CNN模型檢測精度較低，不僅參數量大還耗時；YOLOv5s檢測精度較差，且容易出現漏檢、錯檢、多檢的現象；YOLOv51模型在檢測精度效果上表現較好，但過擬合現象比較嚴重；YOLOv7模型雖內存較小，但檢測精度較差，且容易出現漏檢、錯檢、多檢的現象；YOLOv8模型雖內存較大，但檢測精度較差，且容易出現漏檢、錯檢、多檢的現象。因此，綜合對比可以看出，改進的YOLOv7—1模型在烏梅各種成熟度的檢測精度與檢測速度上都有更大優勢。

表2不同訓練網絡模型的烏梅成熟度檢測結果Tab.2 Results black plum maturitydetection withdifferent trained network models

4結論

1）選擇網絡模型改進的YOLOv7模型用于烏梅 成熟度檢測。實驗結果表明，改進的YOLOv7—1模 型具有較強的魯棒性，同時保證烏梅成熟度的檢測精 度和檢測速度，滿足在自然環境中對烏梅成熟度的檢 測。當烏梅處于綠熟期、半轉色期、轉色期、成熟期階 段時，改進YOLOv7—1模型的識別正確率分別為 98.66%.94.33%.94.66%.98.33% 。

2）為驗證改進的YOLOv7模型的性能，設置4組網絡進行實驗驗證，并對結果進行定量分析，試驗結果表明改進的YOLOv7—1模型更好。其平均精確均值比改進YOLOv7—2模型、FasterR—CNN模型、YOLOv3模型、MaskR—CNN模型、YOLOv5s模型、YOLOv5l模型、YOLOv7模型和YOLOv8模型分別高 4.8% 、 12.4% 、 0.9% 、 0.7% 、 12.6% ） 1.7%.5.8% 和 12.3% 。

3）根據烏梅生長過程中各種激素與其顏色關聯機制，通過機器視覺和圖像處理方法，獲得果實顏色特征參數。研究結果有助于完善烏梅成熟度評價指標，確定烏梅成熟度適時采摘，為后續保鮮、包裝和運輸方式選擇提供依據。

參考文獻

[1]黃海．淺析我國烏梅產業發展現狀、存在的問題及發展建議[J]．科學種養，2018（8）：9-10.

[2]張君成，梁華，王燕，等．烏梅藥理作用研究進展[J]．遼寧中醫藥大學學報，2021，23（8）：122—126.

[3］劉宇飛，湯曉華．基于機器視覺的番茄顏色分級方法的研究[J]．機電產品開發與創新，2013，26（2）：99—100.

[4］周文靜，查志華，吳杰．改進圓形Hough變換的田間紅提葡萄果穗成熟度判別[J]．農業工程學報，2020，36（9）：205-213.Zhou Wenjing，Zha Zhihua，Wu Jie. Ear maturity red grape in field based on improved circular Houghtransform [J]. Transactions the Chinese Society Agricultural ，2020，36（9）：205-213.

[5］王立舒，秦銘霞，雷潔雅，等．基于改進 YOLOv4—Tiny的藍莓成熟度識別方法[J]．農業工程學報，2021，37（18）：170—178.WangLishu，QinMingxia，LeiJieya，etal.Blueberry maturity recognition method based on improvedYOLOv4—Tiny [J]. Transactions the Chinese Society Agricultural ，2021，37（18）：170—178.

[6]李竹，牟昌紅，嵇康軒，等．基于深度學習的藍莓成熟度預測[J].安徽農業科學，2023，51（5）：232-236.

[7］王勇，陶兆勝，石鑫宇，等．基于改進YOLOv5s的不同成熟度蘋果目標檢測方法[J]．南京農業大學學報，2024，47（3）：602-611.

[8]苗榮慧，李志偉，武錦龍．基于改進YOLOv7的輕量化櫻桃番茄成熟度檢測方法[J]．農業機械學報，2023，54（10）：225-233.Miao Ronghui，Li Zhiwei，Wu Jinlong，et al.Light-weight cherry tomato maturity detection method basedon improved YOLOv7 [J]. Transactions the ChineseSociety forAgriculturalMachinery，2O23， 54（10）：225-233.

[9]Wang C，Bochkovskiy A，Liao H. YOLOv7：Trainablebag--freebies setsnew state--the-art for real-timeobject detectors [C]. Proceedings the IEEE/CVFConference on Computer Vision and Pattern Recognition，2023：7464—7475.

[10] Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image isworth 16×16 words：Transformers forimagerecognitionat scale[J].arXiv preprintarXiv：2010.11929，2020.

[11]ZhuL，WangX，Ke Z，etal. BiFormer：Vision transformerwith Bi-Level Routing Attention [C].Proceedings theIEEE/CVF Conference on Computer Vision and PatternRecognition，2023：10323—10333.

[12]李天華，孫萌，丁小明，等．基于YOLOv4十HSV的成熟期番茄識別方法[J]．農業工程學報，2021，37（21）：183—190.Li Tianhua， Sun Meng，Ding Xiaoming，etal.Recognition method mature tomatobasedonYOLOv4+HSV [J]. Transactions the Chinese Society Agricultural ，2021，37（21）：183-190.