果實采摘高精度視覺定位及分級方法

中圖分類號：S126：TP391.41 文獻標志碼：A 文章編號：1002-1302（2025）14-0217-07

江西省贛州市被譽為“中國臍橙之鄉”，傳統的臍橙產業鏈中包括育苗、種植、采摘、分級、包裝到運輸等一系列生產流程[1-2]。目前，采摘與分級兩大環節仍依賴人工操作，這面臨著生產成本高、手工作業耗時長及熟練勞動力短缺等問題[3]。臍橙智能果實定位和分級設備的使用可有效降低勞動強度和生產成本，而大多數種植者和農民更喜歡復雜度較低的農業作業輔助設備[4]。因此，設計出一種快速定位臍橙果實并自動進行精準分級的算法對于贛南臍橙產業的經濟發展具有重要意義。

近年來，深度學習憑借著高效率和高擴展性，在農業領域被廣泛應用[5-7]。Gai等通過改進YOLOv4深度學習算法檢測櫻桃果實，實現了小果實的精確識別以及實際果園中同一區域不同成熟度櫻桃果實的識別[8]。Sa等提出顏色和近紅外信息組合的早期和晚期融合深度卷積神經網絡方法，實現對7種不同種類、不同大小水果的檢測Chu等開發出一種新型MaskR-CNN蘋果檢測框架，所開發的抑制掩膜R-CNN網絡性能優于當時最先進的模型[10]。李茂等利用改進的YOLO v8，引入加權雙向特征金字塔和WIoU損失函數，在一定程度上降低了模型參數量[11]。然而，高精度的大型模型無法滿足便攜式設備部署的實時檢測要求。因此，高效、輕量級的檢測模型已成為臍橙果實采收的核心組成部分之一。

關于果實的識別研究我國學者雖然已經有一定的基礎，但是在采摘過程中，會受到各種光照條件、果實重疊、樹葉遮擋等因素的影響，給果實采摘帶來了一定的困難，并且對于果實采摘之后如何進行果實大小的分級操作也是一個需要探討的方面[12-14]。樊澤澤等結合傳統方法與深度學習方法，將識別到的果實目標大小與實際大小相映射從而計算果實直徑，最終實現果實分類，但所提出的模型參數量過大，不利于部署到采摘機器人當中[15]Liang等提出一種基于BiSeNetv2深度學習網絡的缺陷蘋果缺陷部分語義切分方法，通過計算缺陷的面積進行分級，但應用場景過于單一，沒有考慮到實際采摘環境[16]。朱磊等采用改進后的YOLACT算法將臍橙生成的掩膜與深度圖配準得到果實點云數據，然后對果實進行外形擬合，但其實時性較差[17]。雖然以上方法都實現了對果實的定位以及分級，但在復雜環境下卻沒有得到一個很好的應用，并且這些方法對于算法精度、參數量以及速度沒有一個綜合考量。

綜上所述，盡管深度學習方法在果實定位與分級中的應用研究取得顯著進展，但在復雜的果園環境、變化的光照條件、遮擋和果實大小差異等條件下定位臍橙果實仍面臨挑戰。為此本研究利用廉價的深度相機和深度學習方法提出一種輕量級的臍橙果實定位算法，擬解決采收機器人在現實環境中無法精確定位果實及分級的問題。

1材料與方法

1.1 數據集構建

本研究使用IntelRealSenseD455視覺傳感器作為臍橙數據采集設備，RealSenseD455深度相機功能如圖1所示。在臍橙果實樣本數據采集過程，將采集距離控制在 0.5～2.0m ，高度范圍在 1.0～1.2m 之間，從不同角度進行拍攝采集（圖2）。為同時獲取RGB圖像和深度圖像，將RGB圖像分辨率設為1280像素 ×800 像素，RGB幀率和深度幀率均設置為30幀/s。數據采集地點位于江西省贛州市南康區，采集完成后對臍橙數據集進行預處理，經過數據篩選和清洗后得到331張原始圖像。

圖1相機示意

使用開源數據標注工具Labelme對臍橙原始圖像進行標注。考慮到多樣性數據能使網絡在復雜的果園環境中更具魯棒性和原始數據采集過程中存在場景單一等問題，本研究使用隨機調整亮度、添加噪聲、高斯模糊、鏡像及旋轉等操作對原始數據進行擴充，得到1986張圖像用于臍橙分割模型訓練。為滿足臍橙分割模型的輸入結構需求及更好地利用有限的計算資源，將圖像統一為640像素 ×640 像素，并利用隨機分類程序，以 7：2：1 的比例劃分訓練集、驗證集及測試集。

圖2數據采集示意

1.2 方法流程

為實現采摘機器人在臍橙采摘過程中對臍橙果實的識別定位與分級，本研究提出Orange-grading算法，該算法運行的總體流程為運用深度相機采集得到的RGB-D數據構建樣本集，針對實際果園中果實易被遮擋、果實粘連等問題，構建Orange-Seg 模型，將增強特征聚合模塊和任務對齊耦合頭引入YOLOv8特征提取網絡和檢測頭中，前者通過級聯的方式增加每個特征層的特征融合，后者根據定位和分類需求，通過任務對齊的方式動態調整網絡的果實定位能力，進而提高密集果實和被遮擋果實的定位精度。然后將識別得到的果實根據深度圖轉為點云后進行果實擬合，通過相機坐標系得出果實各個參數并進行分級。

1.3 Orange-Seg模型

與兩階段檢測模型相比，單階段檢測模型結構簡單，且具有更快的推理速度，更適合在計算資源有限的平臺上實現臍橙實時定位。鑒于YOLO作為現時SOTA模型的代表，在單階段檢測模型領域平衡了精確度與速度，本研究使用YOLOv8-Seg作為基線模型[18]。本研究所提出的臍橙定位模型名為Orange-Seg，結構如圖3所示。考慮到傳統特征金字塔依賴于層內的特征對齊，而忽略了層間的特征整合，本研究引入增強特征聚合模塊（EFAM）代替原始特征金字塔，提取每層更具代表的特征圖，以實現不同特征圖的有效融合。此外，根據分類和定位的不同需求，本研究設計任務對齊耦合分割頭（TACSHead）為這2個子任務提供側重不同的特征信息。

圖3提出的Orange-Seg模型

1.3.1增強特征聚合模塊在一般的農業檢測任務中，特征金字塔網絡（FPN）基本能滿足需求，其主要思想是通過自上而下的特征融合，盡可能地結合多尺度信息[19]。然而，傳統的特征金字塔結構僅為對應的解耦頭生成特征映射，并未考慮層間特征的聯合優化。在復雜的果園環境中，臍橙果實通常尺寸較小且密集分布，這導致特征金字塔在融合特征時，容易使小目標的特征被高層特征的語義信息所淹沒，從而降低檢測精度。因此，需要采用更合適的方式融合跨層特征，以滿足不同子任務對特征信息的需求。

本研究提出一種增強特征聚合模塊（enhancedfeatureaggregationmodule，EFAM），具體如圖4所示。輸入特征圖通過Adown、上采樣以及 1×1 卷積處理后，在通道維度進行拼接[20]。隨后，通過級聯的不同尺寸深度可分離卷積層對拼接后的特征進行處理，根據不同尺度特征圖的內容靈活調整特征提取過程，增強模型在復雜背景下的魯棒性。

Z^（m）=DWConv_{k^（n）×k^（n）}，m=2，…，5，

式中： k^（n）=2m+1;Z^（m） 是第 m 個 k^（n）×k^（n） 個深度卷積提取的特征信息。使用大核可分離卷積會導致局部信息不足，因此在后面設置 1×1 的逐點卷積融合各個尺度間的語義特征信息，形成一個具有多尺度信息和增強特征表示的特征圖。因此EFAM可有效提升小目標檢測的精度，特別是在果實高密度分布的復雜果園環境中，展現出顯著優勢。

圖4增強特征聚合模塊

1.3.2任務對齊耦合分割頭YOLOv8模型頭部采用的耦合形式分為回歸與分類2個任務，盡管耦合頭作為單階段檢測的標準范例之一，但在本研究中，臍橙分割是單類分割任務，采用2個并行分支處理定位和分類這2個子任務仍可能會導致臍橙定位出現一定程度的不準確性。此外，臍橙果實的高密度分布進一步加劇了果實定位的挑戰，影響了整體分割精度。

考慮到上述缺點，本研究提出的耦合動態任務分割頭 Task-Aligned Coupled Segmentation Head（TACSHead）可解決這些問題（圖5）。采用2個連續的共享卷積引導輸入特征生成豐富的語義信息，輸出的特征圖通過自適應平均池化，生成一個全局的特征表示，而后對該特征進行任務分解，得到適合分類和定位的描述信息。在定位分支中，為解決臍橙果實因形狀尺寸各異以及相互重疊帶來的定位困難，引人可變性卷積DCNV2，該卷積通過計算偏移量和掩碼，動態調整卷積核的位置和權重，表達如下式所示。

圖5任務對齊耦合分割頭

F_out=DCNV2（F_reg，O，M）°

式中： F_reg 是調整后的特征圖； o 是生成的偏移量； M是掩碼值。

通過上述調整后的定位分支與分類分支共同輸出，得到臍橙耦合結果，更好區分相鄰果實，減少了重疊和錯位的影響。總之TACSHead可讓2個子任務更好連接，允許間接信息交換，實現了臍橙果實的統一預測。

1.4果實點云擬合

1.4.1臍橙果實點云生成由于深度成像過程中存在固有局限，直接將深度信息與高分辨率的RGB圖像進行簡單對齊變得異常棘手，這嚴重影響圖像數據的完整性和后續分析的準確性。此外，果實的識別定位是基于RGB彩色圖像進行的，因此為兼顧深度信息的準確性和色彩信息的豐富度，同時確保點云模型構建的高效性和精確度，本研究將深度相機坐標系轉換為彩色相機坐標系。深度圖轉為點云的原理如圖6所示，由于在工作的時候只考慮臍橙與相機的相對位置，無需將臍橙轉換到世界坐標系，因此本研究將世界坐標系和相機坐標系進行重疊，以減少多余的計算過程，相應的計算公式如下：

式中： （u，v） 為深度圖中一點的像素坐標， （X_c，Y_c ，Z_c ）為該點在相機坐標系下的空間坐標 ;f_x 和 f_y 分別表示相機的焦距在圖像平面上的水平和垂直分量，其中 f_x 代表水平方向的焦距 I_y 代表垂直方向的焦距。 c_x 和 c_y 則表示相機光軸在圖像坐標系下的偏移量 構成了相機參數矩陣 M ，編寫代碼獲取相應內參后代入公式（3）中，即可生成臍橙果實點云。

圖6 深度圖轉點云原理

1.4.2基于最小二乘法的點云擬合由于二維果實轉為點云后在三維空間表示為近似半球面，一般常用球面擬合法來估計三維空間中的果實大小，主要方法有隨機采樣一致法和最小二乘法[2I-22]。隨機采樣一致算法的基本思想是通過不斷的迭代，記錄下最合適的模型參數，可見該算法受迭代次數、閾值等參數的影響較大。最小二乘法主要是從給定數據點到球體的距離平方和，以確定能表示點云的最適合球體，而本試驗所用的是已經處理好的臍橙果實點云數據，因此擬合方法選用最小二乘法是最合適的。可表達為來自一組3D 坐標 {p₁，p₂，… ，p_n} ，公式如下：

假設果實上每個點為 p_i={x_i，y_i，z_i}，（a，b，c） 為球面球心坐標， R 為球面半徑。為確保該球體能夠很好地表示臍橙果實數據，每個數據點與球體表面之間差的平方之和被最小化，如公式（5）所示。

式中通過對最小二乘法的優化，確保球體的表示與從臍橙中提取的三維點云的真實分布相吻合，同時將擬合臍橙果實的直徑、質心等參數求解出來。

2 試驗與分析

2.1試驗環境和參數配置

試驗所使用的操作系統為Windows10，CPU型號為AMD Ryzen 9 3900X 12-Core Processor3.79 GHz，GPU型號為NVIDIA GeForceRTX 2080Ti 。使用Pytorch深度學習框架、Open3d庫以及python編程語言，版本分別為Pytorch1.13.1、python3.9.18、CUDA11.1、CUDNN8.8.1。為防止模型不收斂，在試驗前設置150、200、250、300次這4種批次訓練，以尋找最適合的迭代次數，經過對比決定選擇epoch為200次，BatchSize為16，優化器選擇SGD，學習率為0.01。

2.2 評價指標

為使機器人更準確快速地采摘臍橙，在果實識別過程中需要評估果實檢測精度以及速度。因此選用精度（precision， P ）、召回率 （recall，R） 、平均精度（mean average precison， mAP ）作為評價指標，公式如下。

式中：TP表示被正確識別為臍橙的數量； FP 表示被錯誤識別為臍橙的數量； FN 表示被漏檢的臍橙數量。

2.3果實識別與分級結果

2.3.1消融試驗與不同算法對比目前YOLOv8-Seg系列有5個版本，每個版本的精度、參數量、計算量和檢測速度都不一樣，本試驗以YOLO v8n 為基礎，與其他類型相比，YOLOv8s版本4個指標都不如YOLO v8n ，雖然在 m，l 版本中精度稍有提升，但是其參數量和計算量都以倍數增長，定位速度也迅速下降（表1），綜合考慮4個指標，選擇YOLOv8n 最為合適。

表1不同類型模型

本研究在上述YOLOv8n的基礎上，通過添加增強聚焦模塊和任務對齊耦合分割頭模塊，使臍橙果實識別精度得到明顯提升，為對比改進方法的有效性，在每次運行時不改變訓練的參數設置，對加入的2個模塊進行消融試驗，并對比各方面檢測性能。根據表2可得，加人增強特征聚合模塊可使臍橙尺度特征具有更加詳細的信息，同時擴散到后續檢測尺度中，使模型的精度、召回率和平均精度都有提升，分別達到 96.9%.92.6%.84.7% ；后又為了使整體模型更輕量化，后續果實點云分割效果更好，又加人了任務對齊耦合分割頭模塊，總體來說，使精度、召回率、平均精度分別提升 1.6、0.2、1.6 百分點，參數量為原來的 86.2% 。在正常場景、果實遮擋、重疊、遠距離小目標4種場景下（圖7），4個模型在無果實重疊、無遮擋時都表現出較好的識別能力，但在有果實重疊、遮擋、遠距離小自標場景下，原始模型會出現識別多個果實為同一個果實或識別不到的現象，從而容易導致果實掩膜邊界不清晰，進而影響后續果實擬合分級。

為進一步驗證本研究所構建的模型性能，現將本模型與MaskScoringR-CNN、MaskR-CNN、YOLACT、CascadeR-CNN等主流分割模型進行對比[23-26]。定量結果如表3所示，Orange－ Seg精度為 97.6% 、召回率為 92.2% ，平均精度為 85.1% ，參數量為5.6M，計算量為12G，均高于其他4個模型。

表2改進前后參數對比

圖7原始結果以及改進后結果

表3不同模型性能對比

2.3.2果實擬合與分級為平衡果實點云擬合的速度和精度，本研究進行2種擬合算法的試驗統計，針對不同數量的點云數據進行擬合，并根據現行的GB/T21488—2008《臍橙》中的分類等級標準進行分級，結果見表4。在速度方面，最小二乘法明顯快于RANSAC，這是因為RANSAC的迭代操作增加了計算時間，并且其精度受參數選擇的影響較大。當點云數量下降時，最小二乘法和RANSAC算法的誤差都出現一定程度的增加，綜合考慮精度和速度的要求，最小二乘法的擬合效果最佳，2000個點左右為最終的降采樣分辨率。在該分辨率下，直徑誤差為 0.1cm 。

表4不同算法下點云擬合情況

3結論

為實現對臍橙果實的合格采收，本研究聯合深度相機提出一種臍橙果實定位分級的新方法Orange -Seg ，并在模型的特征提取網絡中引入增強特征聚合模板，加強層間的信息交互；同時設計適合特征提取網絡的任務對齊耦合分割頭，優化網絡對果實定位的學習過程。從定量的角度分析5組網絡性能，結果表明，Orange-Seg臍橙定位網絡的精度、召回率、平均精度為 97.6%.92.2%.85.1% ，參數量降低 13.8% ，優于其余4組模型。在果實重疊、遮擋、遠距離的場景下，Orange-Seg能夠對臍橙果實進行精準定位。且模型內存占有量有了一定的降低，降低對硬件的要求，有利于模型向邊緣設備、嵌入式系統、專用芯片等硬件平臺的遷移應用。

在對果實進行點云擬合時，最小二乘算法總體優與RANSAC算法，在速度上最小二乘算法快于RANSAC算法，這主要是由于RANSAC算法需要經過多次迭代才可以得到結果。最小二乘算法在點云數量為2000時誤差精度為 0.1cm ，擬合速度為5.13ms ，總體上滿足臍橙分級要求。

參考文獻：

[1]郭慧，鐘八蓮，盧占軍.基于產業集群理論的臍橙產業可持續發展研究：以贛南臍橙為例[J]．價格月刊，2015（2）：75-79.

[2]熊德斌，歐陽洪姝，李佳歡.政府有為、市場有效與特色農業發展機制：贛南臍橙產業升級歷史變遷考察［J]：上海大學學報（社會科學版），2021，38（5）：79-92.

[3]NeupaneC，PereiraM，KoiralaA，etal.Fruitsizinginorchard：areview from caliper to machine vision with deep learning[J].Sensors，2023，23（8） ：3868.

[4]GanH，Lee WS，AlchanatisV，etal.Immature green Citrusfruitdetection using color and thermal images[J]. ComputersandElectronics in Agriculture，2018，152：117-125.

[5]宋懷波，尚鈺瑩，何東健.果實目標深度學習識別技術研究進展[J]．農業機械學報，2023，54（1）：1-19.

[6]李偉強，王東，寧政通，等.計算機視覺下的果實目標檢測算法綜述[J].計算機與現代化，2022（6）：87-95.

[7]尹顯明，彭邵鋒，程俊媛，等．基于深度學習的香花油茶果識別[J]．經濟林研究，2023，41（3）：70-81.

[8]GaiRL，ChenN，YuanH. A detection algorithm for cherry fruitsbased on the improved YOLO v4 model[J].Neural Computing andApplications，2023，35（19）：13895-13906.

[9]SaI，GeZY，DayoubF，etal.DeepFruits：a fruit detectionsystemusing deep neural networks[J]. Sensors，2016，16（8）：1222.

[10]ChuPY，LiZJ，LammersK，etal.Deep learning-based appledetection using a suppression mask R- CNN[J].PatternRecognition Letters，2021，147：206-211.

[11]李茂，肖洋軼，宗望遠，等.基于改進YOLOv8模型的輕量化板栗果實識別方法[J]．農業工程學報，2024，40（1）：201-209.

[12]李俊萩，王甲一，孔德肖，等．結合YOLO Δ_v5 與雙目視覺定位的摘果機械臂控制研究[J]．農機化研究，2024，46（7）：38-43.

[13]閆彬，樊攀，王美茸，等．基于改進YOLO v5m 的采摘機器人蘋果采摘方式實時識別[J]．農業機械學報，2022，53（9）：28 -38，59.

[14]郗厚印，張棟，周濤，等.采摘機器人識別抓取重疊番茄果實的方法研究[J].農機化研究，2021，43（12）：17-23，50.

[15]樊澤澤，柳倩，柴潔瑋，等.基于顏色與果徑特征的蘋果樹果實檢測與分級[J]．計算機工程與科學，2020，42（9）：1599-1607.

[16]Liang X T，Jia XY，Huang WQ，et al.Real-time grading of defectapples using semantic segmentation combination with aprunedYOLO v4 network[J].Foods，2022，11（19）：3150.

[17]劉德兒，朱磊，冀煒臻，等.基于RGB-D相機的臍橙實時識別定位與分級方法[J]．農業工程學報，2022，38（14）：154-165.

[18]Varghese R，M S. YOLO v8：a novel object detection algorithm withenhanced performance and robustness [C]//2O24 InternationalConferenceonAdvances inDataEngineringandIntellgentComputing Systems （ADICS）. Chennai，India：IEEE，2024：1-6.

[19]Lin TY，Dollár P，Girshick R，etal.Feature pyramid networks forobject detection[C]//2017 IEEE Conference on Computer Visionand Pattern Recognition（CVPR）.Honolulu，HI，USA：IEEE，2017：936 - 944.

[20]Wang CY，Yeh IH，Mark Liao HY. YOLO ^v9 ： learning what youwant toLearnusingprogrammablegradientinformation[C]//Computer Vision-ECCV 2024.Cham：Springer Nature Switzerland，2025：1-21.

[21]張煜恒，周宏平，張超．基于激光點云的蘋果果實定位與體積測量方法[J]．應用激光，2023，43（8）：102 -111.

[22]Sapkota R，Ahmed D，Churuvija M，et al. Immature green appledetection and sizing in commercial orchards using YOLO v8andshape fittig techniques[J]. IEEE Access，2024，12： 43436-43452.

[23]Huang ZJ，Huang L C，GongY C，et al. Mask scoring R-CNN[C]//2019 IEEE/CVF Conference on Computer Vision and PatternRecognition（CVPR）. Long Beach，CA，USA ： IEEE，2019：6402 -6411.

[24]He KM，Gkioxari G，Dollár P，et al.MaskR-CNN[C]//2017IEEE International Conference on Computer Vision（ICCV）.Venice，Italy：IEEE，2017：2980-2988.

[25]Bolya D，Zhou C，Xiao F Y，etal. YOLACT：real - time instancesegmentation[ C]//2019 IEEE/CVF International Conference onComputer Vision（ICCV）.Seoul，Korea（South）. IEEE，2019：9156 -9165.

[26]Cai Z W，VasconcelosN.Cascade R-CNN： high quality objectdetection and instance segmentation[J].IEEE TransactionsonPattem Analysisand Machine Intellgence，2021，43（5）1483-1498.