基于機器視覺的葡萄采摘域計算方法研究

摘要 鮮食葡萄采摘依靠人工，存在作業(yè)強度大、勞動力緊缺、生產(chǎn)成本高等問題，制約了產(chǎn)業(yè)規(guī)模化發(fā)展，亟需研制智能采摘設(shè)備提高生產(chǎn)效率。葡萄果實串采摘域的準(zhǔn)確定位，是采摘設(shè)備視覺系統(tǒng)研究的重要內(nèi)容。基于顏色空間和霍夫直線檢測算法融合的方法，研究了棚架式葡萄圖像目標(biāo)提取和采摘域計算。分析葡萄果實串圖像顏色特征后分割出目標(biāo)區(qū)域，對目標(biāo)區(qū)域開展形態(tài)學(xué)算法處理，計算出圖像質(zhì)心和最小外接矩形，以矩形與質(zhì)心線的交點、矩形長寬等為參數(shù)構(gòu)造出果梗感興趣區(qū)域，分割提取果梗目標(biāo)，采用霍夫直線檢測算法計算區(qū)域內(nèi)直線，以最長的直線區(qū)作為果梗采摘區(qū)域。根據(jù)測試結(jié)果，果梗感興趣區(qū)域圖像分割正確率為96%，果梗提取正確率為92%，采摘域計算正確率為92%，采用的算法數(shù)據(jù)處理量小、計算速度快，可以作為研制葡萄采摘機器人、產(chǎn)量測算、長勢監(jiān)測等設(shè)備的理論基礎(chǔ)。

關(guān)鍵詞 機器視覺；葡萄果梗；顏色空間；采摘域

中圖分類號 S225 文獻標(biāo)識碼 A 文章編號 0517-6611（2024）17-0224-04

doi：10.3969/j.issn.0517-6611.2024.17.051

Research on Grape Harvesting Domain Calculation Method Based on Machine Vision

MA Cong， CHEN Xue-dong

（Institute of Agricultural Economy and Information Technology， Ningxia Academy of Agriculture and Forestry Sciences， Yinchuan， Ningxia 750002）

Abstract Fresh grape picking relies on manual labor， which has problems of high workload， labor shortage and high production costs， which restricts the large-scale development of the industry. It is urgent to develop intelligent picking equipment to improve production efficiency. The accurate positioning of the picking domain for grape fruit clusters is an important aspect of the visual system research for picking equipment. Based on the fusion of color space and Hough line detection algorithm， we studied the target extraction and picking domain calculation of trellis grape images. After analyzing the color characteristics of grape fruit string images， the target area was segmented. Morphological algorithms were applied to the target area to calculate the centroid and minimum bounding rectangle of the image. The region of interest for the fruit stem was constructed using the intersection point of the rectangle and the centroid line， as well as the length and width of the rectangle. The fruit stem target was segmented and extracted. The Hough line detection algorithm was used to calculate the line within the region， and the longest line area was used as the fruit stem picking area. According to the test results， the accuracy rate of image segmentation in the region of interest of the fruit stem was 96%， the accuracy rate of fruit stem extraction was 92%， and the accuracy rate of picking domain calculation was 92%. The algorithm used had small data processing capacity and fast calculation speed， which could serve as the theoretical basis for developing grape picking robots， yield calculation， growth monitoring and other equipment.

Key words Machine vision;Grape stem;Color space;Picking domain

基金項目 寧夏農(nóng)林科學(xué)院科技創(chuàng)新引導(dǎo)項目“寧夏釀酒葡萄智慧種植關(guān)鍵技術(shù)研究與示范”（NKYG-23-02）；寧夏自然科學(xué)基金項目“基于機器視覺的葡萄免碰采摘路徑規(guī)劃方法研究”（2023AAC03408）。

作者簡介 馬聰（1987—），女，回族，寧夏青銅峽人，助理研究員，碩士，從事農(nóng)業(yè)信息化研究。

收稿日期 2023-09-21

葡萄味道鮮美、富含維生素，副產(chǎn)品也頗受市場消費者認(rèn)可，是常見的水果種類之一。由于葡萄果樹產(chǎn)量高、適應(yīng)性強、收益好，因此我國葡萄果樹的種植面積逐年上升。據(jù)國際葡萄與葡萄酒組織（OIV）公布，2022年我國的葡萄園面積為78.5萬hm2，居全球第3位。隨著經(jīng)濟的發(fā)展，我國的葡萄出口規(guī)模也在不斷擴大，成為經(jīng)濟發(fā)展的重要產(chǎn)業(yè)［1-3］。葡萄成熟期比較集中，成熟時要進行批量采收，需要大量的勞動力。目前我國葡萄采摘主要依靠人工，存在勞動強度大、勞動力緊缺、生產(chǎn)成本高等問題，制約了產(chǎn)業(yè)規(guī)模化、高效化的發(fā)展。因此，設(shè)計研發(fā)機械化、智能化的批量葡萄采收設(shè)備，是提升葡萄產(chǎn)業(yè)生產(chǎn)管理水平的必然需求。

葡萄種類主要分為釀酒葡萄和鮮食葡萄，釀酒葡萄作為生產(chǎn)葡萄酒的原料，鮮食葡萄作為水果在市場上流通。由于2類葡萄的用途方向不同，對果實串的采摘要求存在差異。釀酒葡萄的果粒直接進入生產(chǎn)線進行釀酒，對果實串外觀的完整性沒有嚴(yán)格要求；鮮食葡萄必須保證果實串完整的外觀，便于保存運輸和銷售。因此釀酒葡萄的采摘可以逐步實現(xiàn)自動化收獲，德國、荷蘭、法國等針對籬架式種植的釀酒葡萄研發(fā)了搖震式批量采摘機，通過震動和敲擊使果粒脫落，去除雜質(zhì)后收獲果實。鮮食葡萄一般采用籬架式或者棚架式種植，生產(chǎn)管理方式對果實串的生長形成有很大影響，果實飽滿、果皮易損、果實串形狀不規(guī)則、果實顏色不完全均勻等，需要研制擬人作業(yè)方式的采摘設(shè)備保證果實的完好性［4］。采摘機器人分為軟件部分和硬件部分，軟件部分完成目標(biāo)識別、空間坐標(biāo)計算、命令發(fā)送等任務(wù)，硬件部分完成設(shè)備行進、采摘臂運動和目標(biāo)抓取剪切等。

目標(biāo)識別是采用機器視覺技術(shù)將果實串從實際果園環(huán)境中分割出來，自動計算出末端執(zhí)行器可抓握或者剪切果梗的位置信息，作為末端執(zhí)行器的動作指令。目標(biāo)識別和采摘域計算的準(zhǔn)確性決定了采摘機器人的動作成功率，是采摘機器人研究的重要內(nèi)容。在非結(jié)構(gòu)環(huán)境下，由于光照不均勻、藤蔓纏繞、枝葉遮擋、生長位置不確定等原因，采摘機器人目標(biāo)識別在正確識別及準(zhǔn)確定位時遇到很多難題。對于葡萄類的串型水果，自動識別果梗并定位計算采摘域是實現(xiàn)機器人精準(zhǔn)作業(yè)的關(guān)鍵環(huán)節(jié)。但實際應(yīng)用條件下，果梗顏色與枝干、葉片等背景顏色十分相似，很難直接采用顏色提取出果梗目標(biāo)。針對葡萄采摘目標(biāo)識別和定位存在的問題，國內(nèi)外專家學(xué)者都進行了廣泛的研究［5-9］，取得了較大的進展，但是仍然存在識別方法復(fù)雜、需要大量標(biāo)注、訓(xùn)練設(shè)備需求高且耗時長等問題。鑒于此，筆者基于顏色分割空間模型和改進的霍夫直線檢測方法，提出了一種鮮食葡萄采摘域自動識別的方法，以期為研制葡萄采摘機器人提供一定的理論支撐。

1 數(shù)據(jù)與材料

為提升研究算法的實用性和可用性，以果園自然生長環(huán)境中的夏黑品種葡萄作為數(shù)據(jù)采集對象，試驗葡萄是棚架式種植鮮食葡萄，成熟后顏色為紫黑色，在生長過程中沒有進行果實套袋。相機采用手機后置攝像頭進行多角度拍攝，采集圖像為1 200 萬像素（3 000×4 000），總共采集有效圖像300幅。采集的圖像光照條件是晴天，采集圖像時相機與葡萄串之間的距離、高度和角度均隨機，采集圖像內(nèi)容包括果實串、葡萄果梗、枝干、葉片和實際果園背景。

2 研究方法

首先采用顏色空間分析成熟葡萄串顏色特征，以此為基礎(chǔ)提取出果實串區(qū)域，利用形態(tài)學(xué)處理、孔洞填充等方法獲取葡萄串區(qū)域，實現(xiàn)鮮食葡萄串目標(biāo)與背景的有效分割。其次利用邊緣提取算法獲得果實串輪廓信息，構(gòu)建果實串輪廓最小外接矩形，根據(jù)圖像信息計算出果實串質(zhì)心坐標(biāo)，以質(zhì)心垂線與外接矩形交點為底邊中點，構(gòu)造果梗感興趣區(qū)域。最后對分割出的果梗區(qū)域進行濾除噪聲、特征提取等操作，實現(xiàn)鮮食葡萄采摘域的快速提取。

2.1 果實目標(biāo)分割

2.1.1 圖像顏色特征分析。

非結(jié)構(gòu)環(huán)境下，圖像分割結(jié)果受外界光線變化影響較大，需要選擇合適的方法進行區(qū)域提取。成熟的夏黑葡萄呈現(xiàn)紫黑色，與背景顏色差異十分明顯，因此可根據(jù)顏色特征進行目標(biāo)分割。采用基于不同顏色空間提取各顏色分量的算法，該算法運算量小、計算效率高、分割效果較好，適合用于實時采樣、實時分析的視覺系統(tǒng)。根據(jù)葡萄果實串與背景顏色的特點，分別提取了葡萄圖像RGB、HSV、Lab、YCbCr、XYZ等顏色空間中各分量圖。經(jīng)過對比分析可知，在相同的光照條件下，夏黑葡萄圖像的H分量圖中葡萄果實與背景的灰度差別較大，可以用于目標(biāo)與背景的快速分割。分析H分量圖的灰度分布特點可知，果實串區(qū)域的灰度值基本處于同一范圍內(nèi)，灰度值差異較小；背景中的其他顏色灰度值分布在不同范圍內(nèi)，灰度值差異較大。

2.1.2 目標(biāo)區(qū)域分割。

根據(jù)顏色空間分析的結(jié)果，采用設(shè)置區(qū)間閾值的方法分割圖像，基本計算流程如下：將原始圖像A轉(zhuǎn)換為HSV格式；建立一幅與A圖像同樣大小的HSV格式圖像A1；設(shè)置H分量閾值范圍T；遍歷A1圖像所有像素點，將所有在閾值范圍外的像素點灰度值均賦值為255。遍歷結(jié)束后，可以初步提取出葡萄串區(qū)域圖像，圖1a所示為原始圖像，圖1b為提取結(jié)果。

從分割結(jié)果可以看到，基于顏色特征提取出了大部分的葡萄果實信息，基本保留了果實串的整體輪廓；但是在按照閾值進行像素點的提取過程中，光線原因會導(dǎo)致葡萄果粒間隙之間出現(xiàn)不同范圍的灰度值，環(huán)境中也存在與葡萄串顏色接近的背景，導(dǎo)致出現(xiàn)了部分誤分割的結(jié)果。

2.1.3 分割結(jié)果優(yōu)化。

針對上述步驟初步分割出的圖像，利用數(shù)學(xué)形態(tài)學(xué)運算開展進一步的分割結(jié)構(gòu)優(yōu)化。基本計算流程如下：首先將分割出的彩色圖像進行自適應(yīng)閾值灰度化處理；構(gòu)建圓盤形結(jié)構(gòu)元素，對圖像內(nèi)所有像素點進行計算，如果都為1則該像素為1，去除小范圍的噪聲點；計算圖像內(nèi)連通域，設(shè)置最小連通域面值閾值，刪除所有小于閾值面積的像素點；對處理后的圖像進行膨脹處理，即構(gòu)建圓盤形結(jié)構(gòu)元素，對圖像內(nèi)所有像素點進行計算，如果都為0則該像素為0，平滑圖像邊緣；處理后的圖像存在部分孔洞，用孔洞填充算法消除區(qū)域內(nèi)的孔洞，實現(xiàn)完整的果實串區(qū)域分割。圖1c為目標(biāo)分割結(jié)果。

2.2 果梗感興趣區(qū)域確定

2.2.1 目標(biāo)區(qū)域質(zhì)心計算。

理想條件下，葡萄果實串在重力的作用下，質(zhì)心位于果梗延長線上。但是在實際生產(chǎn)環(huán)境中，由于光線、營養(yǎng)、修剪等原因，成熟葡萄串存在一定的果實輪廓不規(guī)則、果梗彎曲的現(xiàn)象，導(dǎo)致目標(biāo)區(qū)域的質(zhì)心不在果梗延長線上。進一步分析果梗與葡萄串質(zhì)心幾何關(guān)系可知，在正常情況下，任何形狀的果梗均處于果實串上方位置，即質(zhì)心上方，可通過質(zhì)心坐標(biāo)向上尋找果梗感興趣區(qū)域。

在分割出最大連通區(qū)域后，即可得到目標(biāo)區(qū)域的二值圖像，即目標(biāo)區(qū)域灰度值為1，背景區(qū)域灰度值為0。根據(jù)以下公式［10］計算目標(biāo)區(qū)域的質(zhì)心C坐標(biāo)：

xc=xif（xiyi）/f（xi，yi）

yc=yif（xiyi）/f（xi，yi）

式中：xc、yc是質(zhì)心；x、y是目標(biāo)區(qū)域像素坐標(biāo)；f（x，y）是點（x，y）位置的灰度值。

2.2.2 果梗感興趣區(qū)域分割。

計算出質(zhì)心坐標(biāo)后，以質(zhì)心點為起始點向上構(gòu)造一條與圖像橫軸垂直的質(zhì)心線L。分析多幅葡萄圖像果梗與L的位置關(guān)系可知，對于修穗十分規(guī)則、生長均勻、成熟度一致的果實串，L與果梗區(qū)域中心線的垂直距離很小，可以近似將部分L作為采摘域；對于其他圖像的果實串，L與果梗區(qū)域中心線的存在一定的垂直距離，但是此距離均小于果實串最大寬度的一半。根據(jù)分析結(jié)果，采用最小面積外接矩形算法［11-12］計算果實區(qū)域長度和寬度，作為尋找果梗感興趣區(qū)域的重要參數(shù)，其中最長邊的長度值作為果實區(qū)域的長度，最短邊的長度值作為果實區(qū)域的寬度。

尋找L與外接矩形邊的交點，基本計算流程如下：構(gòu)建L點集和外接矩形邊點集R；判斷R中的點位置是否處于質(zhì)心點上方，是則繼續(xù)運算，否則尋找下一個點；設(shè)置位置閾值d，計算L和R中滿足閾值范圍的點，即作為質(zhì)心線與矩形的交點。圖2為計算出的質(zhì)心點、構(gòu)建的質(zhì)心線、最小外接矩形和交點O。

以O(shè)點為底邊中心點，向上構(gòu)造矩形區(qū)域。依據(jù)圖像分

析結(jié)果，為保證最大限度保留目標(biāo)、減少噪聲，構(gòu)建的矩形范

圍應(yīng)該既要包含果梗有效信息，也要盡量減少包含的背景信

息。通過實際測試，該研究確定構(gòu)建的矩形長度為質(zhì)心到O點距離的1/3，矩形寬度為果實寬度的1/2。圖3a為構(gòu)建的矩形框。

以構(gòu)建的矩形框作為目標(biāo)邊界，提取矩形框內(nèi)圖像信息，基本計算流程如下：計算獲得構(gòu)造矩形框4個角點坐標(biāo)；將角點坐標(biāo)設(shè)置為閾值范圍坐標(biāo)；遍歷圖像所有像素點，在閾值范圍坐標(biāo)之外的所有像素點灰度值均賦值為0。圖3b為提取出的果梗感興趣區(qū)域。

2.3 果梗采摘區(qū)域計算

2.3.1 果梗區(qū)域圖像處理。

分割出的果梗感興趣區(qū)域內(nèi)包含了果梗、葉片、枝干等信息。夏黑葡萄的果梗一般為黃綠色，葉片為綠色或深綠色，枝干為褐色。采用多種顏色空間對圖像進行分量提取，通過分析測試可知，果梗的R、G、B分量圖中目標(biāo)與背景灰度值差異較大。計算流程如下：提取圖像分量圖；設(shè)置分量閾值；遍歷目標(biāo)區(qū)域所有像素點，不在閾值范圍內(nèi)的像素點灰度值均賦值為0。分割后的圖像內(nèi)存在一定的噪聲點，對圖像進行自適應(yīng)灰度化后采用形態(tài)學(xué)處理算法去除小面積連通域，在此基礎(chǔ)上再次進行圖像的膨脹處理，保留圖像有效信息。圖3c為果梗感興趣區(qū)域分割結(jié)果。

2.3.2 采摘范圍計算。

分析感興趣區(qū)域內(nèi)果梗形狀特點，果梗區(qū)域基本是長條形狀，兩側(cè)邊緣類似于平行線。根據(jù)果梗的邊緣特征，采用霍夫變換算法尋找區(qū)域內(nèi)存在的直線作為采摘域。為進一步提高識別準(zhǔn)確性，選擇檢測出的最長的6條直線作為采摘域。

霍夫直線檢測算法的基本原理如下：經(jīng)過二維圖像中某一點的直線存在無數(shù)條，每條直線可以采用y=kx+b進行描述，將直線對應(yīng)的參數(shù)均映射到二維參數(shù)空間中，依據(jù)各參數(shù)出現(xiàn)的頻次對對應(yīng)像素點進行投票疊加，得票數(shù)越高的參數(shù)組對應(yīng)生成的直線在原圖像中通過的感興趣像素點越多，即該直線為目標(biāo)直線的概率越大。基本計算流程如下：建立參數(shù)空間矩陣，矩陣中元素均為0；遍歷區(qū)域圖像輪廓所有像素點，記錄所有經(jīng)過該像素點的直線參數(shù)，將參數(shù)空間中對應(yīng)該直線參數(shù)的像素值加1；分析參數(shù)空間矩陣，獲取參數(shù)矩陣峰值作為直線參數(shù)；計算檢測出的直線的長度，取長度最長的六條直線作為采摘域計算結(jié)果。圖4為采摘域計算結(jié)果，檢測出的直線處于果梗邊緣，以此作為葡萄串的采摘執(zhí)行器的抓握區(qū)域，即采摘域。

3 結(jié)果與分析

為驗證該研究方法的可用性和有效性，從樣本庫中隨機選取50張圖像，人工標(biāo)注并統(tǒng)計每張圖像內(nèi)葡萄果實串及果梗采摘域，采用上述方法進行葡萄采摘域的自動計算，以人工識別的結(jié)果作為評定標(biāo)準(zhǔn)。測試結(jié)果顯示，果梗感興趣區(qū)域圖像分割正確率為96%，果梗提取正確率為92%，采摘域計算正確率為92%。在此基礎(chǔ)上，進一步對測試結(jié)果進行分析。提取結(jié)果分析顯示，該研究采用的方法葡萄串的識別正確率和果梗采摘域計算結(jié)果的準(zhǔn)確性與背景區(qū)域顏色、形態(tài)特征的差異性緊密相關(guān)。依據(jù)誤差產(chǎn)生的原因，

將出現(xiàn)誤差的試驗圖像分為2類，分析識別不準(zhǔn)確的原因：

3.1 葡萄串分割存在誤識別

出現(xiàn)誤差的主要原因是背景存在與葡萄串顏色趨近的信息，如薄膜、水泥柱、營養(yǎng)盆等。由于棚架式種植方式，成熟的葡萄串是垂吊于空中，距離地

面有一定的高度，圖像采集器采集位置過高的目標(biāo)時有一定的仰角，采集圖像范圍較大。在基于顏色空間分割目標(biāo)時，顏色趨近的圖像信息就被保留下來，導(dǎo)致分割出的目標(biāo)包含了非果實串信息。由于果梗感興趣區(qū)域設(shè)置是基于葡萄串分割結(jié)果，因此葡萄串分割結(jié)果的正確性直接決定了果梗感興趣區(qū)域的分割準(zhǔn)確性。

3.2 果梗提取存在誤識別和漏識別

果梗位置處于葡萄串上方，圖像中包含了葡萄葉片、藤蔓等背景噪聲，分割出的感興趣區(qū)域內(nèi)目標(biāo)與背景的顏色、形狀特征等信息較為相似，采用顏色空間提取時出現(xiàn)果梗背景中的葉片脈絡(luò)融為一體，導(dǎo)致提取出的果梗區(qū)域偏大，采用霍夫直線檢測時就會出現(xiàn)葉片脈絡(luò)也被檢測為直線的結(jié)果，導(dǎo)致最終計算出的采摘域出現(xiàn)在果梗之外的位置上。

4 結(jié)論

采用基于顏色空間和霍夫直線檢測方法，研究了棚架式葡萄圖像目標(biāo)提取和采摘域計算，通過對果實串進行目標(biāo)提取后計算出果梗感興趣區(qū)域，提取果梗目標(biāo)并計算出采摘域，實現(xiàn)對葡萄果實串采摘域的自動計算，識別正確率為92%。采用的算法數(shù)據(jù)處理量小、計算速度快，可以作為研制葡萄采摘機器人、產(chǎn)量測算、長勢監(jiān)測等設(shè)備的理論基礎(chǔ)。對于復(fù)雜圖像出現(xiàn)的分割不準(zhǔn)確、計算有偏差等問題，在后續(xù)研究中將通過優(yōu)化圖像采集方法、完善計算流程、提升算法自適應(yīng)等方法進一步提高分割結(jié)果的正確率，提高方法的實用性和拓展性。

參考文獻

［1］ 鄭國富，朱念.中國鮮葡萄出口貿(mào)易發(fā)展的時空特征與前景展望［J］.中國果樹，2023（9）：128-131，136.

［2］ 竇宗信，李寬瑩，龐勇，等.中國北方設(shè)施葡萄產(chǎn)業(yè)發(fā)展現(xiàn)狀、存在問題及對策［J］.南方農(nóng)機，2023，54（7）：42-44，56.

［3］ 筱鸝.中國葡萄園面積居全球第三［J］.釀酒科技，2023（5）：112.

［4］ 王思玉，牛成強，李釗，等.典型果蔬采摘機器人研究現(xiàn)狀與趨勢［J］.新疆農(nóng)機化，2021（6）：14-17，21.

［5］ 李惠鵬，52acepzg+lGAWN7Pl1oDzA==李長勇，李貴賓，等.基于深度學(xué)習(xí)的多品種鮮食葡萄采摘點定位［J］.中國農(nóng)機化學(xué)報，2022，43（12）：155-161.

［6］ 朱衍俊，杜文圣，王春穎，等.自然環(huán)境中鮮食葡萄快速識別與采摘點自動定位方法［J］.智慧農(nóng)業(yè)，2023，5（2）：23-34.

［7］ 寧政通，羅陸鋒，廖嘉欣，等.基于深度學(xué)習(xí)的葡萄果梗識別與最優(yōu)采摘定位［J］.農(nóng)業(yè)工程學(xué)報，2021，37（9）：222-229.

［8］ 雷旺雄，盧軍.基于全卷積網(wǎng)絡(luò)與凹點搜索的重疊葡萄分割算法［J］.光電子·激光，2021，32（3）：231-240.

［9］ 雷旺雄，盧軍.葡萄采摘機器人采摘點的視覺定位［J］.江蘇農(nóng)業(yè)學(xué)報，2020，36（4）：1015-1021.

［10］ 羅陸鋒，鄒湘軍，熊俊濤，等.自然環(huán)境下葡萄采摘機器人采摘點的自動定位［J］.農(nóng)業(yè)工程學(xué)報，2015，31（2）：14-21.

［11］ 馬聰，陳學(xué)東，周慧.基于圖像處理技術(shù)的枸杞外形參數(shù)測量算法研究［J］.寧夏農(nóng)林科技，2020，61（8）：60-62.

［12］ 曾芳艷，曾磊，馮午陽，等.基于果徑大小與色澤的椪柑分級算法［J］.長沙航空職業(yè)技術(shù)學(xué)院學(xué)報，2019，19（3）：82-85.