大視場下荔枝采摘機器人的視覺預(yù)定位方法

陳 燕，王佳盛，曾澤欽，鄒湘軍，陳明猷

大視場下荔枝采摘機器人的視覺預(yù)定位方法

陳 燕，王佳盛，曾澤欽，鄒湘軍※，陳明猷

（1. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州 510642； 2. 華南農(nóng)業(yè)大學(xué)南方農(nóng)業(yè)機械與裝備關(guān)鍵技術(shù)教育部重點實驗室，廣州 510642）

機器人采摘荔枝時需要獲取多個目標(biāo)荔枝串的空間位置信息，以指導(dǎo)機器人獲得最佳運動軌跡，提高效率。該文研究了大視場下荔枝采摘機器人的視覺預(yù)定位方法。首先使用雙目相機采集荔枝圖像；然后改進(jìn)原始的YOLOv3網(wǎng)絡(luò)，設(shè)計YOLOv3-DenseNet34荔枝串檢測網(wǎng)絡(luò)；提出同行順序一致性約束的荔枝串配對方法；最后基于雙目立體視覺的三角測量原理計算荔枝串空間坐標(biāo)。試驗結(jié)果表明，YOLOv3-DenseNet34網(wǎng)絡(luò)提高了荔枝串的檢測精度與檢測速度；平均精度均值（mean average precision，mAP）達(dá)到0.943，平均檢測速度達(dá)到22.11幀/s。基于雙目立體視覺的荔枝串預(yù)定位方法在3 m的檢測距離下預(yù)定位的最大絕對誤差為36.602 mm，平均絕對誤差為23.007 mm，平均相對誤差為0.836%，滿足大視場下采摘機器人的視覺預(yù)定位要求，可為其他果蔬在大視場下采摘的視覺預(yù)定位提供參考。

機器人；圖像處理；目標(biāo)檢測；荔枝采摘；大視場；卷積神經(jīng)網(wǎng)絡(luò)；立體視覺

0 引 言

研發(fā)荔枝采摘機器人，實現(xiàn)荔枝采摘的自動化與智能化，是解決國內(nèi)的荔枝采摘作業(yè)自動化程度低的重要途徑。視覺系統(tǒng)是荔枝采摘機器人的重要組成部分[1]，以機器視覺為主的定位技術(shù)近年來被廣泛應(yīng)用到農(nóng)業(yè)領(lǐng)域[2-4]。視覺定位算法是視覺系統(tǒng)的關(guān)鍵，其性能直接影響荔枝采摘機器人的采摘效率和質(zhì)量。因此荔枝采摘視覺定位技術(shù)具有重要研究意義。

華南農(nóng)業(yè)大學(xué)鄒湘軍教授團(tuán)隊對荔枝視覺采摘機器人開展了大量的研究[5-8]。該團(tuán)隊提出了自然環(huán)境下的荔枝分割方法[9-12]。此外，國內(nèi)還有許多研究者在各類果實采摘的識別定位進(jìn)行了研究[13-16]。但上述研究都是基于小視場、僅有一兩串荔枝的場景。而借鑒國外果蔬采摘的經(jīng)驗[17-18]，在機器人到達(dá)作業(yè)范圍之前對荔枝樹整體的果實分布做預(yù)定位，可指導(dǎo)機器人運動到采摘位置，再進(jìn)行精確的采摘點定位，從而提高機器人采摘效率。大視場是指相機的視野覆蓋范圍較廣，但是在這個條件下，相機視野范圍內(nèi)會出現(xiàn)多串荔枝，這提高了荔枝串的定位難度。因此，有必要對大視場下荔枝采摘機器人的視覺預(yù)定位進(jìn)行研究。

近年來，隨著深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，有許多學(xué)者利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類、分割、識別與檢測[19-32]。如文獻(xiàn)[20]在VGGNet的基礎(chǔ)上優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提高番茄主要器官的特征提取能力，并通過Selective Search生產(chǎn)檢測區(qū)域，實現(xiàn)不同種類、不同成熟度的番茄主要器官的檢測。文獻(xiàn)[28-29]分別使用YOLO算法對采摘目標(biāo)進(jìn)行了識別、定位并取得不錯的結(jié)果。因此，使用深度學(xué)習(xí)方法有助于荔枝果串的預(yù)定位。

1 材料與方法

1.1 試驗設(shè)備

試驗設(shè)備由硬件設(shè)備與軟件組成，硬件設(shè)備主要包括：2臺GigE工業(yè)相機構(gòu)成的雙目立體視覺系統(tǒng)，型號為維視 MV-EM200C，分辨率1600×1200像素，幀率60幀/s，鏡頭焦距為16 mm；博世激光測距儀，型號為GLM50，有效測量范圍0.05～50 m，測量精度±1.5 mm；維視高精度圓點標(biāo)定板，圓點數(shù)量為9×11個，圓心距離（30±0.01）mm；筆記本電腦，主要配置：i7-7700HQ處理器；16 G，2 400 MHz內(nèi)存；GTX1060 6G顯卡。

軟件系統(tǒng)主要以O(shè)penCV視覺庫與DarkNet深度學(xué)習(xí)框架為基礎(chǔ)編寫而成。

1.2 圖像與數(shù)據(jù)采集

在拍照采樣之前，需要對雙目立體視覺系統(tǒng)進(jìn)行標(biāo)定。根據(jù)三角測量原理，基線距離越大，測量精度越高，但是基線距離越大，2個相機的公共視場越小。為了保證在較高的精度下有較大的公共視場，經(jīng)過多次調(diào)試后選擇基線距離為110 mm。為確保圖像的準(zhǔn)確度，相機標(biāo)定在大視場范圍內(nèi)進(jìn)行，即相機與目標(biāo)果實的距離為2.5～3 m。在采集圖像前，使用圓點標(biāo)定板完成相機雙目立體視覺系統(tǒng)的標(biāo)定。

試驗圖像的拍攝時間為2018年6－7月，拍攝地點為廣州市增城區(qū)和廣州市從化區(qū)。在野外環(huán)境下采集大視場范圍下的荔枝圖像，并用激光測距儀測量荔枝串的距離，用于與本文算法所得結(jié)果進(jìn)行比對。共采集雙目圖像250對。由于樣本數(shù)據(jù)較小，容易出現(xiàn)過擬合，因此需要對原圖與極線校正后的圖像使用了小范圍的隨機裁剪、縮放對樣本進(jìn)行擴充，最終的圖片數(shù)據(jù)集為4 000張。最后借助開源工具LabelImg制作目標(biāo)檢測網(wǎng)絡(luò)的數(shù)據(jù)集。

1.3 荔枝串預(yù)定位方法

在大視場條件下，圖像背景復(fù)雜，如果直接對全圖進(jìn)行稠密立體匹配，匹配效率低且效果差。另外，如圖1中藍(lán)色框與紅色框所示，部分荔枝串無法完全同時出現(xiàn)在公共視場中，這會影響荔枝串圖像的模板匹配，從而難以準(zhǔn)確定位荔枝串。因此，本文首先對左、右目圖像做目標(biāo)檢測，在目標(biāo)檢測的基礎(chǔ)上提出基于同行順序一致性約束的荔枝串配對算法，根據(jù)三角測量原理，以各串荔枝中心的視差計算出荔枝串的三維空間坐標(biāo)。

注：黃色框表示公共視場中圖像完整；藍(lán)色框表示公共視場中圖像有部分缺失；紅色框表示公共視場中圖像完全缺失。

1.3.1 荔枝串目標(biāo)檢測

借鑒YOLOv3[30]目標(biāo)檢測網(wǎng)絡(luò)以及DenseNet[31]分類網(wǎng)絡(luò)，并結(jié)合荔枝串檢測任務(wù)的場景單一（僅為果園環(huán)境）、目標(biāo)單一的特點優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計了深度為34層的密集卷積層（下文稱為Dense Module），基于Dense Module設(shè)計荔枝串檢測網(wǎng)絡(luò)YOLOv3-DenseNet34。

由卷積層（convolution，Conv），批歸一化層（batch normalization，BN）以及激活層（leaky ReLU）組成一個基本組件層（DarkNet convolution, batch normalization, leaky ReLU, 下文稱為DBL）（如圖2左下角），其中DBL(1×1)指卷積層的卷積核大小為1×1。多個DBL層組成一個DBL模塊（如圖2右下角）；多個DBL模塊組成Dense Module，模塊之間的連接模式如圖2所示。

圖2 Dense Module結(jié)構(gòu)示意圖

YOLOv3-DenseNet34的先驗框尺寸通過對樣本集所有圖像中荔枝的寬高進(jìn)行K-means聚類獲得。根據(jù)樣本的尺度分布，聚類時選取聚類數(shù)為6。最終得到的先驗框聚類結(jié)果為(20, 20)，(33, 27)，(26, 39)，(48, 49)，(32, 56)，(57, 95)。

根據(jù)上述聚類結(jié)果可知，最大的先驗框邊長為95，使用3×3卷積的感受野，可知YOLOv3-DenseNet34的下采樣次數(shù)為5。

為了不損失原始數(shù)據(jù)，YOLOv3-DenseNet34使用步長為2的卷積來代替最大池化（max pooling）進(jìn)行下采樣。下采樣次數(shù)與卷積感受野、先驗框邊長存在以下關(guān)系：

式中為卷積的感受野尺寸；為下采樣次數(shù)；為最大的先驗框邊長。

本文設(shè)計的YOLOv3-DenseNet34目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中DBL（步長=2）即為代替下采樣的卷積層。該網(wǎng)絡(luò)使用包含4個Dense Module的34層卷積backbone提取多尺度特征，使用3個不同尺度的特征圖做預(yù)測輸出，即圖3中的1，2，3，其中1、2、3分別下采樣5、4、3次。每個尺度預(yù)測2個輸出，每個輸出包含目標(biāo)的位置坐標(biāo)和尺度在不同方向上的偏移量、置信度和目標(biāo)類別的one-hot共6個數(shù)據(jù)，因此預(yù)測輸出的深度均為12。

1.3.2 基于雙目立體視覺的荔枝串預(yù)定位

完成相機的單目與雙目標(biāo)定后，需要對左右圖像對應(yīng)點做立體匹配，然后計算匹配點視差，最后根據(jù)三角測量原理計算匹配點的三維坐標(biāo)。如果對整幅大視場的荔枝圖像進(jìn)行稠密立體匹配，計算量會很大，并且容易出現(xiàn)誤匹配，即使完成了全局的立體匹配，仍然不能得到各串荔枝的位置信息。

檢測到圖像中的荔枝串后，可使用直接模板匹配方法，直接以左目圖像的荔枝串檢測結(jié)果為模板，在右目圖像上做模板匹配，將匹配得分最高的點作為匹配點，從而實現(xiàn)稀疏的立體匹配。但是直接模板匹配需要對左目圖像中的每個荔枝串都在整幅右目圖像上做搜索，計算量大，并且容易出現(xiàn)誤匹配，如圖4所示。圖4中左右圖像中相同的數(shù)字代表直接模板匹配算法認(rèn)為是同一荔枝串的區(qū)域。可以明顯看出第5、6、8串荔枝出現(xiàn)了誤匹配。

為了解決上述問題，在完成荔枝串檢測的基礎(chǔ)上，提出基于同行順序一致性約束的一種稀疏立體匹配算法。同行順序一致性約束的荔枝串配對方法是在外極線矯正后進(jìn)行。以左目圖像的目標(biāo)檢測結(jié)果為模板，根據(jù)行約束在同行內(nèi)搜索匹配圖像，以減小搜索范圍。另外對于光軸平行式雙目立體視覺模型，空間點在右目圖像的軸坐標(biāo)一定比左目圖像的小。因此，如果模板圖像在左目圖像的右下角的橫坐標(biāo)為x，則它在右目圖像的搜索范圍x可限制在0~x之間，這樣可以進(jìn)一步減小搜索范圍。基于同行順序一致性約束的匹配方法可以減少搜索范圍，提高匹配速度，減少誤匹配。同行順序一致性約束的匹配范圍如圖5所示。

圖3 YOLOv3-DenseNet34網(wǎng)絡(luò)結(jié)構(gòu)示意圖

注：黃色框表示荔枝串在左目圖像中的檢測狀況；紫色框表示荔枝串在右目圖像中的檢測狀況。

注：xl為目標(biāo)在左目圖上的橫坐標(biāo)；xr為目標(biāo)在右目圖像上的橫坐標(biāo)。

為了剔除同行順序一致性匹配方法的誤匹配，計算每個候選匹配區(qū)域與右目圖像目標(biāo)檢測結(jié)果的重合度，每個候選匹配區(qū)域保留重合度最大的目標(biāo)檢測結(jié)果作為其配對結(jié)果。然后剔除不重合或者重合度極低（IoU<0.2）的配對。

最后，對上述匹配結(jié)果修正。在右目圖像上取配對結(jié)果的重合區(qū)域（圖6b中白色框）作為模板，在左目圖像上用基于同行順序一致性約束的匹配方法進(jìn)行模板匹配。但此時約束范圍稍有變化：假設(shè)重合區(qū)域在右目圖像的左上角橫坐標(biāo)為x，則滑窗檢索的范圍在與重合區(qū)域同行的(x,)內(nèi)，其中為圖像寬度。修正效果如圖6中白色框所示。

注：黃色框表示目標(biāo)檢測結(jié)果；紫色框表示左目圖像目標(biāo)檢測結(jié)果在右目圖像上的匹配狀況；白色框表示左、右目圖像的匹配結(jié)果重合區(qū)域。

1.3.3 亞像素視差計算

荔枝串配對后，需確定匹配點用于計算視差。配對框大小相同時，左、右目圖像的中心點視差與配對框左上角的視差一致。為克服視差的計算結(jié)果為像素級，設(shè)計了一種計算亞像素級視差的方法，流程如下：先計算配對框的相似度和視差；然后計算相像素級精度下鄰視差的匹配相似度，此時包含原匹配點和相似度總共可以確定視差-相似度平面內(nèi)的3個點（如圖7點1、2、3），這3個點可以唯一確定一條二次曲線（如圖7曲線）。最后求解該二次曲線頂點（如圖7點），頂點的橫坐標(biāo)即為亞像素精度下的視差。得到視差后即可計算匹配點的三維空間坐標(biāo)。

注：p1、p2、p3為原匹配點和相似度所確定視差-相似度平面內(nèi)的3個點；t為二次曲線的頂點。

1.3.4 預(yù)定位誤差計算

匹配點在左相機坐標(biāo)系下的坐標(biāo)是無法直接測量的，故無法直接計算3個坐標(biāo)值之間的誤差。因此采用空間點的距離誤差來衡量定位誤差。具體計算方法如下：

式中為測量誤差，mm；為視覺測量距離，mm；d激光測量距離，mm；,,為視覺測量激光點的坐標(biāo)值，mm。

2 試驗結(jié)果與分析

試驗數(shù)據(jù)的采集時間、地點以及采集設(shè)備同1.1、1.2節(jié)。試驗過程中，首先完成雙目立體視覺的標(biāo)定。然后調(diào)整三腳架云臺的位置，使激光點落在某串荔枝果實上，并鎖死三腳架云臺，待激光測距儀數(shù)值穩(wěn)定后記錄激光測量距離t，同時讓2臺相機同時采樣荔枝圖像。不斷重復(fù)上述過程，共記錄30組數(shù)據(jù)和30對荔枝圖像。30對荔枝圖像均以圖像激光點為中心，選取一個固定大小的區(qū)域作為目標(biāo)檢測結(jié)果，然后使用基于同行順序一致性約束的匹配方法進(jìn)行匹配和視差計算，計算匹配點三維坐標(biāo)并得出荔枝果實到相機的距離。最后計算與t之間的誤差。

2.1 荔枝串檢測網(wǎng)絡(luò)性能試驗分析

DarkNet[29]是YOLOv3的骨干網(wǎng)絡(luò)，用于進(jìn)行網(wǎng)絡(luò)構(gòu)建與訓(xùn)練，DarkNet53與DenseNet34的訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

根據(jù)前人研究[29-31]，采用Loss值表示損失狀況，可用于衡量網(wǎng)絡(luò)的正確性與收斂狀況。本文網(wǎng)絡(luò)訓(xùn)練過程中前1 000次迭代的Loss數(shù)值很大而且沒有意義，曲線從第1 000次迭代開始記錄，如圖8所示。

由圖8可知，2種網(wǎng)絡(luò)在前2 000次迭代中迅速擬合，之后偏向穩(wěn)定，YOLOv3-DenseNet34的Loss值比原始網(wǎng)絡(luò)下降慢，但最后均能收斂。表明本文所設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)可靠。

圖8 荔枝串檢測網(wǎng)絡(luò)訓(xùn)練過程Loss曲線

使用平均精度均值[33-34]（mean average precision，mAP）指標(biāo)來衡量荔枝串檢測精度，它能很好地反映目標(biāo)檢測網(wǎng)絡(luò)的識別能力，是目前目標(biāo)檢測領(lǐng)域最常用的指標(biāo)。用幀率（frame per second，F(xiàn)PS）來表示模型的檢測速度。其中mAP計算公式如下：

式中為準(zhǔn)確率；tp為正例正確地分類為正例的數(shù)量；fp為負(fù)例錯誤地分類為正例的數(shù)量；A為平均精度；為識別圖像總數(shù)；mAP為平均精度均值；C為識別類別總數(shù)。

統(tǒng)計試驗所得mAP、平均檢測速度與模型大小，結(jié)果如表2所示。

表2 荔枝串檢測網(wǎng)絡(luò)的性能對比

由表2可知，YOLOv3-DenseNet34檢測速度比原始的YOLOv3提高約0.6倍，達(dá)到22.11幀/s，同時mAP提高5.6%，達(dá)到0.943，模型大小只有9.3 MB，僅為原始網(wǎng)絡(luò)的1/26。由此可見，本文改進(jìn)的荔枝串檢測網(wǎng)絡(luò)YOLOv3-DenseNet34與原始YOLOv3模型在檢測速度與檢測精度以及模型參數(shù)大小上都有改進(jìn)和提高。

2.2 雙目立體視覺荔枝預(yù)定位精度試驗分析

荔枝串預(yù)定位的激光測量值、視覺測量值、測量誤差等數(shù)據(jù)如表3所示。計算可得雙目立體視覺荔枝串預(yù)定位的最大絕對誤差為33.602 mm，平均絕對誤差為23.007 mm，標(biāo)準(zhǔn)差為7.434 mm，平均相對誤差為0.836%，表明本文方法檢測精度高，滿足預(yù)定位要求。

表3 荔枝預(yù)定位視覺測量值及其誤差

3 結(jié) 論

本文研究了大視場下荔枝采摘機器人視覺預(yù)定位方法。通過改進(jìn)的原始的YOLOv3，設(shè)計了荔枝串檢測網(wǎng)絡(luò)YOLO-DenseNet34；提出了同行順序一致性約束的荔枝串配對方法；最后基于雙目立體視覺的三角測量原理計算荔枝串空間坐標(biāo)。試驗結(jié)果表明，YOLOv3-DenseNet34網(wǎng)絡(luò)提高了荔枝串的檢測精度與檢測速度；mAP值達(dá)到0.943，平均檢測速度達(dá)到22.11幀/s?；陔p目立體視覺的荔枝串預(yù)定位方法在3 m的檢測距離下預(yù)定位的最大絕對誤差為36.602 mm，平均絕對誤差為23.007 mm，平均相對誤差為0.836%。本文所研究的大視場下荔枝采摘機器人視覺預(yù)定位方法在精度與速度上都能滿足大視場下采摘視覺預(yù)定位要求，可為其他果蔬大視場下采摘的視覺預(yù)定位提供參考。

[1]程祥云，宋欣. 果蔬采摘機器人視覺系統(tǒng)研究綜述[J]. 浙江農(nóng)業(yè)科學(xué)，2019，60(3)：490－493.

Cheng Xiangyun, Song Xin. A review of research on vision system of fruit and vegetable picking robot[J]. Journal of Zhejiang Agricultural Sciences. 2019, 60(3): 490－493. (in Chinese with English abstract)

[2]羅陸鋒，鄒湘軍，程堂燦，等. 采摘機器人視覺定位及行為控制的硬件在環(huán)虛擬試驗系統(tǒng)設(shè)計[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(4)：39－46.

Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)

[3]熊俊濤，何志良，湯林越，等. 非結(jié)構(gòu)環(huán)境中擾動葡萄采摘點的視覺定位技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2017，48(4)：29－33，81.

Xiong Juntao, He Zhiliang, Tang Linyue, et al. Visual localization of disturbed grape picking point in non-structural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 29－33, 81. (in Chinese with English abstract)

[4]朱镕杰，朱穎匯，王玲，等. 基于尺度不變特征轉(zhuǎn)換算法的棉花雙目視覺定位技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(6)：182－188.

Zhu Rongjie, Zhu Yinghui, Wang Ling, et al. Cotton positioning technique based on binocular vision with implementation of scale invariant feature transform algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 182－188. (in Chinese with English abstract)

[5]葉敏，鄒湘軍，羅陸鋒，等. 荔枝采摘機器人雙目視覺的動態(tài)定位誤差分析[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(5)：50－56.

Ye Min, Zou Xiangjun, Luo Lufeng, et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 50－56. (in Chinese with English abstract)

[6]Zou X, Ye M, Luo C, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on vision-positioning error[J]. Applied Engineering in Agriculture, 2016, 32(1): 5－18.

[7]Zou X, Zou H, Lu J. Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J]. Machine Vision and Applications. 2012, 23(1): 43－63.

[8]陳燕，鄒湘軍，徐東風(fēng)，等. 荔枝采摘機械手機構(gòu)設(shè)計及運動學(xué)仿真[J]. 機械設(shè)計，2010，27(5)：31－34.

Chen Yan, Zou Xiangjun, Xu Dongfeng, et al. Mechanism design and kinematics simulation of litchi picking manipulator[J]. Journal of Machine Design, 2010, 27(5): 31－34. (in Chinese with English abstract)

[9]熊俊濤，鄒湘軍，陳麗娟，等. 基于機器視覺的自然環(huán)境中成熟荔枝識別[J]. 農(nóng)業(yè)機械學(xué)報，2011，42(9)：162－166.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(9): 162－166. (in Chinese with English abstract)

[10]郭艾俠，鄒湘軍，朱夢思，等. 基于探索性分析的的荔枝果及結(jié)果母枝顏色特征分析與識別[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(4)：191－198.

Guo Aixia, Zou Xiangjun, Zhu Mengsi, et al. Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(4): 191－198. (in Chinese with English abstract)

[11]熊俊濤，鄒湘軍，王紅軍，等. 基于Retinex圖像增強的不同光照條件下的成熟荔枝識別[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(12)：170－178.

Xiong Juntao, Zou Xiangjun, Wang Hongjun, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(12): 170－178. (in Chinese with English abstract)

[12]彭紅星，鄒湘軍，陳麗娟，等. 基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識別[J]. 農(nóng)業(yè)機械學(xué)報，2014，45(4)：61－68.

Peng Hongxing, Zou Xiangjun, Chen Lijuan, et al. Fast recognition of multiple color targets of litchi image in field environment based on double otsu algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(4): 61－68. (in Chinese with English abstract)

[13]Fu Longsheng, Tola Elkamil, Al-Mallahi Ahmad, et al. A novel image processing algorithm to separate linearly clustered kiwifruits[J]. Biosystems Engineering, 2019, 183: 184－195.

[14]傅隆生，孫世鵬，Vázquez-Arellano Manuel，等. 基于果萼圖像的獼猴桃果實夜間識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(2)：199－204.

Fu Longsheng, Sun Shipeng, Vázquez-Arellano Manuel, et al. Kiwifruit recognition method at night based on fruit calyx image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(2): 199－204. (in Chinese with English abstract)

[15]梁喜鳳，金超杞，倪梅娣，等. 番茄果實串采摘點位置信息獲取與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(16)：163－169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 163－169. (in Chinese with English abstract)

[16]李寒，張漫，高宇，等. 溫室綠熟番茄機器視覺檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(增刊1)：328－334，388.

Li Han, Zhang Man, Gao Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328－334, 388. (in Chinese with English abstract)

[17]Van Henten E J, Van Tuijl B A J, Hemming J, et al. Field Test of an Autonomous Cucumber Picking Robot[J]. Biosystems Engineering. 2003, 86(3): 305－313.

[18]Mehta S S, Burks T F. Vision-based control of robotic manipulator for citrus harvesting[J]. Computers and Electronics in Agriculture. 2014, 102: 146－158.

[19]薛金林，閆嘉，范博文. 多類農(nóng)田障礙物卷積神經(jīng)網(wǎng)絡(luò)分類識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2018，49(S1)：35－41.

Xue Jinlin, Yan Jia, Fan Bowen. Classification and identification method of multiple kinds of farm obstacles based on convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(S1): 35－41. (in Chinese with English abstract)

[20]周云成，許童羽，鄭偉，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(15)：219－226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219－226. (in Chinese with English abstract)

[21]傅隆生，馮亞利，Elkamil Tola，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的田間多簇獼猴桃圖像識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(2)：205－211.

Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[22]陳鋒軍，王成翰，顧夢夢，等. 基于全卷積神經(jīng)網(wǎng)絡(luò)的云杉圖像分割算法[J]. 農(nóng)業(yè)機械學(xué)報，2018，49(12)：188－194.

Chen Fengjun, Wang Chenghan, Gu Mengmeng, et al. Spruce image segmentation algorithm based on fully convolutional networks[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 188－194. (in Chinese with English abstract)

[23]韓巧玲，趙玥，趙燕東，等. 基于全卷積網(wǎng)絡(luò)的土壤斷層掃描圖像中孔隙分割[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(2)：128－133.

Han Qiaoling, Zhao Yue, Zhao Yandong, et al. Soil pore segmentation of computed tomography images based on fully convolutional network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 128－133. (in Chinese with English abstract)

[24]高云，郭繼亮，黎煊，等. 基于深度學(xué)習(xí)的群豬圖像實例分割方法[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(4)：179－187.

Gao Yun, Guo Jiliang, Li Xuan, et al. Instance-level segmentation method for group pig images based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 179－187. (in Chinese with English abstract)

[25]王丹丹，何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機器人疏果前蘋果目標(biāo)的識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：156－163.

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156－163. (in Chinese with English abstract)

[26]楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識別[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(6)：156－162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[27]畢松，高峰，陳俊文，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(5)：181－186.

Bi Song, Gao Feng, Chen Junwen, et al. Detection method of citrus based on deep convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 181－186. (in Chinese with English abstract)

[28]趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：164－173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164－173. (in Chinese with English abstract)

[29]薛月菊，黃寧，涂淑琴，等. 未成熟芒果的改進(jìn)YOLOv2識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(7)：173－179.

Xue Yueju, Huang Ning, Tu Shuqin, et al.Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173-179.(in Chinese with English abstract)

[30]Redmon J, Farhadi A. Yolov3: An incremental improvement[R]. arXiv, 2018.

[31]Huang G, Liu Z, Maaten L V D, et al. Densely Connected Convolutional Networks[C]//CVPR. IEEE Computer Society, 2017.

[32]Lin G, Tang Y, Zou X. et al. Fruit detection combined with color, depth, and shape information[J/OL]. Precision Agriculture. https://doi.org/10.1007/s11119-019-09654-w, 2019-06-29.

[33]劉挺，秦兵，張宇. 信息檢索系統(tǒng)導(dǎo)論[M]. 北京：機械工業(yè)出版社，2008.

[34]Wu Shengli, McClean Sally. Lecture Notes in Computer Science[M]. Berlin, Heidelberg: Springer Berlin Heidelberg, 2006.

Vision pre-positioning method for litchi picking robot under large field of view

Chen Yan, Wang Jiasheng, Zeng Zeqin, Zou Xiangjun※, Chen Mingyou

(1510642,; 2.,,510642,)

Litchi picking robot is an important tool for improving the automation of litchi picking operation. The spatial position information of litchi cluster needs to be acquired when the robot picks litchi normally. In order to guide the robot moving to the picking position and improve the picking efficiency, the vision pre-positioning method of litchi picking robot under large field of view is proposed in this paper studied. Firstly, using the binocular stereo vision system composed of two industrial cameras that have been calibrated, 250 pairs of litchi cluster images under large field of view was taken in the litchi orchard in Guangzhou, the spatial positions of key litchi clusters were recorded by using a laser range finder, and the results were compared with those tested in the paper. In order to expand the sample size, the original image and the polar line correction image were randomly cropped and scaled in a small range, and the final image data set was 4 000 sheets. After that, by using LabelImg, the data set of the target detection network was created. Secondly, by using the YOLOv3 network and the DenseNet classification network, combined with the characteristics of single target and single scene of litchi cluster detection task (only for orchard environment), the network structure was optimized, a Dense Module with a depth of 34 layers and a litchi cluster detection network YOLOv3-DenseNet34 based on the Dense Module was designed. Thirdly, Because of the the complexity of the background image under large field of view, the dense stereo matching degree of the whole image is low and the effect is poor, at the same time, some litchi clusters can not appear in the public view of the image at the same time, therefore, a method for calculating sub-pixel parallax was designed, peer-to-peer sequential consistency constraint matching method was proposed. By solving the quadratic curve composed of parallax and similarity, the parallax under sub-pixel was used to calculate the spatial positions of the litchi cluster. Through the comparison with the original network of YOLOv3, the test network performance of the paper was tested, and found that the YOLOv3-DenseNet34 network improved the detection accuracy and detection speed of the litchi cluster, the mAP (mean average precision) value was 0.943, the average detection speed was 22.11 frame/s and the model size was 9.3 MB, which was 1/26 of the original network of YOLOv3. Then, the detection results of the method were compared with the results of the laser range finder. The max absolute error of the pre-positioning at the detection distance of 3 m was 36.602 mm, the mean absolute error was 23.007 mm, and the average relative error was 0.836%. Test results showed that the vision pre-positioning method studied in this paper can basically meet the requirements of vision pre-positioning under large field of view in precision and speed. And this method can provide reference for other vision pre-positioning methods under large field of view of fruits and vegetables picking.

robs; image processing; object detection; litchi picking; large field of view; convolutional neural network; stereo vision

陳 燕，王佳盛，曾澤欽，鄒湘軍，陳明猷. 大視場下荔枝采摘機器人的視覺預(yù)定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(23)：48－54.doi：10.11975/j.issn.1002-6819.2019.23.006 http://www.tcsae.org

Chen Yan, Wang Jiasheng, Zeng Zeqin, Zou Xiangjun, Chen Mingyou. Vision pre-positioning method for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 48－54. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.006 http://www.tcsae.org

2019-06-30

2019-11-11

國家自然科學(xué)基金資助項目（31571568）；廣東省自然科學(xué)基金項目（2018A030307067）

陳 燕，副教授，主要從事農(nóng)業(yè)機器人、農(nóng)業(yè)智能裝備和智能設(shè)計與制造的研究，Email：cy123@scau.edu.cn

鄒湘軍，教授，博士生導(dǎo)師，主要從事農(nóng)業(yè)機器人、機器視覺的研究，Email：xjzou1@163.com

10.11975/j.issn.1002-6819.2019.23.006

TP391.41

A

1002-6819(2019)-23-0048-07