基于機器視覺的枸杞枝條識別方法研究

田志超，劉玉萍，李 娟，朱學巖

(1.青島農業大學機電工程學院，山東青島 266109;2.青島農業大學校醫院，山東青島 266109)

0 引言

枸杞有著極高的藥用和食用價值，深受大眾的喜愛。枸杞皮薄易損，外形小、數量多并且生長密集，使得枸杞的采摘成為整個生產過程中最費時費力的環節。近年來，人工采摘的效率低、成本高以及勞動力不足等問題越來越凸顯出來，種植者對自動化作業的需求越來越迫切。因此，研究枸杞果實、枝條的機器識別方法并實現自動化采迫在眉睫。

目前機器視覺已被廣泛應用于國防工業、醫療科技［1］、水下圖像識別［23］、尺寸測量［4］以及果蔬識別與分類［57］等領域。然而在枸杞的識別與采摘領域相關研究較少，目前已有的成果多是針對外部缺陷的檢測以及產地的識別研究等，例如，文［7］通過提取枸杞的大小、形狀、色澤等信息實現了枸杞的無損檢測與分級;文［8］提出一種基于形態學邊緣檢測的枸杞外部缺陷識別方法;文［9］基于機器視覺對枸杞產地進行了識別研究等等。此外，對枝條的識別研究也非常少見，現有研究的識別目標一般是具有較高硬度的枝條，例如，文［10］采用半閾值分割以及邊緣檢測的方法識別出樹干圖像，提出一種可以分割復雜背景下樹干圖像的方法，初步實現了樹干圖像的計算機自動識別;文［11］等通過亮度轉換和閾值分割完成枇杷枝條框架的提取。以我們的知識，目前還沒有見到針對較軟枝條進行枝條識別的報道，更沒有見到針對枸杞采摘進行枸杞枝條識別研究的報道。本文旨在此方面進行嘗試，目的是為了定位枝條的首端坐標，從而實枸杞的機械采摘。

1 圖像采集與總體流程

1.1 圖像樣本的采集

本文使用佳能Powershot SX60 HS數碼相機進行圖像采集，采集地為青海省海西州都蘭縣的枸杞種植基地，圖像的類型為jpeg格式，為了便于處理，將圖像的分辨率設為640*480，硬件設備為聯想電腦win10系統，基于OpenCV 2.4.9視覺庫在Visual Studio2010開發環境上對采集的圖像進行調試和處理。

1.2 方法設計

為了達到枝條可識別的目的，本研究針對枝條受遮擋情況的不同采取不同的處理方式，識別整體流程如圖1所示。

圖1 整體流程圖

2 模型的選取與特征分析

2.1 顏色模型的選取

顏色處理模型種類也很多，目前常用的顏色模型主要包括 RGB［12-13］、YCbCr［14］、HIS［15］、HSV［16］、Lab［17］等 模型。為了增強目標與背景之間的顏色特征差異，目前多數研究方法都是使用某個顏色模型各顏色分量的組合 (多為線性組合)作為顏色特征進行圖像分割等處理，根據不同的情況選用不同的顏色分量和不同的組合方式。通過分析、調試和綜合對比，本文最終選用了相對簡單且可行性較強的RGB顏色模型來對枸杞枝條圖像進行處理。

2.2 圖像特征分析

選取的枸杞樹原始圖像如圖2(a)所示。為了改善由于光照強度和遮擋等所造成的亮、暗程度分布不均的問題，增強局部逆光條件下圖像的亮度而不會對整體亮度有所影響，本文采用直方圖均衡化進行圖像增強。增強前后效果如圖2所示。

圖2(b)和圖2(c)兩個直方圖的橫坐標為灰度級，縱坐標為像素數目。由圖2可以看出，均衡化后直方圖的分布更加均勻，增強了整個圖像的對比度，降低了順光逆光條件下亮度對圖像分割的影響。

為了分析枸杞圖像中各部分顏色特征，尋找適當的區分關系更好的進行圖像分割，需要對圖片中涉及到的果實、枝條、樹葉等各部分的顏色特征進行獲取和分析，各顏色分量的強度值如表1所示。

圖2 直方圖分析

表1 RGB各分量的強度值

通過表1的數據可知，果實的R通道值最大，B通道值最小，明顯區別于其它背景，可以很容易的將果實分割。而其它部分背景，則很難通過初始的顏色空間分量進行圖像分割，此時可以將多個顏色分量進行組合 (加權或者和差運算)以增強待提取的目標與背景之間的特征差異，以找到合適的區分點進而實現圖像分割。由于外界環境和選擇的對象不同，使用組合的方式也大不相同，本文的圖像主要涉及到枸杞果實、枝條、樹葉、天空等，通過分析表1數據，我們可以得出以下結論:

(1)枸杞枝條的圖像特征大部分滿足R－G＞0，可以作為分離枝條與背景的標準之一。

(2)枸杞果實圖像特征滿足R遠大于G與B通道的值。可以通過R－B，2R－G－B，R－G等對圖像進行閾值分割來獲取果實輪廓。

(3)樹葉顏色特征為G分量大于R和B分量，利用2G－R－B進行分割。

對以上公式中出現的R－G、R－B以及2R－G－B3種組合方式的色差值進行詳細分析，如表2所示。

表2 RGB各分量組合的測定數據

由表2的數據可以看出，在R－G色差下天空、樹葉和白云都是負值，而枝條和果實為正值，并且枝條和果實的色差值相差很大，可以很好的將背景與目標分割開來;R－B色差下枝條和樹葉區分不是很明顯，且因為光照強度的影響導致暗處顏色不明顯的枝條無法識別出;2R－G－B色差下的識別效果則跟R－G色差下的分離數據特征基本類似，在此不在贅述。

圖1為盤拉銅管在加熱溫度為460℃時，保溫時間分別為30 ～ 45min條件下退火銅管的顯微組織形貌。

3 枸杞枝條的提取與修復

3.1 去果實處理

枝條識別過程中，密集生長的枸杞果實會影響對枝條的識別效果，可以考慮先對果實進行提取和去除。同時，提取果實也利于后續對枝條的識別與定位。因此，對果實的識別與提取是不可或缺的一步，通過比較上文的幾種分割方式，本設計最終選取計算相對簡單并且操作容易實現的R－G方式來完成對果實的提取和去除。果實提取和消除的效果分別如圖3(a)和3(b)所示。

圖3 去果實過程

3.2 圖像分割

對輸入圖像到輸出圖像K進行如下變換，即進行閾值分割:

通過對不同顏色空間提取并分析所得數據發現，目標和背景所對應的分量像素值在圖像中的不同區域是不一樣的，因此只使用單個閾值很難將目標與背景分開。這時可以對不同區域采用不同的閾值來進行分割，從而達到更好的分割效果。通過對RGB、HIS、YCrCb3種不用顏色空間下的枸杞枝條進行提取，雖然HSI和YCrCb方式都能檢測出枝條的輪廓，但是圖像中依然夾雜著樹葉、天空、白云等大量噪聲。此外。HSI方式明顯噪聲比較多，而另外兩種方式在去除噪聲方面明顯突出。經反復實驗發現，將Cb分量提取出來進行直方圖均衡化后與其它兩個分量合并，轉回RGB顏色空間，再對RGB空間的組合通道進行閾值分割效果最好。經過實驗比對，最終采用R－G＞25或R－G＜－4進行閾值分割，通過膨脹、腐蝕運算，能夠去除部分樹葉、天空等背景噪聲;對于仍有未完全分離的部分果實的邊緣輪廓和細小的外界噪聲，可以通過中值濾波和形態學處理來進一步對圖像進行優化，效果如圖4所示。

3.3 枝條修復和擬合

自然條件下生長的枸杞總會有許多枝條受到果實和樹葉的遮擋，會導致獲取圖像中的枝條出現間斷。機械手對枸杞果實的采摘主要是通過定位枝條輪廓的首端坐標來進行抓取采摘的，遮擋所帶來的間斷會將圖像中同一根枝條輪廓分成若干，這樣以來每一個輪廓都會對應一個首端坐標，采摘時機械手就可能會對同一根枝條進行重復采摘。對枝條的非合理性間斷進行修復可以很好地解決這個問題，提高采摘的效率。

在修復前需要盡可能多的去除干擾，尤其是圖像中的小面積區域，去除小面積輪廓區域后的結果如圖5所示。

圖5 去除小面積輪廓

圖6 霍夫線變換修復枝條

本設計采用累計概率霍夫變換來實現對間斷枝條的修復。累計概率霍夫變換是對邊緣點進行概率性的選取，執行效率高，通過定義最小直線的長度和兩線段之間最大間隙的距離，跟設定閾值進行比較來判定是否是一條直線并進行連接，從而獲得相對完整的枝條。

下面將枝條的檢測與修復分為以下兩種情況:

(1)單根枝條之間存在著間斷，如圖5，這種情況最好的修復方法之一就是通過霍夫線變換來實現同一枝條上間斷的連接，修復結果圖如圖6所示．

枸杞枝條的擬合可以分為直線擬合和曲線擬合兩種方式。最小二乘法直線擬合是通過提取所有果實的質心坐標，根據擬合公式求出斜率和截距，進而求出直線方程，然后通過畫線函數將此直線畫出。Open CV中的line函數是通過兩個坐標點來進行畫線的，用直線方程將直線的頂點坐標表示出來，兩端分別與所求平方和的均值坐標進行相連即可定位出此處的首端枝條。

直線擬合的公式如下:

其中:y:所有果實質心縱坐標的平均值;x:所有果實質心橫坐標的平均值;k:擬合直線的斜率;n:果實的個數;b:擬合直線截距。

直線擬合的結果如圖8所示。由圖可以看出，擬合出的線條與原枝條位置基本吻合。

圖7 枝條首端完全遮擋

圖8 直線擬合

圖9 曲線擬合

此外，最小二乘法多項式曲線擬合是常見的曲線擬合方法，在實際生活中有著廣泛的應用。根據給定的m個點，并不要求這條曲線精確地經過這些點，而是要求曲線y=f(x)的近似曲線y=φ(x)。按偏差平方和最小的原則選取擬合曲線，并且采取二項式方程為擬合曲線，擬合結果如圖9所示。

3.4 枝條首端坐標和直徑的獲取

要想實現對果實的精準采摘，就需要提取出枝條的首端坐標以及長度，這樣采摘時機械手前進的距離就可以確定。本文提出一種質心差值法來獲取枸杞枝條的首端坐標，現將處理過程分為三步:1)將修復后的枝條輪廓進行提取，通過計算力矩來獲取各枝條的質心坐標;2)遍歷所有枝條的輪廓并對其面積進行比較，一般情況下面積最大的為枝干，提取枝干的質心坐標;3)以枝干質心坐標為中心點，計算每根枝條質心與枝干質心的橫坐標之差，若差值為負值，則此枝條輪廓最左側邊緣坐標為枝條的首端坐標，若差值為正值，則此枝條輪廓最右側邊緣坐標為枝條的首端坐標。對于比較極端枝條，如正好跟枝干質心的橫坐標重合，可以先不采取處理，在多角度識別采摘的過程中這種極端情況的問題就迎刃而解了。實際上采摘枸杞果實時不可能僅對一個平面進行識別就能將整棵枸杞樹全部識別、采摘完，而是需要從多個角度來采集圖像進行識別采摘。

對于枝條直徑的測量，調用Open CV庫中的contour Area()和arch Length()函數，可分別計算出各個輪廓的面積和周長。因為平面中將彎曲的枝條進行拉伸形狀近似于矩形，而矩形的寬度即可認為是枝條截面的直徑。因此，設S為輪廓面積，C為輪廓的周長，L為長度，J為截面直徑，通過面積和周長公式列二元一次方程即可求出矩形的寬度，即枝條的直徑，公式如下:

獲取枝條的相關數據，如圖10所示。

圖10 枝條數據

4 結論

本文提出了一種基于機器視覺的枸杞枝條識別方法，實現了枸杞枝條的識別與被遮擋枝條修復，在此基礎上提出了質心差值法定位枝條首端坐標，為機械手準確抓取枝條提供了必要條件，為實現枸杞的自動化采摘提供了新的思路。但該研究還處于理論階段，枝條識別率受復雜環境的影響較大，因此，在本文的基礎上，可進一步研究如何提高系統在復雜環境中的識別率等問題。