基于輪廓曲率和距離分析的重疊柑橘分割與重建

劉妤, 劉灑, 楊長輝,2, 王卓, 熊龍燁

(1.重慶理工大學機械工程學院， 重慶 400054；2.西安交通大學機械工程學院， 西安 710049)

柑橘是我國廣泛種植的水果之一，也是世界貿易量較大的一種水果。目前，柑橘采摘主要以人工為主，存在季節性突出、勞動強度大、成本高等問題。據不完全統計，人工采摘成本約占柑橘種植總成本的30%～40%[1]。采摘機器人可有效減輕人工作業強度、降低生產成本，但是，自然環境中，往往存在果實被樹葉遮擋或果實間相互遮擋的情況。如何精準識別被遮擋的果實是農業采摘機器人面臨的難題之一[2]。

國內外學者針對重疊果實分割和輪廓重建開展了大量研究。Feng等[3]通過鏈碼差異的變化規律，采用局部最優原則尋求有效凹點實現了無遮擋重疊蘋果的分割，準確率約為91.2%。Zhou等[4]利用R-B與G-R色差提取蘋果目標，實現了單果計數及產量預測。Silwal等[5]利用Blob分析識別了被遮擋的蘋果，同時，針對一個蘋果目標被分為多個部分的情況，采用基于歐式距離原則的聚類算法將其融合，單個蘋果目標的識別率達90%。Niu等[6]在提取遮擋蘋果目標的真實輪廓段后，基于Shape Context算法實現了輪廓段匹配，提取了蘋果目標的對稱軸，進而定位了被遮擋的蘋果。苗中華等[7]提出了一種自然環境下重疊果實的圖像識別與邊界分割的組合優化算法，該方法對無遮擋的目標識別效果較好。彭輝等[8]為保留重疊部分未被遮擋蘋果的輪廓信息，提出了基于視差圖像的重疊果實分割算法，實現了無遮擋果實的目標識別。荀一等[9]通過建立三層BP神經網絡實現了蘋果圖像的分割，并對被遮擋蘋果進行圓擬合，實現了目標定位，該方法對被遮擋單果的識別率超過80%。陳玉等[10]通過計算遮擋因子確定枝葉對蘋果的遮擋區域，并利用格子波爾茲曼方法求解各向異性擴散方程，估計丟失信息，進而實現了對蘋果目標遮擋區域的修復。Lv等[11]利用邊緣檢測和隨機Hough變換算法實現了被枝葉嚴重遮擋的蘋果目標的識別與重建，識別率為86.0%。陳振羽等[12]通過測量目標和景物輪廓的局部極大張角，從含有遮擋目標的景物圖像中識別出單個目標。姚立健等[13]利用廣義Hough變換理論對部分遮擋的茄子目標進行了識別，并通過試驗驗證了該方法對于被部分遮擋的目標具有良好的識響較大。蔡健榮等[2]利用優化的Hough變換提取了目標的形心坐標及半徑，在此基礎上恢復了遮擋果形，識別率超過95%。上述研究雖然在果實識別中取得了一些進展，但針對果實位置、遮擋和重疊等復雜的生長現狀無法兼顧，需要開發重疊目標的分割方法，提高識別精度。

綜上所述，對于重疊率較高的多果分割，現有分割方法過程復雜且魯棒性不強，分割和重建效果與所添加的特征有關，且定位效果有待提高。為此，本文針對成熟的重疊柑橘開展重疊分割與輪廓重建研究，以期實現自然環境下此類重疊柑橘的精準分割與識別，進而提高柑橘采摘機器人的采摘成功率和效率。

1 材料與方法

1.1 重疊柑橘圖像獲取及預處理

本文重疊柑橘圖像于2018年12月在學校的柑橘種植基地通過機器人視覺平臺(圖1)采集。該平臺主要由相機(Bumblebee2)、1394數據采集卡、計算機等組成，其中，計算機操作系統采用Win7，圖像處理軟件采用OpenCV3.10。

注：1—顯示器；2—相機；3—數據采集卡；4—三腳架；5—計算機；6—鋰電池；7—柑橘樹；8—導線。Note: 1—Monitor; 2—Camera; 3—Data acquisition card; 4—Tripod; 5—Computer; 6—Lithium battery; 7—Citrus tree; 8—Wire.圖1 柑橘圖像采集系統Fig.1 Citrus image acquisition schematic

1.2 圖像分割和處理

為減小原始圖像中光照等因素的影響，采用圖割算法[14]和R-B色差[15]相結合的方法對原始柑橘圖像進行分割。

1.3 重疊柑橘輪廓曲率計算

曲率是幾何體不平坦程度的一種衡量，曲率越大，表示曲線的彎曲程度越大。柑橘形狀為類球體，在兩個柑橘果實重疊區域的邊緣交界處，曲率會發生突變，而樹葉也呈外凸形狀，被枝葉遮擋形成的邊緣處同樣會發生曲率突變。通過尋找這些曲率發生突變的輪廓像素點，可以確定輪廓的分割點。

為了檢測曲率突變的輪廓像素點，以圖2所示輪廓進行分析，沿輪廓逆時針方向，依次間隔5個像素點取采樣點。設當前采樣點坐標為pi(xi，yi)，前一采樣點坐標為pi-1(xi-1，yi-1)，后一采樣點坐標為pi+1(xi+1，yi+1)，θi-1為當前采樣點與前一采樣點的連線與x軸的夾角，θi為當前采樣點與后一采樣點的連線與x軸的夾角。記相鄰兩采樣點之間的中間像素點分別為點Ai、Bi(如圖2中的菱形方塊)，過點Ai、Bi分別作與兩采樣點連線平行的直線lai、lbi。依次遍歷柑橘輪廓，根據反正切函數的性質，則兩采樣點連線與x軸的夾角θi如式(1)[16]所示。

θi=

(1)

圖2 柑橘輪廓曲率分析Fig.2 Curvature analysis of citrus contour

設Δθi為柑橘輪廓的切線轉過的角度，即由直線lai逆時針轉到直線lbi位置時的角度；ΔSi為直線lai、lbi之間包含的弧段長度，即像素點Ai、Bi中間5個像素點構成的輪廓片段長度；整段輪廓的長度為lth，輪廓總的像素點個數為n。根據曲率定義，則輪廓在當前采樣點pi(xi，yi)處的曲率Ki為如下。

(2)

1.4 點到柑橘輪廓的距離算法

本文計算像素點到柑橘輪廓距離的算法流程如下。

(1) 獲取輪廓上所有像素點坐標(xi，yi)，并將輪廓分割為很多無窮小片段Si。

(2) 從所有像素點中找出橫坐標值最小的點(當有多個像素點橫坐標值相同時，便從中選取縱坐標值最小的點)作為輪廓的起始點Q(x0，y0)，并將輪廓點序列方向設定為逆時針方向。

(3) 從起始點Q開始，沿逆時針方向，依次遍歷所有輪廓像素點。記相鄰兩個點的坐標分別為A(xi，yi)、B(xi+1，yi+1)，平面上任意點P的坐標為(xP，yP)。

(3)

(4)

A：點P在有向線段的右側；B：點P在有向線段的延長線上；C：點P在有向線段的左側。A: Point P is on the right side of the directed segment 圖3 點P與有向線段的相對位置關系Fig.3 Relative positional relationship between point P and directed line segment

A：點P在有向線段右側；B：點P在直線li、li+1的中間；C：點P在有向線段左側。A: Point P is on the right side of the directed segment B: Point P is between the strait lines of li and li+1; C: Point P is on the left side of the directed segment 圖4 點P與兩直線的相對位置關系Fig.4 Relative positional relationship between point P and two straight lines

(xi+1-xi)(y-yi)-(yi+1-yi)(x-xi)=0

(5)

di=

(6)

依次遍歷所有輪廓片段Si，則點P到整段輪廓的最小距離如下。

dmin=min(di)i=0,1,2…,n-1

(7)

為便于判斷點P相對于輪廓的位置，對dmin的符號進行約定：當點P在輪廓內時，dmin取正值；當點P在輪廓外時，dmin取負值；當點P在輪廓上時，dmin取零。記含符號的dmin為d′min。

(8)

1.5 戶外實驗驗證

為了驗證本文方法的有效性，在戶外果園環境下進行重疊柑橘的分割重建實驗。采用Hough變換算法和RANSAC算法對重疊柑橘進行了輪廓重建，并分別獲取重疊柑橘圖像中未被遮擋的柑橘目標面積S與分割重構后柑橘目標面積Si，通過輪廓重建誤差、不重合度和重建時間三個指標評價本文方法、Hough變換算法、RANSAC算法對于成熟的重疊柑橘分割、重構效果及效率。輪廓重建誤差e和不重合度u的計算公式分別如式(9)和(10)所示。

(9)

(10)

式中，i用以區分本文方法、Hough變換算法和RANSAC算法的對應參數；S∪Si表示在原始圖像柑橘區域或在重構柑橘目標上的像素點個數；S∩Si表示既在原始圖像柑橘區域上又在重構柑橘目標上的像素點個數；前后兩者像素點個數之差即為不重合柑橘區域的面積Su，不重合度越低說明分割重構效果越好。

2 結果與分析

2.1 重疊柑橘輪廓提取

從圖5可以看出，獲取的原始柑橘圖像經分割后，少數非柑橘區域同時被分割出來。

圖5 柑橘輪廓提取Fig.5 Citrus outline extraction

提取原始圖像的R-B色差圖，可以看出，受陰影及高光等因素的影響，閾值分割后的目標圖像往往存在一些孔洞、毛刺及余留的小面積區域，獲得二值化圖。在此基礎上，對重疊柑橘果實進行邊緣輪廓提取，獲得未平滑輪廓。考慮分割過程中可能產生較多的噪聲，因此，采用適用性較廣的高斯濾波函數對得到的柑橘輪廓進行平滑處理，最終提取出重疊柑橘輪廓。

2.2 重疊柑橘輪廓分析與重建

2.2.1重疊柑橘輪廓曲率分析 對圖5所示的高斯平滑輪廓像素點求取的曲率如圖6所示。結果表明，正常的柑橘輪廓像素點曲率范圍為[-0.2,0.2]，超出該范圍的即為異常的輪廓像素點，即柑橘重疊或被樹葉遮擋時邊緣交疊處的輪廓像素點。

圖6 柑橘輪廓像素點曲率Fig.6 Citrus contour pixel curvature

分析圖6可知，柑橘輪廓中超過正常輪廓曲率范圍[-0.2,0.2],即曲率變化較大的像素點有5個，依次連接相鄰兩個異常像素點獲得五條線段，如圖7所示，以便于分析重疊柑橘輪廓的分割點。

圖7 柑橘輪廓分割Fig.7 Citrus contour segmentation

2.2.2重疊柑橘輪廓分割點確定 通常情況下，柑橘輪廓是一個外凸的曲線，輪廓上任意兩像素點構成的線段一定會在輪廓內部。而對于柑橘被樹葉遮擋所產生的輪廓片段，一般呈現內凹形狀，該段輪廓上任意兩像素點構成的線段大部分會在封閉的柑橘輪廓外面。為了通過尋找異常線段確定因樹葉遮擋而產生的輪廓，對圖7B中五條線段上的像素點到輪廓上的距離進行分析，結果分別如圖8A～E所示。

圖8 線段1～5上的像素點到輪廓的距離Fig.8 Distance from the pixel point of line 1～5 to the contour

2.2.3重疊柑橘輪廓分割 分別統計五條線段上到輪廓距離為非負值和負值的像素點數量，結果如表1所示。而大量的實驗研究表明，當線段上滿足d′min<0的像素點個數nsum大于像素點總數的25%時，該線段為異常線段，其對應的輪廓片段不是柑橘輪廓。

(11)

分析表1可知，線段1、2、3為正常線段，對應的輪廓片段是柑橘輪廓；而線段4和5為異常線段，對應的輪廓片段不是柑橘輪廓。進一步分析4、5兩線段相鄰，且含有3個曲率異常的輪廓點A、D、E，如圖9所示。為了準確分割重疊柑橘輪廓，首先在正常線段相交的點B、C處對柑橘輪廓進行分割。然后在分割后的柑橘輪廓像素點剔除非柑橘輪廓像素點。此時，正常的重疊柑橘輪廓被準確分割。

表1 像素點統計Table 1 Pixel point statistics

粗略分割后的柑橘輪廓是不完整的。為了真實還原果實目標，對于柑橘這種類球形果實，本文采用基于最小二乘法的橢圓擬合插值算法[17]重構單個柑橘輪廓。

2.3 戶外驗證結果分析

針對戶外果園環境下的5幅重疊柑橘圖像利用不同算法進行重建，結果如圖10所示。可見，采用本文方法不僅能準確分割重疊柑橘，而且能精準重構重疊部分的輪廓，可以滿足自然環境下成熟重疊果實的智能識別需求。

圖9 柑橘輪廓分割與篩選Fig.9 Citrus contour segmentation and screening

選取果園環境中20組重疊成熟柑橘進行分割重構，本文方法、Hough變換算法和RANSAC算法實現重疊柑橘的輪廓重建誤差、不重合度、重建時間對比如圖11所示。

由圖11可知，Hough變換算法重建重疊柑橘輪廓的平均重建誤差為13.182%，平均不重合度為14.423%，平均重建時間為0.501 s；RANSAC算法重建重疊柑橘輪廓的平均重建誤差為5.708%，平均不重合度為6.341%，平均重建時間為0.682 s；而本文方法重建重疊柑橘輪廓的平均重建誤差為4.903%，平均不重合度為5.593%，平均重建時間為0.408 s，明顯低于Hough變換算法和RANSAC算法，這說明本文所提出的重疊柑橘分割方法是有效的。

3 討論

現有的重疊果實識別研究多數針對無遮擋果實目標[3,7-8]，雖然有些開展了被遮擋果實目標的識別研究，但僅限于單個果實目標，沒有充分考慮自然環境中果實生長重疊成簇現象[2,4-6,9-13]。對于重疊果實目標的分割，可以基于局部最優、凸殼變換等通過尋找凹點實現分割[3]，但僅限于無遮擋的果實目標，未充分考慮自然環境中果實生長狀態的復雜性。而對于被遮擋的果實目標定位，可以運用Hough變換等方法直接重建果實輪廓[2,11,13]，但這些方法定位精度不高，且沒有對非柑橘輪廓進行剔除，只適用于被遮擋面積較小的場景；也可以通過尋找果實的對稱軸實現果實目標定位[6]，但這種方法不適用于生長形狀不規則的果實目標。為此，本文依托自主搭建的采摘機器人雙目立體視覺系統，重點開展了自然環境中重疊成熟柑橘輪廓的分割與重建研究，提出了一種基于輪廓曲率和距離分析的重疊柑橘分割方法，實現了自然環境下重疊果實的有效分割。相比于已有相關方法研究，本文充分考慮了柑橘果實在自然環境中的真實生長狀態，并且討論了重疊柑橘被樹葉部分遮擋時的真實果實輪廓篩選與重建，該方法可應用于其他類球形果蔬的重疊目標分割與重建。

對比實驗結果表明：利用本文方法所得到的重疊柑橘重建輪廓的平均誤差、不重合度和時間分別為4.903%、5.593%、0.408 s，優于Hough變換算法和RANSAC算法，基本能夠滿足自然環境下成熟重疊柑橘果實的智能識別需求。后續將以此為基礎進一步深入研究多種類型障礙物遮擋情況下重疊柑橘的識別與定位，進而增強重疊果實識別方法的魯棒性，提升采摘機器人的識別準確率和采摘成功率。