基于大津算法連通域的松果多目標識別定位

牛晗 伍希志

摘要：松果識別對其產(chǎn)量評估、智能采摘等具有非常重要的意義。提出一種基于二值圖像連通域的松果圖像識別方法，首先研究松果圖像RGB顏色特征規(guī)律，進行RGB顏色分量色差運算;然后選取合適的閾值對松果R-G圖像進行二值化處理，初步分割果實和背景;再在圖像分割時采用小面積連通域面積閾值法去除噪聲的影響;最后采用連通域外接矩形法進行松果識別與統(tǒng)計，并計算出松果質(zhì)心位置。結(jié)果表明，采用OTSU二值化分割+連通域噪音去除方法，可以清晰地分離出松果果實，松果識別平均準確率為89.6%。基于二值圖像連通域的松果多目標果實識別與定位，為以后實現(xiàn)松果的自動化采摘提供了技術(shù)基礎(chǔ)。

關(guān)鍵詞：圖像處理;松果;多目標;連通域;識別

中圖分類號： TP391.41? 文獻標志碼： A

文章編號：1002-1302（2021）15-0193-05

收稿日期：2020-11-11

基金項目：國家自然科學(xué)基金（編號：C161402）;長沙市重點研發(fā)計劃（編號：Kq2004094）;廣州達意隆包裝機械股份有限公司博士后科研工作站項目（編號：263805）。

作者簡介：牛 晗（1997―），男，湖北鄂州人，碩士研究生，研究方向為機器視覺。E-mail：1390079277@qq.com。

通信作者：伍希志，博士，副教授，研究方向為林業(yè)智能裝備、機器視覺、復(fù)合材料結(jié)構(gòu)。E-mail：wuxizhi2006@126.com。

我國是世界上松子種植面積最大、消耗松子最多的國家，年產(chǎn)量為8萬t左右，向外出口20多個國家和地區(qū)。松子熱量大，而且有很高的食療價值。松子的加工早已實現(xiàn)自動化，但目前松果的采摘主要依靠人工完成。產(chǎn)出松子的松樹高度一般為15～20 m，人工爬樹采摘的危險程度非常高，勞動強度很大，導(dǎo)致松子價格高昂。因此，采用計算機圖像處理技術(shù)識別松果，開發(fā)松果采摘機器人是一個有效的解決方法。近年來，為了實現(xiàn)水果的自動化采摘，學(xué)者們在水果識別方面進行了大量研究，主要包括蘋果[1]、橘子[2]、番茄[3]、葡萄[4]、獼猴桃[5]等識別研究。例如，針對如蘋果番茄橘子等圓形水果的識別，主要采用基于canny[6]、sobel[7]等邊緣提取算法，提取出水果的邊緣進行識別。也有學(xué)者采用HOG變換識別出植被類型[8]。Shin等通過結(jié)合logistic回歸模型和分水嶺算法對柑橘質(zhì)量進行分類[9]。黃小玉等提出了改進的DRFI算法，增加顏色、紋理和形狀3個參數(shù)特征，并采用OTSU分割進行綠色桃子識別[10]。陳禮鵬等通過提取獼猴桃的果萼進行獼猴桃的識別計數(shù)[11]。呂繼東等通過對閾值分割后的圖像進行彩色模板匹配識別紅色蘋果[12]。Yu等通過運用基于RCNN算法的神經(jīng)網(wǎng)絡(luò)，識別出草莓輪廓的2個最遠點，將它們的中點當作草莓重心[13]。Sun等采用GrabCut模型和Ncut算法識別出復(fù)雜環(huán)境中的青蘋果[14]。Lv等改進了GrabCut模型完成紅色蘋果識別[15]。

綜合上述研究工作可以發(fā)現(xiàn)，國內(nèi)外學(xué)者對類圓形光滑表面的水果如蘋果、橘子等研究較多，且大多采用邊緣識別算法識別果實，而松果輪廓不規(guī)則、表面有突起的松子，采用邊緣識別算法易受到樹枝樹葉等噪音的邊緣影響，識別準確性較差。另一類研究是根據(jù)顏色、紋理和形狀等參數(shù)特征使用分類器的方法識別果實，這需要大量訓(xùn)練樣本，運算復(fù)雜，操作難度大。因此，從復(fù)雜背景環(huán)境中識別松果是一個技術(shù)難點，目前缺乏深度的研究。本研究以成熟松果為研究對象，提出基于二值圖像連通域的松果多目標識別方法，采用RGB顏色分量 R-G 色差運算和二值化處理，初步分割果實和背景;采用小面積連通域面積閾值法去除圖像中的噪聲，得到松果果實圖像;采用連通域外接矩形法進行松果識別與統(tǒng)計，并計算出松果質(zhì)心位置，為以后機械化采摘奠定了基礎(chǔ)。

1 松果識別方法

1.1 松果圖片樣本的獲取

松果圖像是在2019年10月中旬于四川省涼山州會東縣堵格鎮(zhèn)拍攝。用redminote7 Pro手機在各種自然光線條件下拍攝200多張照片，拍攝距離為 10 m。所采集的圖像為.jpg格式，圖像大小為 427×640像素。

1.2 基于RGB色彩空間的色差運算

RGB色彩空間的顏色通過調(diào)整RGB 3個顏色通道的不同分量來顯示。成熟松果呈黃色，黃色是由紅色和綠色混合組成。圖1-a為原始圖像，圖1-b為使用Image Pro Plus軟件選取的圖像中有松果的區(qū)域，圖1-c為圖像中沒有松果的區(qū)域，并統(tǒng)計了2個區(qū)域內(nèi)的RGB 3種分量的權(quán)值大小。從RGB分量折線圖（圖1-d、圖1-e）中可以很明顯看出，有松果的區(qū)域R分量最多，無松果的區(qū)域G分量最多，2個區(qū)域內(nèi)的B分量含量相差不大，B分量大部分為背景顏色。可知松果的RGB圖像中存在的R分量和G分量的權(quán)值大于B分量。

因此，采用R分量與G分量進行色差運算，可以突出松果的外形輪廓，消除樹枝等噪音的影響，松果圖像R-G色差運算處理后如圖2所示，可以看出，進行R-G的操作后，綠色的樹葉完全消失了，松果的灰度比較高，接近白色，在接近黑色的背景中很突出。圖中還存在樹枝等噪音，這些噪音灰度不高，與環(huán)境很接近，與松果灰度值對比明顯。可見，R-G運算能很好地提高松果在圖像中的對比度。

1.3 基于大津算法（OTSU）的二值化分割

色差運算處理后的R-G圖像具有256個灰度值，直接對它進行處理運算速度比較慢，效果也不太好。由于松果灰度值在R-G圖像中對比度大，對灰度圖像進行二值化處理可以清晰地分辨出果實和背景區(qū)域，壓縮圖像數(shù)據(jù)，是加快運算速度的好方法。下面采用大津算法（OTUS）對R-G色差運算的圖像進行閾值分割。

大津算法（OTSU）的基本思想是計算圖像的灰度平均值M，通過得到一個閾值T，可以把圖像分割成背景A和果實B。記圖像中背景A的灰度平均值是MA，圖像中果實B的灰度平均值是MB。像素點出現(xiàn)在背景A的概率為PA，出現(xiàn)在果實B的概率為PB。閾值T計算公式：

T=PA×（MA-M）2+PB×（MB-M）2。（1）

對圖2所示色差灰度圖像進行閾值分割，通過OTSU算法得出該圖片閾值為30。因此采用閾值30對本圖像進行分割，灰度高于30像素點的灰度置為0，灰度小于等于30像素點的灰度置為1。

OTSU算法會根據(jù)每幅圖像的閾值進行二值化分割，OTSU二值化分割結(jié)果如圖3-a所示，圖像中松果形狀均很好地表示出來了，但是樹枝和其他噪音也十分明顯。

為了得到更好的二值化圖像，下面研究不同權(quán)重的R、G分量色差運算的OTSU閾值分割，包括1.2R-G，1.1R-G，R-G，R-1.1G，R-1.2G 的色差運算圖像。圖3是不同權(quán)重色差運算圖像的OTSU閾值分割結(jié)果。從圖3中可以看出，R分量權(quán)值增大會導(dǎo)致樹枝等噪音非常明顯，G分量權(quán)值增大會減小樹枝噪音的影響，但松果變得模糊。經(jīng)過對比采用R-1.1G色差運算的圖像閾值分割的結(jié)果最好，松果清晰地展現(xiàn)了出來，并且樹枝等噪聲較小。因此本研究采用R-1.1G色差運算來進行松果圖像增強和削弱背景的影響。

1.4 基于連通域面積閾值的噪音去除

經(jīng)過R-G色差運算和OTSU閾值分割得到的圖像仍有部分噪聲，主要是一些灰度值比較高的樹枝。這些噪聲面積一般小于松果面積的1/20。下面計算連通域的面積，并去除小面積噪聲。隨機選取20幅圖像，圖像內(nèi)面積最大松果的面積為4 280像素，取它的1/20（214像素）為小面積噪聲閾值，即連通域面積小于214像素的就是噪聲，把它賦值為1。去除小面積后的圖像結(jié)果如圖4所示，細小的噪聲都被去除了，留下清晰的松果輪廓。

1.5 基于連通域外接矩形的松果計數(shù)

以處理后的圖像為對象，采用連通域外接矩形的方法進行計數(shù)。通過圖像像素從左到右、從上到下進行遍歷。如果遍歷的像素值是0，就再遍歷該像素點的八鄰域，把該像素點八鄰域為0的點存入元組并賦值為1，將元組中為1的像素點記為一個

連通域。繼續(xù)遍歷，遇到像素值為0且元組中不為1的點，把它存入元組并賦值為2，同時遍歷該像素點的八鄰域，直到遍歷完整個圖像。然后把連通域的邊緣連接起來，形成一個閉環(huán)輪廓，識別這個連通域的4個最大邊界點，連接它們形成一個矩形，使連通域包含在矩形內(nèi)。通過上述方法即可完成松果計數(shù)，元組中最大值即為圖像松果的數(shù)量，計數(shù)結(jié)果如圖5。從圖5中可以看出，大部分松果都被識別出來了，被樹枝擋住大半的松果也能被識別出來，但仍有一處連接在一起的2個松果被識別為一個松果。

1.6 對松果進行質(zhì)心定位

要實現(xiàn)松果自動化采摘，在完成圖像中松果計數(shù)后，還需要對圖像中松果進行定位。由于松果表面存在小突，它們的灰度值較高，接近背景的灰度，經(jīng)過閾值處理后這些像素點還是白色，使松果輪廓內(nèi)像素值不均勻，這給松果質(zhì)心計算帶來了不利影響，因此需要在不改變松果外形輪廓情況下填充圖像內(nèi)的白點。下面采用閉運算方法處理松果圖像中白點，閉運算可以填補圖像內(nèi)的空洞但不影響圖像的邊緣。閉運算是先進行膨脹運算再進行腐蝕運算。腐蝕和膨脹的原理是采用一個模板在圖像中移動，腐蝕是選取模板內(nèi)的最小值作為新圖像的中心值，膨脹是選取模板內(nèi)的最大值作為新圖像的中心值。

在進行了閉運算后，再對圖像中松果求質(zhì)心。求質(zhì)心計算的基本原理是計算松果圖像內(nèi)各個橫坐標Xi之和，再計算出松果圖像內(nèi)各個縱坐標Yi之和，最后統(tǒng)計松果圖像內(nèi)的像素點的個數(shù)n。松果的質(zhì)心橫坐標X與質(zhì)心縱坐標Y公式如下：

X=∑ni=0Xin;（2）

Y=∑ni=0Yin。（3）

質(zhì)心計算結(jié)果如圖6所示，可以看出，本方法定位松果質(zhì)心非常準確，大部分松果的質(zhì)心都被計算出來。但是對于少數(shù)被樹枝或者樹葉遮擋的松果，它們的計算質(zhì)心是圖像顯示部分松果的質(zhì)心，并不是真實整個松果的質(zhì)心。

2 討論

2.1 松果識別結(jié)果

為了驗證本松果識別方法的準確性，從所采集的松果樣本圖像中隨機選取30幅圖像，運用本研究算法處理。圖7為從30幅圖像中隨機選擇4幅圖像的松果實圖與算法識別結(jié)果。從圖7中可以看出，本算法可以很好地識別出松果并計數(shù)，即使是被樹枝樹葉遮擋也可以完成計數(shù)，并且算法對黃色紅色松果都適用。圖7中4幅圖像的識別松果數(shù)分別為19、5、14、19 個，跟圖片中實際松果數(shù)21、5、15、18個非常接近，基本能識別出圖片中的松果。松果識別結(jié)果準確率計算公式如下：

P=1-|n1-n2|n2×100%。（4）

式中：P為準確率;n1為統(tǒng)計松果數(shù);n2為實際松果數(shù)，計算結(jié)果見表1。從表1可以看出，本算法的松果識別平均準確率為89.6%。經(jīng)分析其誤差產(chǎn)生原因如下：（1）環(huán)境光線太強，圖像中存在陰影中的松果，其灰度值較低，二值化時被誤分割成背景。（2）松果被樹枝樹葉遮擋過多、距離過遠，面積沒有214像素，被當作噪聲去掉。（3）1個松果被樹枝樹葉分割成2塊，識別為2個松果。（4）2個松果重疊過于嚴重，識別為1個松果。

2.2 對比試驗結(jié)果

為更好地闡述連通域算法的識別準確性，采用連通域算法和邊緣檢測算法對本松果圖像進行識別。其中邊緣檢測算法同樣進行R-B色差運算和中值濾波處理，然后采用基于sobel算子的邊緣檢測進行松果識別。2種算法的松果識別對比試驗結(jié)果如圖8所示，松樹高大，松果顯得較小，邊緣檢測算法檢測的松果邊緣與樹枝連接，對線的處理比較麻煩，很難區(qū)分松果邊緣與噪聲邊緣。連通域算法是通過面的方法將松果從復(fù)雜環(huán)境中成功分割，達到了有效的識別效果。

3 結(jié)論

采用基于二值圖像連通域方法，對松果多目標果實進行識別與定位，結(jié)果表明，采用R-G運算能很好地提高松果在圖像中的對比度。采用OTSU二值化分割+連通域噪音去除方法，可以清晰地分離

出松果果實，松果識別平均準確率為89.6%。采用閉運算方法消除松果輪廓內(nèi)白點，方便對松果進行質(zhì)心定位。這種基于二值圖像連通域的松果多目標果實識別與定位，為以后實現(xiàn)松果的自動化采摘提供了技術(shù)基礎(chǔ)。后續(xù)希望進一步研究新算法，使松果識別正確率達到更高的水平。

參考文獻：

[1]馬翠花，張學(xué)平，李育濤，等. 基于顯著性檢測與改進 Hough 變換方法識別未成熟番茄[J]. 農(nóng)業(yè)工程學(xué)報，2016，32（14）：219-226.

[2]楊 帆，李鵬飛，劉 庚，等. 橘子采摘機器人目標識別定位方法與實驗研究[J]. 西安理工大學(xué)學(xué)報，2018，34（4）：460-467.

[3]項輝宇，薛 真，冷崇杰，等. 基于Halcon的蘋果品質(zhì)視覺檢測試驗研究[J]. 食品與機械，2016，32（10）：123-126.

[4]馬本學(xué)，賈艷婷，梅衛(wèi)江，等. 不同自然場景下葡萄果實識別方法研究[J]. 現(xiàn)代食品科技，2015，31（9）：145-149，168.

[5]張莎莎，王周宇， 陳禮鵬，等. 基于MatLab的多目標獼猴桃無損采摘路徑規(guī)劃[J]. 農(nóng)機化研究，2019，41（4）：18-23.

[6]慕軍營，陳 軍，孫高杰，等. 基于機器視覺的獼猴桃特征參數(shù)提取[J]. 農(nóng)機化研究，2014，36（6）：138-142.

[7]蔡健榮，周小軍，李玉良，等. 基于機器視覺自然場景下成熟柑橘識別[J]. 農(nóng)業(yè)工程學(xué)報，2008，24（1）：175-178.

[8]林志瑋，丁啟祿，涂偉豪，等. 基于多元HoG及無人機航拍圖像的植被類型識別[J]. 森林與環(huán)境學(xué)報，2018，38（4）：444-450.

[9]Shin J S，Lee W S，Ehsani R . Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm[J]. Biosystems Engineering，2012，113（1）：42-53.

[10]黃小玉，李光林，馬 馳，等. 基于改進判別區(qū)域特征融合算法的近色背景綠色桃子識別[J]. 農(nóng)業(yè)工程學(xué)報，2018，34（23）：142-148.

[11]陳禮鵬，穆龍濤，劉浩洲，等. 基于獼猴桃果萼圖像的多目標果實識別方法[J]. 計算機工程與設(shè)計，2018，39（6）：1738-1744.

[12]呂繼東，趙德安，姬 偉. 蘋果采摘機器人目標果實快速跟蹤識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2014，45（1）：65-72.

[13]Yu Y，Zhang K L，Yang L，et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture，2019，163：104846.

[14]Sun S S，Jiang M，He D J，et al. Recognition of green apples in an orchard environment by combining the GrabCut model and Ncut algorithm[J]. Biosystems Engineering，2019，187：201-213.

[15]Lv J，Wang Y，Ni H，et al. Method for discriminating of the shape of overlapped apple fruit images[J]. Biosystems Engineering，2019，186：118-129.