蘋果采摘機器人系統研究—基于AI的Retinex算法

陳 超,劉瑰潔,李 鋒

(1. 廣州鐵路職業技術學院,廣州 510000;2.廣東潤石信息技術有限公司,廣州 510000)

0 引言

隨著人工智能AI(Artificial Intelligence)的出現,系統已經開始向智能化、自主化轉變,且發展最為迅速的是果園水果類采摘類系統。由于當今對水果的需求量不斷增加,涌現了很多大面積的果園。當果實成熟時,傳統的人工采摘已經滿足不了市場需求,故借助AI平臺并利用智能采摘機器人進行采摘已經成為當下較為流行的作業方式。在采摘作業過程中,視覺系統需要實時采集果實圖像,一方面由AI平臺通過通信系統傳回監控中心,方便遠程人員隨時了解現場情況[1];另一方面用于自身數據處理,以便確認是否符合采摘要求。

果園采摘時,由于陰天、沙塵、或夜晚光線不足等因素的影響,使得視覺系統采集的圖像質量差,出現光線偏暗、模糊、失真、噪聲等問題[2]。這不僅嚴重影響遠程監控人員對現場的判斷,而且系統在圖像處理過程中會因無法判斷或錯誤判斷而導致采摘失敗。

為了解決上述問題,筆者對蘋果采摘機器人視覺系統采集的圖像進行Retinex增強和雙邊濾波去噪處理,以改善圖像質量。另外,對處理后的圖像提出新的分割識別算法,以便能夠高效、迅速地識別蘋果,實現真正的高效、精準、智能采摘作業。

1 蘋果采摘機器人視覺系統

采摘系統的圖像采集屬于機器視覺的部分,即通過計算機代替人眼對目標物體進行測繪。首先,通過視覺傳感器獲取目標圖像,再將圖像轉化為數字信號;然后,將數字信號傳送至某種芯片中,最后模擬人眼進行測量和判斷。蘋果采摘系統在進行圖像采集時,使用CCD或CMOS攝像機對蘋果圖像進行采集[3],采集的圖像存儲在采集卡中;計算機先對存儲的蘋果圖像進行去噪、增強預處理,再依據蘋果特征對圖像進行分割識別,最后輸出執行命令,使采摘機器人開始采摘作業[4]。在整個采摘過程中,只有保證采集的圖像清晰、明亮,圖像中蘋果的定位才能夠準確,采摘機器人才能夠精確地采摘蘋果。因此,視覺系統的圖像采集是采摘作業成功與否的前提與關鍵,其組成結構如圖1所示。

圖1 視覺系統組成結構Fig.1 Structure of vision system

2 蘋果圖像預處理

工業攝像機采集的蘋果圖像由于陰天、沙塵、光線不足等原因,出現模糊、噪聲等缺陷。為了后期采摘過程中能夠更為精確地識別目標果實,需要對原始圖像進行預處理。預處理包括圖像增強和圖像去噪兩方面:針對圖像的模糊缺陷,利用Retinex算法進行效果增強處理;針對圖像攜帶的噪聲,借助最常用的去噪方法進行效果對比與分析。

2.1 圖像增強—Retinex算法

選用Retinex算法進行圖像增強處理。Retinex理論表明:物體的色彩是由其對紅色、綠色、藍色光線的反射程度決定的,而不是由反射光強度的來決定;物體的色彩具有一致性,即Retinex是以色感一致性(顏色恒常性)為基礎的,其原理是將入射光照射在反射物體上,形成反射光進入觀察者眼睛[5]。具體原理如圖2所示。

圖2 Retinex理論模型圖Fig.2 Retinex theoretical model diagram

圖2中,定義S(x,y)為原始圖像,R(x,y)為反射部分圖像,代表了圖像的內在屬性;L(x,y)為入射部分圖像(又稱亮度圖像),決定了圖像像素能達到的動態范圍[6],則它們的關系可表示為

S(x,y)=R(x,y)·L(x,y)

兩邊進行對數運算可得

log[S(x,y)]=log[R(x,y)·L(x,y)]

提取反射部分圖像可得[7]

R(x,y)=exp[log[S(x,y)]-log[L(x,y)]]

根據上述計算公式,Retinex算法的核心過程如圖3所示。

圖3 Retinex算法過程Fig.3 Retinex algorithm process

利用Retinex理論對圖像進行增強的本質是去掉入射圖像分量,盡可能提取反射圖像[8]。通常Retinex算法可分為單尺度SSR算法、多尺度加權平均MSR算法及彩色恢復多尺度MSRCR算法3類[9]。本文使用單尺度SSR算法,其實現流程如下:

1)輸入原始蘋果圖像S(x,y),將圖像的每個顏色分類處理,將每個分量的像素值由整數值轉換為浮點數值,并轉換到對數域中;

2)根據Retinex的基本公式,得到反射圖像R(x,y);

3)將R(x,y)從對數域轉換到實數域得到的圖像值設為r(x,y);

4)對r(x,y)進行線性拉伸處理,得到最終圖像增強結果并顯示。

2.2 圖像去除噪聲

借助差影法,通過長時間收集對比發現,采集的圖像最常見的噪聲為高斯噪聲。所謂的高斯噪聲,是指其概率密度函數服從高斯分布(即正態分布)的一類噪聲。去除高斯噪聲常見的方法均值濾波、高斯濾波、中值濾波以及雙邊濾波等[10]。

1)均值濾波是典型的線性濾波算法,它是指用當前像素點周圍N×N個像素值的均值來替代當前像素值。針對邊緣像素點,可以只取圖像內存在的周圍鄰域點的像素值均值[11]。

2)高斯濾波是一種線性濾波,是對整幅圖像進行加權平均的過程,每個像素點的值由其本身和鄰域內其它像素值經過加權平均后得到。

3)中值濾波是指用像素點鄰域灰度值中的中值來代替該像素的灰度值,對于消除孤立的噪聲點非常有效[12]。

4)雙邊濾波同時使用空間高斯權重和灰度值相似性高斯權重。空間高斯函數確保只有鄰近區域的像素對中心點有影響,灰度值相似性高斯函數確保只有與中心像素灰度值相近的才會被用來做模糊運算。

2.3 圖像預處理效果

經過圖像增強和圖像去噪預處理后的效果如圖4所示。其中,圖4(a)為工業相機在臨近夜幕時拍攝的圖像,相對光線較暗,圖像較為模糊;圖4(b)為采用Retinex算法圖像增強后的效果圖,圖像更加明亮,顏色層次更為明顯;圖4(c) ～(f)為圖像去噪后的效果圖;圖4(c)為均值濾波效果;圖4(d)為高斯濾波效果;圖4(e)為中值濾波效果;圖4(f)為雙邊濾波效果。通過對比發現:經過雙邊濾波處理的蘋果圖像,細節更加清晰,圖像更加飽滿。因此,選用雙邊濾波算法進行去噪處理。

圖4 圖像預處理效果圖Fig.4 Image preprocessing rendering

3 蘋果圖像分割識別

在對蘋果圖像進行增強處理后,需要依據蘋果特征來分割識別蘋果的位置。在自然界采集到的蘋果圖像中,除了蘋果之外,還包含樹枝、樹葉、外界背景等等。這些與成熟的蘋果之間最明顯的區別就是顏色,成熟的蘋果為紅色,故可以用顏色分割法提取出紅色所在區域,即為蘋果的位置。

從圖像的色彩空間來說,色彩是以R(紅色分量灰度值)、G(綠色分量灰度值)、B(藍色分量灰度值)為基礎的,R、G、B∈(0,255)。因此,圖像中的任意色彩都可以由M表示,而M由R、G、B不同組合而成[13],即

M=(R,G,B)

通常紅色的R分量肯定大于G分量與B分量,樹枝、樹干或者其他顏色的R分量則小于G分量與B分量。根據此特點,可以利用顏色分割法提取成熟蘋果的區域,具體的表達式為

其中,L為分割后的圖像灰度值;k為色差系數。

為了觀察不同色差系數的分割效果,分別取k的值為0.6、0.8、1.0,則得到的灰度分割圖像如圖5所示。

圖5 圖像分割效果圖Fig.5 Image segmentation rendering

由圖5可以看出:當色差系數k=0.8時,蘋果圖像的分割效果最好,基本能夠完整地保留成熟水果的形狀[14]。

在得到蘋果分割圖像后,基本能確認蘋果的位置,但采摘機器人在采摘過程中需要確認蘋果的大小來確定采摘爪的張合程度,故需要對蘋果的圓心和半徑進行提取。借助Canny邊緣檢測算法,檢測蘋果的輪廓,檢測到的效果如圖6(a)所示。然后,利用最小圓包裹目標蘋果的輪廓二維點集的方法來提取圖像中已經分割好的蘋果的半徑和圓心坐標,如圖6(b)所示。其中,識別蘋果的半徑為36.4mm,圓心的坐標為(40.2,76.3)。

圖6 蘋果輪廓和定位圖Fig.6 Apple outline and location map

值得注意的是,上述方法只適用于被樹葉或者樹干遮擋面積不超過50%的蘋果。當遮擋的面積超過50%時,可以在采摘機器人變換到其他角度時進行采摘[15]。

4 結果測試分析

為了驗證所述視覺系統的實用性,運用BlackflyBFLY-U3-13S2C工業相機在自然條件下對果園的紅富士蘋果樹進行不同角度的圖像采集,每張圖像的像素為200×200。隨機抽取其中50張做視覺識別試驗,則對圖像識別結果如表1所示。

由表1可以看出:設計的視覺系統對圖像識別的正確率為86%,平均識別時間為2.4s左右,基本能夠滿足采摘機器人在采摘作業時高效快速識別的需求。

另外,蘋果一般根據果實的直徑進行劃分。優質紅富士直徑為85～95mm 、一級紅富士為75～85mm 、二級紅富士為65～75mm[16],識別結果如表2所示。

表2 蘋果數量識別結果Table 2 Identification results of Apple number

由表2可以看出:采集的50張圖像中的紅富士蘋果總數量為112個,除14個由于樹葉等遮擋不能識別的蘋果之外,剩余的98個蘋果中有91個能夠被識別,正確率高達92.8%,并對識別的蘋果進行了分類統計,為后期的包裝等提供依據。

5 結論

針對蘋果采摘機器人視覺系統采集的圖像,使用Retinex算法進行效果增強處理,采取雙邊濾波去除噪聲,并就圖像中的蘋果進行分割識別。試驗結果表明:系統很好地解決了由于環境干擾引起的圖像偏暗、模糊、噪聲等問題,提高了視覺系統正確識別蘋果的概率,為采摘機器人精準、高效、智能的采摘作業打下基礎,也為后續智慧農業的發展提供了理論參考。