自然背景下計算機視覺技術在西紅柿采摘中的應用

李思廣

(周口職業(yè)技術學院，河南 周口 466000)

?

自然背景下計算機視覺技術在西紅柿采摘中的應用

李思廣

(周口職業(yè)技術學院，河南 周口 466000)

針對西紅柿種植過程中，采摘費時費力的問題，將計算機視覺技術與圖像處理和模式識別技術相結合，開發(fā)了在自然背景條件下的西紅柿自動識別系統(tǒng)。運用雙目立體視覺系統(tǒng)來識別紅色西紅柿，去除原始圖像的噪聲、轉(zhuǎn)換圖像的灰度、對新圖像進行分割和目標特征提取，從背景中把西紅柿分離出來；同時，針對果實間存在的重疊問題，采用圓形Hough變換算法，提取西紅柿的圓心坐標和半徑特征，通過獲取T=Sqrt(s×l)圖像，恢復被遮擋西紅柿。利用該技術，采集了不同條件下的100張西紅柿照片，其中99張照片被準確識別，識別率達到99%以上，能夠較好地滿足西紅柿采摘工作的要求。

雙目立體視覺；自動識別；定位；西紅柿；采摘

0 引言

果蔬采摘作業(yè)有較強季節(jié)性，通常集中在成熟階段較短時間內(nèi)。采摘作業(yè)耗時費力，屬于高度勞動密集型工作，在收獲期間所需的人力占到整個種植過程的50%以上。進行果蔬采摘作業(yè)時，所收獲果蔬的品質(zhì)好壞，會直接影響到果蔬在后續(xù)的儲存運輸、食品加工和銷售等環(huán)節(jié)，并最終影響果蔬本身的市場價格。我國農(nóng)業(yè)生產(chǎn)的自動化和智能化程度較低，目前國內(nèi)果蔬采摘工作基本上是靠人工完成。但是，隨著國民社會經(jīng)濟的高速發(fā)展、城鎮(zhèn)化進程加快和人口老齡化加速,很多國家都出現(xiàn)或面臨著農(nóng)業(yè)生產(chǎn)勞動力嚴重短缺問題,導致農(nóng)業(yè)生產(chǎn)經(jīng)濟成本提高，不利于農(nóng)業(yè)生產(chǎn)活動的良性發(fā)展。另外，不同采摘者的經(jīng)驗素質(zhì)各異，對果蔬品質(zhì)的評判標準不一，也影響了對果蔬的分級加工和銷售。因此，實現(xiàn)果蔬采摘作業(yè)的智能化和自動化，是解決勞動力不足、降低農(nóng)業(yè)生產(chǎn)成本、提高農(nóng)業(yè)生產(chǎn)效率的有效途徑[1]。

近年來，國內(nèi)外計算機視覺技術和人工智能控制技術得到了快速發(fā)展，特別是在果蔬采摘、農(nóng)產(chǎn)品質(zhì)量分級檢測[2]、植物病蟲害識別[3]和植物生長信息監(jiān)測[4]等領域。美國學者Schertz和Brown于1968年首次提出將機器人技術運用在果蔬采摘作業(yè)上，之后日本、法國、意大利、美國、英國等國家在這方面做了大量研究，并成功研制出西紅柿、茄子、茶葉、草莓、黃瓜、蘑菇和蘋果等智能采摘機器人。我國對采摘機器人的研究開始于20世紀90年代中期，隨后在各大院校學者的積極努力下得到了快速發(fā)展[5]。目前，我國西紅柿智能采摘作業(yè)的研究主要集中在各類視覺系統(tǒng)開發(fā)及圖像處理軟件等方面，但尚處于起步階段，應用并不廣泛[6-7]。本研究針對西紅柿種植過程中采摘費時費力的問題，利用雙目立體視覺系統(tǒng)來識別紅色西紅柿，結合圓形Hough變換算法，提取西紅柿的圓心坐標和半徑等特征，提高目標定位精度。該技術的開發(fā)應用可以解決西紅柿采摘過程中存在的多果重疊問題，同時能提高西紅柿的采摘效率，降低種植成本。

1 目標的識別與定位

1.1 識別原理

計算機視覺系統(tǒng)是由光照箱、攝像頭、圖像采集卡及計算機軟硬件等部分組成，利用視覺傳感器獲取目標物體的二維圖像，再將圖像信號轉(zhuǎn)換為一系列數(shù)據(jù)矩陣，經(jīng)過計算機的統(tǒng)計分析，完成對目標物體的識別。

雙目立體視覺是計算機視覺的一種重要形式，主要通過成像設備從兩個不同位置觀察相同物體，獲取目標物體不同角度兩幅圖像，通過計算圖像像素對應點的坐標偏差，獲取目標物體三維坐標信息，實現(xiàn)對目標物體的定位。

本研究所采用的雙目立體視覺系統(tǒng)是由左右兩個攝像頭組成，構建以左目坐標為基礎的三維坐標系，找到其在右攝像頭像面上對應點，計算出該像素點的空間坐標。

2 圖像處理

2.1 圖像的獲取

左右兩個攝像頭通過視頻采集卡與計算機相連，采集目標物體圖像的數(shù)字信號，在計算機的控制下完成二維圖像的輸入及信號數(shù)字化工作。

2.2 圖像的預處理

對計算機得到的二維圖像進行預處理，分離目標圖像與背景圖像，使計算機更容易識別圖像中的目標物體。

2.2.1 圖像噪聲的去除

中值濾波法可有效消除圖像中的孤立的噪聲點干擾，同時可以保護圖像的輪廓邊界，避免圖像邊界模糊。因此,本文采用該法對原始二維圖像進行平滑處理，去除噪聲，提高圖像質(zhì)量。

2.2.2 圖像灰度化

為增加目標圖像與背景圖像的對比度，避免目標與背景區(qū)域的相互重合，需對原始的西紅柿圖像進行灰度化處理。圖像灰度化處理時常用的是RGB顏色系統(tǒng)。

在RGB顏色系統(tǒng)中,R、G、B分別表示彩色數(shù)字圖像中紅、綠、藍三基色的亮度值,圖像中每個像素的顏色信息存在于3個基色的分量中，改變?nèi)珨?shù)值,可以混合出不同色彩。圖像中每個像素都有一個色度坐標(r,g,b),坐標軸上的3個頂點表示RGB 3種基色，原點(0,0,0)對應黑色，頂點(1,1,1)對應白色；亮度值取值區(qū)間為[0，255]，三色數(shù)值相同時為灰度色，而黑色與白色的連線為灰度級。

一副圖像由彩色變?yōu)榛叶群螅瑢c的灰度值為b=0.3B+0.59G+0.11R。

2.2.3 圖像分割

為了有效分析目標圖像，需對圖像進行分割，提取圖像中的意義的特征，除去背景干擾，最大限度將西紅柿本身圖像從背景環(huán)境中“抓取”出來，以提高量化特征值的準確性。

本文采用圖像閾值分隔法，對圖像按照灰度分級；通過設定合適的閾值，將像素集合進行區(qū)域劃分，各區(qū)域內(nèi)部及其相鄰區(qū)域均具有一致性屬性。

圖像分割處理后，整個西紅柿基本被分離出來，但需要對一些誤判的像素進行進一步處理。對于目標果實內(nèi)部一些黑洞，可以以像素為單位，計算所有單連通區(qū)面積。當單連通區(qū)面積小于設定閾值時，可作為噪聲去除。

2.2.4 果實特征的提取

正確識別西紅柿位置是完成采摘任務的基礎和關鍵，西紅柿外形接近圓形，可通過確定西紅柿圓心位置來確定西紅柿的采摘點。

本文通過圓形Hough變換采集目標物特征，即西紅柿中心圓點位置。Hough變換是利用圖像坐標空間變換，將識別目標西紅柿問題轉(zhuǎn)化為空間坐標系中點的聚類問題。通過該算法得到的擬合圓半徑和西紅柿半徑基本吻合。

2.2.5 目標特征的提取

西紅柿生長時，經(jīng)常會出現(xiàn)相互重疊和遮擋現(xiàn)象，如何順利實現(xiàn)采摘重疊和遮擋的西紅柿，是目前計算機視覺識別技術關鍵問題之一。

西紅柿接近圓形，對西紅柿的最小外接矩形邊長閾值進行檢測，當長寬比超過1.4時，可以判定西紅柿存在重疊。重疊時，對閾值分割后的彩色圖像進行灰度化，T=Sqrt(S×I)，其中S和I是HSI顏色系統(tǒng)中飽和度和亮度，Sqrt為開方運算。然后，再通過邊緣檢測，將得到的新圖像進行3次腐蝕和膨脹運算，將重疊或粘連部分分開，最后進行特征提取處理。

3 成熟西紅柿的視覺檢測試驗

利用上文所述的判別方法，對識別紅色西紅柿進行檢測。本試驗共進行100張西紅柿圖像的處理，這些圖像均為不同條件下拍攝所得。每個圖片中的西紅柿數(shù)目在1～10個之間，大小不同，成熟的程度各異，在空間上隨機分布。經(jīng)過試驗，其中99張被快速準確識別，識別率在99%以上，對于被部分遮擋的，識別率在98.36%；無遮擋的，識別率在100%，具體試驗結果如表1所示。

表1 成熟西紅柿的識別試驗

4 結論

利用雙目立體視覺系統(tǒng)對紅色西紅柿進行識別和定位，對原始圖像進行去噪聲處理，圖像灰度化，并對新圖像進行圖像分割和目標特征提取，將西紅柿從背景中分離出來進行定位；采用圓形Hough變換算法，提取西紅柿的圓心坐標和半徑特征，通過獲取T=Sqrt(s×l)圖像，提取重疊果實邊界，實現(xiàn)果實特征提取。試驗結果表明：該系統(tǒng)對成熟西紅柿的識別率在99%以上，能夠較好地滿足西紅柿采摘工作的要求，降低西紅柿種植時的采摘成本。

目前，計算機視覺技術隨著新的圖像處理、數(shù)據(jù)處理技術的升級而得到了進一步的發(fā)展，在西紅柿的采摘過程中也得到較多的應用。后續(xù)針對智能機器人在西紅柿的種植應用過程中的問題，還需從機器采摘過程中降低對果實的損傷率、增強機器人系統(tǒng)的通用性和實用性等方便做進一步的完善。

[1] 姜麗萍，陳樹人.果實采摘機器人的研究綜述[J].農(nóng)業(yè)裝備技術,2006,32(1):8-10.

[2] 羅雪寧，倪明航，彭云發(fā)，等.淺談計算機視覺技術在果蔬外觀品種檢測中的應用[J].新疆農(nóng)機化,2014(4):14-17.

[3] 柴阿麗，李寶聚，石延霞，等.基于計算機視覺技術的番茄葉部病害識別[J].園藝學報,2010,37(9):1423-1430.

[4] 吳艷兵，樊啟洲，鄭健，等.計算機圖像處理技術在溫室黃瓜幼苗生長信息檢測中的應用 [J].湖南農(nóng)機,2007(3):7-10.

[5] 張杰，李艷文.果蔬采摘機器人的研究現(xiàn)狀、問題及對策[J].機械設計,2010,27(6):1-4.

[6] 郭凱敏，崔天時，張楨，等.西紅柿采摘機器人視覺系統(tǒng)的研究[J].農(nóng)機化研究,2016,38(12):217-226.

[7] 董坦坦，姬長英，周俊，等.成熟番茄的圖像識別及其位姿的獲取研究[J].江西農(nóng)業(yè)學報,2009,21(8):152-155.

[8] 張瑞合，姬長英，沈明霞，等.計算機視覺技術在番茄收獲中的應用[J].農(nóng)業(yè)機械學報,2001,32(5): 50-52，58.

Application of Computer Vision Technology in Tomato Picking under Natural Background

Li Siguang

(Zhoukou Vocational and Technical College,Zhoukou 466000,China)

Computer vision technology is an important branch of computer technology. It has been widely used and developed from the beginning of last century. According to the picking time-consuming problem during tomato planting, the combination of computer vision technology and image processing and pattern recognition technology, developed under natural background condition of tomato automatic identification and picking method.Using binocular stereo vision system to identify the red tomatoes, removal of the original image noise,image conversion of gray,the new image of segmentation and target feature extraction, from the background to isolate the tomatoes; and according to the fruit of overlapping problem, using circular Hough transform algorithm, extraction tomatoes of the center coordinates and radius of the characteristics,through T=Sqrt (s x L) image acquisition, the restoration of occlusion tomatoes.Using this technique,100 tomato pictures were collected under different conditions, the 99 pictures were identified accurately and the recognition rate reached 99%, which could meet the requirements of the tomato picking.The development and application of this technology can improve the picking efficiency and reduce the production cost.

binocular stereo vision; automatic recognition; orientation; tomato; picking

2016-06-06

河南省高等學校重點科研項目(15B520047)

李思廣(1965-)，男，河南沈丘人，副教授，碩士，(E-mail)lisiguang@163.com。

S126;TP391.41

A

1003-188X(2017)07-0201-03