自然環境下山核桃果實的圖像識別提取方法

摘要：研究了自然環境下成熟山核桃果實的機器視覺圖像識別方法。通過分析順光、逆光、遮擋等環境下拍攝的山核桃成熟待采時的果實圖像，確定了2R-G-B色差模型，用最佳閾值函數進行圖像分割，經形態學濾波后采用Canny算子進行邊緣檢測，提取出復雜背景下山核桃果實的輪廓。試驗結果表明，該方法對山核桃果實的有效識別率達86.7%，可為山核桃采摘機器人的研發提供技術參數。

關鍵詞：成熟山核桃果；機器視覺；圖像識別

中圖分類號：TP391.41 文獻標識碼：A 文章編號：0439-8114（2016）21-5643-03

DOI：10.14088/j.cnki.issn0439-8114.2016.21.053

The Method for Recognition and Extraction of Pecan Fruit in Natural Environment

ZHANG Yun1，2，ZHOU Su-yin1，2，ZHOU Zhu1，2

（1.School of Information Engineering，Zhejiang AF University，Lin’an 311300，Zhejiang，China；

2.Zhejiang Provincial Key Laboratory of Forestry Intelligent Monitoring and Information Technology，Lin’an 311300，Zhejiang，China）

Abstract： The image recognition method based on machine vision for mature pecan fruit in natural environment was researched.When the pecan fruit is mature，the dprofile of pecan fruit under complex background was extracted through the analysis on the images of fruit trees in direct light，backlight，shelter and other environment by using the 2R-G-B color model，adopting optimum threshold function to achieve image segmentation and selecting Canny operator for edge detection after morphological filtering. The experiment results showed that the effective recognition accuracy of the image recognition method for pecan fruit reached 86.7%，which can provide technical parameters for the research of the pecan fruit picking robot.

Key words： mature pecan fruit； machine vision； image recognition

山核桃是中國特有的一種經濟樹種，其果實經過加工是一種口味醇香獨特、廣為大眾喜愛的名優干果，具有較高的營養、保健、美容及藥用價值，主要生長在中國長江以南的浙江、安徽等省。山核桃產區雖然海拔不高地形卻通常陡峭，山核桃樹一般高5～10 m，很難通過機械方法進行采收，而白露之后的一兩周是山核桃每年僅有的采摘期，一戶人家一個星期往往需要打幾千斤的核桃[1]，危險性因此更加高。目前，一些廠家試制出的山核桃采摘機械，多是基于高速振動樹干或拍打枝條的半自動機械，對山核桃樹的損傷較大，因此有必要繼續研發山核桃智能采摘機。在機器人采摘研究方面，中國起步不久[2]，近年來國內許多高校積極介入農業機器人領域的研究，通過跟蹤國外先進技術，在機器人采摘領域內取得了初步的成果[3-9]，但針對的多為溫室或地壟中的栽培作物，無法通用于自然生長環境下的山核桃采摘，在許多關鍵技術上存在很大差異。

山核桃果既不同于果實與莖葉顏色差異較大的果蔬品種如蘋果、荔枝、柑橘等，也有著不同于獼猴桃、黃瓜等近色系果蔬的形態與顏色特征，之前鮮有針對山核桃果實分離識別方法的研究。為此，本文以自然環境下成熟山核桃果為研究對象，根據自然光下山核桃果的顏色特征選取合適的顏色模型，通過自動獲取最佳閾值函數進行圖像分割，經形態學濾波消除噪聲后采用Canny算子進行邊緣檢測，可以實現對山核桃果的有效識別。

1 圖像采集

本研究使用的圖像采集設備是三星GT-I9158相機。在各種自然光照下對多棵山核桃果樹上的成熟待采果實進行拍攝。獲取圖像的分辨率為1 152×2 048，圖像類型為JPG。之后在聯想電腦Win7系統下使用MATLAB R2010a對所獲取的圖像進行分析和處理。

2 圖像分割

2.1 選擇顏色模型

圖1為不同自然環境下拍攝的山核桃果圖像中為最具典型性的3張，轉換成各種顏色模型（包括RGB、YIQ、HSV、Ycbcr、灰度圖）進行分析比較，發現辨識度都不佳。再嘗試RGB色差模型，將R、G、B三通道的灰度圖像分離出來，通過光標讀取不同特征區域（山核桃果實、葉片、枝條、天空）的R、G、B值并分析特點，對比了2R-G-B及R-B兩種算法的結果，確定前者最為合適，轉換結果如圖2所示。

2.2 閾值分割

在進行了顏色模型變換后，需要對圖像進行二值化處理。目前，最常用和快速的圖像分割方法是閾值分割法，其基本原理是通過設定不同的特征閾值，把圖像像素點分成若干類。根據對閾值函數的不同約束，有全局、局部、動態三種類型的閾值，其中全局閾值只與點的灰度值有關，可以通過分析灰度直方圖來確定閾值[10]。Bulanon等[11]先獲得亮度Y與紅色R的差值圖像，通過計算果實與背景的類間方差最大值求得最優分割閾值；姜林等[12]通過分析R-G灰度采用Otsu閾值法對果實圖像進行分割；趙曉霞等[13]采用大津法對灰度圖像進行自動二值化處理。本研究采用的是自動獲取最佳閾值函數，先將圖像轉換成Double型，再將水平軸的閾值歸一化，經閾值分割后的圖像如圖3所示。

3 提取果實邊緣信息

3.1 圖像去噪

因為自然環境下山核桃果圖像背景的復雜性，僅運用閾值分割還不能很好地從背景中完全分離出山核桃果實區域，分割后的圖像還會有一些殘留的噪聲，這些噪聲主要是一些跟山核桃果顏色特征很相近的枝葉造成的，而圖像噪聲的存在會妨礙對圖像做進一步的分析，因此采用了形態學濾波進行去噪。先對分割后的圖像進行先膨脹再腐蝕（開運算），再進行均值濾波，就可以消除絕大部分的噪聲，得到比較干凈清晰的二值化的山核桃果實區域圖像，處理效果如圖4所示。

3.2 邊緣檢測

邊緣檢測的基本思想是通過檢測每個像元和其鄰域的狀態，如果其鄰域像元灰度值的變化比較大，說明該像元位于一個物體的邊界上。常用的邊緣檢測算子有：羅伯特（Roberts）邊緣算子、索貝爾（Sobel）邊緣算子、Prewitt邊緣算子、log邊緣算子、拉普拉斯（Laplacian）邊緣算子、坎尼（Canny）邊緣算子[10]。本研究在試驗了各種邊緣檢測算子后，確定采用Canny算子對處理后的二值圖像進行邊緣檢測，獲得的山核桃果輪廓信息如圖5所示。

對120幅圖像的試驗結果進行統計分析，圖像中遮擋面積小于50%的山核桃果實共計497個，最后能識別出特征輪廓（圓形或半圓形）的果實431個，成功率為86.7%。在這120幅圖像中，包括了各種自然光條件和視角情況，結果表明，本文采用的識別算法能很好地去除樹枝、樹葉、天空、土地等復雜背景，在逆光（仰視）、果實無遮擋的情況下輪廓提取得最完整，在順光（俯視）和有遮擋時輪廓提取不完整，甚至失去果實的基本特征產生誤識別。分析原因，可能是山核桃果實表面的棱狀突起以及色斑會在順光條件下產生陰影區和色差，在陽光強烈時球狀果實還會出現局部的強反射光，在識別結果中就會產生各種變形，造成誤識別。后續可以通過建立形態特征模型對已提取的山核桃果實輪廓做進一步的修正，此部分研究工作正在進行中。

4 小結

研究了自然環境下成熟山核桃果實的圖像識別方法。利用2R-G-B色差模型對原始圖像進行灰度化處理，采用最佳閾值函數進行二值化處理，通過Canny算子進行邊緣檢測，提取了山核桃果實的特征輪廓。試驗結果表明，該方法能準確提取山核桃果實特征輪廓，其有效識別率達86.7%，可有效消除樹枝、樹葉、天空、土地等復雜背景的影響，證明該方法可以基本滿足現場采摘作業的需要，可為今后山核桃智能采摘機機器視覺系統的研發提供理論基礎。

參考文獻：

[1] 杜香莉，郭軍戰，馮 汀.我國核桃資源的綜合利用研究[J].西北林學院學報，2003，18（3）：82-85.

[2] 呂繼東，趙德安，姬 偉，等.開放分布式蘋果采摘機器人控制系統研究及實現[J].小型微型計算機系統，2012，33（2）：289-292.

[3] 錢少明，楊慶華，王志恒，等.黃瓜抓持特性與末端采摘執行器研究[J].農業工程學報，2010，26（7）：107-112.

[4] 司永勝，喬 軍，劉 剛，等.蘋果采摘機器人果實識別與定位方法[J].農業機械學報，2010，41（9）：148-153.

[5] 熊俊濤，鄒湘軍，陳麗娟，等.荔枝采摘機械手果實識別與定位技術[J].江蘇大學學報（自然科學版），2012，33（1）：1-5.

[6] 丁亞蘭，耿 楠，周全程.基于圖像的獼猴桃果實目標提取研究[J].微計算機信息，2009，25（18）：294-295.

[7] 呂 強，蔡健榮，趙杰文，等.自然場景下樹上柑橘實時識別技術[J].農業機械學報，2010，41（2）：185-188.

[8] 張亞靜，李民贊，劉 剛，等.基于機器視覺和信息融合的鄰接蘋果分割算法[J].農業機械學報，2009，40（11）：180-183.

[9] 崔永杰，蘇 帥，呂志海，等.基于Hough變換的獼猴桃毗鄰果實的分離方法[J].農機化研究，2012，34（12）：166-169.

[10] 秦襄培.MATLAB圖像處理與界面編程寶典[M].北京：電子工業出版社，2009.

[11] BULANON D M，KATAOKA T，OTA Y，et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J].Biosystems Engineering，2002，83（4）：405-412.

[12] 姜 林，陳德鳳，潘 聰，等.不同形狀植物成熟果實的識別提取方法[J].科學技術與工程，2012，12（21）：5135-5143.

[13] 趙曉霞，張鐵中，陳兵旗，等.自然環境下桃子圖像分割算法[J].農機化研究，2009，31（2）：107-111.