賀詢
(華北水利水電大學機械學院,河南 鄭州 450045)
水果識別中圖像特征綜述
賀詢
(華北水利水電大學機械學院,河南 鄭州 450045)
圖像特征是水果識別的關鍵,也是研究采摘機器人的基礎。本文對水果圖像的特征進行分析,介紹了顏色、形狀、紋理等具有代表性的圖像特征,并闡述了各個圖像特征的應用情況,最后探討圖像特征研究中存在的問題和發展趨勢,以期為相關學者提供參考。
水果識別;顏色特征;形狀特征;紋理特征
隨著機器人技術與計算機視覺技術的逐漸成熟,目前已經有不同類型的水果采摘機器人試驗樣機被研發出來。機器人進行水果采摘的首要工作是進行目標果實的識別。目前,較為普遍的識別流程主要包括圖像采集、圖像預處理、圖像分割、特征提取及圖像識別等。圖像采集與預處理是指獲取圖像并進行圖像增強等簡單的預處理,相關技術已經較為成熟。圖像分割、特征提取、圖像識是使水果從背景圖像中識別并分割出來。這些工作主要依靠目標果實的圖像特征,對圖像特征的研究是進行水果識別研究的關鍵。本文主要針對水果具有的圖像特征進行研究,并介紹水果識別中圖像特征的研究現狀。
特征是一個對物體進行描述的量,任何識別算法都需要選取一個好的特征,這是確保算法有效的關鍵[1]。圖像特征是識別方法中的重要組成部分,優秀的圖像特征使物體對象在特征空間中具有較好的分離性,從而減輕算法的負擔,達到事半功倍的效果[2]。在水果識別中應用較多的特征主要有顏色特征、形狀特征、紋理特征等。
采摘機器人采集到圖像一般由未成熟水果、成熟水果、枝葉、天空、土壤等主要因素構成,成熟水果的顏色與其他因素具有明顯不同,因此,可以利用顏色特征同來區分目標與背景。顏色特征是一種全局特征,描述了圖像區域所對應的景物的表面性質。顏色特征的描述是建立在顏色空間的基礎上并反映各個像素點的信息。
2.1.1 顏色空間。在進行顏色特征的選擇前,需要進行顏色空間的選擇[3]。為了更有效區分目標對象與背景,需要選擇不同的顏色空間。但目前,還沒有任何一種顏色空間適用于所有彩色圖像,因此選擇最佳的色彩空間是一個難題[4]。當前較常見的顏色空間主要有:RGB、HSI、HSV、Lab、YIQ、YCgCr、YcbCr、CIE等。
2.1.2 顏色空間的選擇。在顏色空間選擇問題上,目前主要有兩種解決方案,一種是選擇單一的顏色空間,以其中的一個或者多個顏色分量為顏色特征。徐惠榮[5]等進行了樹上柑橘的識別研究,通過R-B顏色特征將果實從背景中分割出來。石雪強[6]等在蘋果采摘機器人的研究中選擇Lab顏色空間,最終得到了理想的分割效果。
另一種解決方案是通過對一個或多個顏色空間的若干顏色分量進行組合。謝忠紅[7]在研究中通過BP神經網絡得到以H、Cr(YCgCr)、Cr(YCbCr)、R-G、2R-G、Cb-Cr這6個特征組成的顏色特征組對桃子具有較高識別率,以H、Cr(YCgCr)、Cr(YCbCr)、R-G這4個特征組成的顏色特征組實現對蘋果的高效識別。Arefi[8]等通過選擇0.25G-H的特征組合進行番茄果實的圖像分割并取得良好效果。
以上兩種顏色空間的選擇方法各有優劣,選擇單一顏色空間進行圖像分割具有運算量小、運算速度快的特點。而以多種顏色空間的不同顏色分量進行組合構建具有更高的識別率與更好的分割效果,但在構建顏色特征組合時較為困難。
2.2.1 形狀特征。由于水果、枝干等都有其特定的外形,可以通過形狀特征的不同來識別水果。形狀特征是一種局部特征,其對象是目標區域內像素點的數目及位置。
2.2.2 形狀特征的選擇。對形狀特征的描述沒有統一的定義,只要可以反映目標的外形并能有效區分目標與背景之間差異的特征參數都可以作為描述目標的形狀特征。但由于進行特征描述的圖像是經過一系列處理后的圖像,因此,要求選擇具有RST不變性的特征參數,并確保這些參數對圖像的旋轉、比例、平移變化都是恒定的。常用的形狀特征有:面積、周長、直徑、曲率、圓形度、伸長度、離散度、圓度、圓方差等。上述特征參數中的圓形度、離散度、圓方差和離散度等滿足RST不變性的要求。
王玉翰[9]在研究中選取圓方差、離散度、伸長度等作為形狀特征,取得了良好的識別效果。張志強[10]等選取面積、周長、圓形度和離心率等形狀特征進行蘋果的圖像分割,果實識別率高達89.3%。王玉飛[11]等在研究中把圓形度、凹度和矩形度作為形狀特征參數對番茄進行識別實驗,正確識別率達90%以上。
在圖像識別的研究中,紋理一般是指圖像像素灰度呈現出的空間分布特性,紋理特征則是從圖像中計算出一個對這一特性進行量化描述的值。紋理對區域內的像素點進行統計計算,其中包含有大量微觀和宏觀信息。目前,常用的紋理特征提取方法有矩分析法、基于灰度共生矩陣方法、基于小波變換方法等。不同的提取方法可以獲得不同的紋理特征參數。例如,通過矩分析法獲得的均值、方差、峰值、扭曲度、熵等參數;通過灰度共生矩陣方法定義的紋理特征主要有對比度、能量、逆差分矩、距離中心趨勢、相關性等[12]。
鄭向陽[13]等通過計算基于能量、信息熵及對比度的紋理特征來進行水果定位。謝忠紅[14]等基于灰度共生矩陣的熵和能量這兩個紋理特征進行水果與葉子的分割,取得了良好的效果。由于紋理特征容易受圖像分辨率、光照等因素影響,因此,在研究中單獨利用紋理特征容易產生較大誤差,通常還需要與其他圖像特征結合來提高識別效率。
水果識別圖像特征的研究工作已經進行了數十年并取得了較大成果,但依然存在一些影響水果識別準確率的問題。例如,農業環境存在光照變化、振動、風、霧、雨水等影響因素對所采集圖像的質量和圖像特征都會產生負面影響。
隨著研究的進一步深入,不斷有新的圖像特征被開發研究出來,如光譜特征、空間關系特征、分形特征等。同時,為了提高識別的準確率,多種圖像特征的融合技術成為未來的發展方向。圖像特征的研究是實現水果自動化采摘的基礎,進行相關研究對農業現代化具有重要意義。
[1] H Okamoto,WS Lee.Green citrus detection using hy?perspectral imaging[J].Computers and Electronics in Agricul?ture,2009(2):201-208.
[2] 王利明.機器視覺中物體識別方法的研究與探討[D].上海:復旦大學,2009.
[3] 項榮,應義斌,蔣煥煜,等.田間環境下果蔬采摘快速識別與定位方法研究進展[J].農業機械學報,2013(11):208-223.
[4] 呂新廣,趙美京.CIE LAB色度空間的均勻性研究[J].鄭州大學學報(理學版),2002(1):69-73.
[5] 徐惠榮,葉尊忠,應義斌,等.基于彩色信息的樹上柑橘識別研究[J].農業工程學報,2005(5):98-101.
[6] 石雪強,程新文.蘋果采摘機器人視覺系統的目標提取研究[J].農機化研究,2013(10):46-48.
[7] 謝忠紅.采摘機器人圖像處理系統中的關鍵算法研究[D].南京:南京農業大學,2013.
[8] Arefi A,Motlagh A M,Mollazade K,et al.Recogni?tion andlocalization of ripen tomato based on machine vision[J].AustralianJournal of Crop Science,2011(10):1144.
[9] 王玉翰.基于雙目立體視覺的番茄識別與定位技術研究[D].杭州:浙江大學,2012.
[10] 張志強,張惠莉.基于神經網絡和圖像顏色、形狀特征的綠色蘋果圖像分割[J].農業網絡信息,2013(10):20-23.
[11] 王玉飛,尹建軍,仲蘇玉,等.基于特征分析的番茄識別及其軟件的快速開發[J].計算機工程與設計,2011(11):3824-3827.
[12] 黃志開.彩色圖像特征提取與植物分類研究[D].合肥:中國科學技術大學,2006.
[13] 鄭向陽,何倩.基于信息熵原理的水果定位檢測方法[J].計算機仿真,2012(4):279-281.
[14] 謝忠紅,郭小清,姬長英,等.基于顏色模型和紋理特征的彩色水果圖像分割方法[J].計算機工程與科學,2010(1):64-66.
Overview of Image Features in Fruit Recognition
He Xun
(Machinery College,North China University Of Water Resources And Electric Power,Zhengzhou Henan 450045)
Image feature is the key of fruit recognition,and also the basis of picking robot.This paper ana?lyzed the characteristics of fruit image,introduced the image features of color,shape,texture and other rep?resentative,and described the application characteristics of each image,finally discussed the existing prob?lems and the development trend of image features,in order to provide reference for relevant scholars.
fruit recognition;color feature;shape feature;texture feature
TP391.41
A
1003-5168(2017)11-0034-02
2017-10-09
賀詢(1992-)男,碩士在讀,研究方向:采摘機器人視覺及控制系統。