























摘要:自然環境下青椒與葉片和莖稈的顏色較為相似,為提高青椒采摘機器人在自然環境下對青椒果實的識別效率和采摘精度,提出一種基于顏色和紋理特征的青椒識別方法,在自然環境下可以達到較好的識別效果。首先,將青椒圖像由RGB轉換為HSV顏色空間,經過對比分析S-V分量顏色差異能夠突出果實,去除部分復雜背景;然后,再提取青椒 LBP特征和 HOG特征,建立單特征和多特征融合模型;最后,使用不同的分類器SVM、AdaBoost進行特征訓練,找出最適合青椒識別的分類算法。試驗結果表明:LBP+HOG+AdaBoost算法的識別準確率達到99.3%,均優于其他模型。可為青椒采摘機器的智能識別提供研究基礎。
關鍵詞:青椒識別;SVM;AdaBoost;顏色特征;紋理特征
中圖分類號:S641.3
文獻標識碼:A
文章編號:2095-5553(2024)12-0187-06收稿日期:2022年5月28日
修回日期:2023年7月31日
*基金項目:貴州省科技計劃項目(黔科合平臺人才[2019]5616);貴州省農業產業技術體系建設專項
第一作者:張珍,男,1997年生,四川遂寧人,碩士研究生;研究方向為農業信息化、圖像處理。E-mail: zhang2439360344@163.com
通訊作者:吳雪梅,女,1975年生,貴州遵義人,博士,副教授;研究方向為智能農業裝備及制造技術。E-mail: xm_wu@163.com
Green pepper recognition based on color and texture characteristics
Zhang Zhen, Wu Xuemei, Huang Huacheng, Wu Xuejun, Zhang Dabing
(School of Mechanical Engineering, Guizhou University, Guiyang, 550025, China)
Abstract: In order to improve the recognition efficiency and picking accuracy of the green pepper picking robot on the green pepper fruit in the natural environment, a green pepper recognition method based on the color and texture characteristics is proposed, and the conventional RGB color camera can achieve a better recognition effect in the natural environment by using the conventional RGB color camera. Firstly, the green pepper image is converted from RGB to HSV color space, and after comparative analysis of the color difference of the S-V component, the fruit can be highlighted, the complex background can be removed, and then the LBP features and HOG features of the green pepper are extracted, a single feature model and a multi-feature fusion model are established, and different classifier SVM and AdaBoost are used for feature training to find out the classification algorithm that is most suitable for green pepper recognition. Experimental results show that the recognition accuracy of LBP+HOG+AdaBoost algorithm reaches 99.3%, which is better than other models. This study can provide a research basis for the intelligent identification of green pepper picking machines.
Keywords: green pepper recognition; SVM; AdaBoost; color characteristics; texture characteristics
0 引言
辣椒種類繁多,按照顏色可分為青椒、紅椒以及彩椒,其中,青椒在我國多個省份都進行了大面積的種植。隨著中國老齡化進程的加快以及勞動力的短缺迫切需要實現辣椒采摘的機械化和自動化,但由于青椒與葉片和莖稈的顏色差異不大以及復雜的種植環境,使得青椒果實的識別變得困難,因此研究青椒采摘機器人的目標識別方法具有重要的現實意義。
目前,采摘機器人的關鍵技術研究主要在于識別、定位和控制這幾個方面[1, 2]。而在各項技術領域中,果實的識別是最為關鍵的一步,準確的識別能力才能使采摘機器人具有更好的可靠性和實時性。作為農業自動化的重要組成部分,采摘機器人在草莓、蘋果、西紅柿等蔬菜水果上有比較成熟的應用[3-7]。
麥春燕[8]、錢建平[9]、司永勝[10]等應用顏色特征對紅蘋果進行識別研究得到較高的識別率。王瑾等[1]提出一種AdaBoost分類器和顏色特征分類器相結合用于番茄采摘機器人的目標識別方法,試驗結果表明,該模型的準確率能達到97%以上。趙輝等[11]通過改進的YOLOv3網絡模型對蘋果進行識別,與Faster R-CNN、RetinaNet等幾種目前先進的檢測方法進行比較,并在不同數目、不同光照情況下進行對比,試驗結果表明,該方法具有優異的檢測精度及良好的魯棒性和實時性,解決了復雜環境下蘋果的精準識別等問題。
上述研究驗證了顏色特征在水果方面識別的可應用性,但選取的研究對象如蘋果、番茄、草莓等都是有規則的形狀,并且果實本身的顏色與背景差異較大,所以有較好的識別效果,而對于青椒圖像來說,其果實與葉片和莖稈的顏色差異不大,形狀彎曲不規則,使得其相較于蘋果等水果的識別效果較差,而HOG[12]和 LBP[13]特征能夠很好地表征圖像的形狀和紋理特征,因此建立基于形狀和紋理的單特征和多特征融合模型驗證模型可行性。在研究方法方面多數以深度學習、SVM、AdaBoost算法進行識別研究[14]。基于深度學習的識別算法雖然具有較好的識別效果和比較優越的性能,但其網絡結構復雜,需要大量的數據集訓練特征,且在速度或精度上不同的網絡都有不同的優勢和不足;SVM和AdaBoost算法相較于深度學習算法來說,二者的網絡結構簡單,不需要大量的數據集訓練特征,在解決小樣本分類的問題上都具有很好的表現。兩種算法在目標檢測識別中都有較為成熟的應用[15, 16]。
針對以上問題,本文采集自然條件下生長的青椒圖片,其中,背景包含樹葉、土壤、天空等,果實包括不同光照、重疊、遮擋等復雜情形,提取自然光照條件下的青椒、背景構建訓練數據集,通過對比分析不同特征和算法的融合對自然環境下青椒的識別效果,建立有效解決自然環境下青椒果實的識別方法,為青椒采摘機器人的目標識別方法提供技術支撐。
1 材料和方法
1.1 試驗材料及設備
試驗樣本采自貴州省農科院辣椒研究基地,分別于2021年6月9日—9月3日期間使用SONY A7M2進行拍攝,共拍攝辣椒樣本800幅,每張圖片大小為3 024像素×2 898像素,試驗設備為AMD R7-5800H 3.2 GHz,16 GB RAM筆記本電腦,使用python3.8運行算法程序。
為模擬采摘機器人的行進路線,采用手持攝像機的方法在兩壟之間對辣椒進行拍攝,拍攝位置為辣椒生長位置。首先對兩壟的辣椒正對進行拍攝,然后模擬采集攝像頭的轉動,分別向左45°、向右45°進行拍攝取樣。通過在辣椒基地的實地拍攝,列舉了以下具有代表性的4幅圖片,如圖1所示。青椒圖像中存在著單獨果實、相互重疊和遮擋以及晴天、陰天造成的青椒表面顏色變換等不同情形。樹葉和枝干的遮擋可能造成誤識別或無法完整識別出完整的青椒區域;青椒的相互重疊也可能使多個青椒識別為同一個青椒像素區域;陰晴天的顏色變換也可能影響青椒的顏色分割。
1.2 算法介紹
該算法包含三個階段:預處理階段、特征提取階段和分類器訓練階段,如圖2所示。
預處理階段包括顏色空間分析、閾值分割以及形態學操作等步驟,去除冗余信息提取感興趣區域。特征提取階段是根據預處理過后的結果,提取青椒果實的HOG特征和LBP特征,建立單特征和多特征融合模型。分類器訓練階段,根據特征提取階段建立的特征模型,使用 SVM和AdaBoost算法來訓練分類器,比較不同分類算法的準確率,以找到最適合自然環境下辣椒果實的分類算法。
1.2.1 SVM算法
SVM是解決小樣本和非線性分類問題的有監督學習方法。在特征空間中尋找最佳超平面來分離訓練集的正負樣本,從而使分離區間最大化。給定訓練集 D={xi,yi}, i=1,…,n,yi∈{1,-1},xi∈Rd, SVM算法搜索的超平面可以描述為
wTx+b=0 (1)
式中:w——超平面的法向量;
b——偏移量。
最大間隔由方程描述
γ=2/w (2)
當超平面有最大間隙時,滿足方程式(3)。
{minw,bw2/2
s.t. yi(wTx+b)≥1 i=1,…,n (3)
1.2.2 AdaBoost算法
AdaBoost是一種基于監督學習的集成算法,其目標是在迭代中通過調整弱分類器的權值來達到預期的精度。首先,初始化訓練樣本的權值分布。然后,訓練第一弱分類器。第一次迭代后,錯誤分類樣本的權值增大,正確分類樣本的權值減小;這樣就產生了一個新的權重分配來訓練下一個分類器,這個循環一直持續到訓練最后一個弱分類器為止。最后,將所有訓練好的弱分類器組合成一個強分類器。AdaBoost算法的具體步驟如下。
1)給定訓練集樣本 D={(x1,y1),…,(xi,yi),…,(xm,ym)}, 其中 xi∈X, yi∈{-1,1}。
2)以相同的初始值來初始化樣本的權重,并且樣本權重之和為1。
D1=1/m i=1,2,…,m (4)
3)共進行T輪迭代,t表示迭代次數。每次迭代過程首先對當前閾值 ht 進行更新,更新的原則是使誤差率 εt 最小,更新計算式為
ht=argminεt (5)
其中,誤差率 εt 就是被誤分類樣本的權值之和,即
εt=∑m/i=1Dt(i) yi≠ht(xi) (6)
利用所求得的閾值,得到弱分類器 ht(xi)。
ht(xi)={1/xi≤ht
-1/xigt;ht (7)
同時更新弱分類器 ht(xi) 的權值,更新公式為
at=1/2ln1-εt/εt (8)
更新訓練樣本集的權值分別,用于下一次迭代。
Dt+1(i)=Dte-atyiht/Zt (9)
式中: Zt ——歸一化因子, Zt=∑t/iDi。
4)結果輸出強分類器 H(x), 即
H(x)=sign∑T/t=1atht(x) (10)
根據青椒果實的HOG和LBP特征向量,SVM和AdaBoost分類算法能夠從背景中辨別青椒果實。
1.3 評價指標
以準確率Accuracy、精確率Precision和召回率Recall作為評價的指標,計算如式(11)~式(13)所示。
Accuracy=TP+TN/TP+FP+FN+TN×100% (11)
Precision=TP/TP+FP×100% (12)
Recall=TP/TP+FN×100% (13)
式中:TP——實際為正被預測為正的樣本數量;
FP——實際為負但被預測為正的樣本數量;
FN——實際為正但被預測為負的樣本數量;
TN——實際為負被預測為負的樣本的數量。
2 圖像預處理
常規相機拍攝的圖片通常為RGB格式,RGB圖像的各個分量之間有很高的相關性,不利于圖像分割,且在光照不均勻或強光下,分割效果較差。通過分析圖像在4種不同顏色空間(YCbCr,HSV,Lab,HLS)中的各個分量,找出可以分割復雜背景(包括葉片,莖稈,土壤,天空等)和辣椒果實區域最合適的顏色分量,如圖3所示。
由圖3的4種顏色空間可知,HSV顏色空間對辣椒果實的突出較明顯,因此,采用HSV顏色空間進行分析找出適用辣椒圖像分割的顏色分量。HSV是一種將RGB色彩空間中的點在倒圓錐體中的表示方法,其中,H表示色調(Hue)、S表示飽和度(Saturation)、V表示亮度(Value)。H使用角度度量,取值范圍為0°~360°,不同的角度代表不同的顏色。S表示顏色接近光譜色的程度,一種顏色可以看成是某種光譜色與白色混合的結果。其中,光譜色所占的比例愈大,顏色接近光譜色的程度就愈高,顏色的飽和度也就愈高。V表示顏色的明亮程度,對于光源色,亮度值與發光體的光亮度有關。將HSV顏色空間的H、S、V分量單獨顯示如圖3所示。S分量下辣椒果實與背景、莖稈和部分葉片有較大的區別,可以突出青椒果實。V分量對光照強度不敏感,可以消除強光帶來的影響。因此,使用S-V分量對圖像進行閾值分割和形態學操作以達到去除復雜背景的目的。
Otsu方法是一種確定圖像二值化分割閾值的算法。該算法的基本思想是根據圖像的灰度特征將圖像分割為前景和背景。當前景和背景的最大類間方差越大時,說明前景和背景的差別則越大。當前景被錯誤分類為背景或背景被錯誤分類為前景則方差最小。因此,類間方差越大,則誤分類的概率越小。辣椒圖像經過HSV顏色空間H和V顏色分量下的Otsu閾值分割過后的圖像如圖4(b)、圖4(c)所示。
比較閾值分割后S分量和V分量二值圖像的像素值,發現一些葉片和枝干區域像素相同,而在果實區域兩幅圖片的像素不同。因此,將圖4(c)和圖4(b)的像素進行比較,像素相同設置為0,像素不同時設置為S分量的像素值,結果如圖4(d)所示。最后使用形態學操作方法去除差別較小的區域,獲得S-V特征的二值圖像如圖4(e)所示。
3 HOG特征及LBP特征提取
3.1 青椒果實的HOG特征提取
HOG特征被廣泛用于行人檢測并獲得了極大的成功。對于圖像來說,梯度主要存在于邊緣,因此,可以用梯度的方向密度分布來描述局部目標的形狀。設 f(x,y) 為點 (x,y) 的像素值,分別由式(14)和式(15)得到水平梯度 gx(x,y) 和垂直梯度 gy(x,y)。
gx(x,y)=f(x+1,y)-f(x-1,y) (14)
gy(x,y)=f(x,y+1)-f(x,y-1) (15)
(x,y) 處的梯度幅度和方向分別由式(16)和式(17)確定。
g(x,y)=gx(x,y)2+gy(x,y)2 (16)
θ(x,y)=arctangx(x,y)/gy(x,y) (17)
以辣椒圖像為例,辣椒果實的HOG特征如圖5所示。
在提取青椒的HOG特征時,將青椒從圖像中截取出來,并將辣椒果實的像素調整為128像素×64像素,其中又分為8×8的像素的單元格,共128個單元格。將2×2個單元格組成一個滑動窗口,一個滑動窗口包含36維的特征向量。設置步長為8個像素,水平方向設置7個像素的掃描窗口,垂直方向設置15個掃描窗口,因此特征數為3 780。圖5(a)青椒圖像,圖5(b)為青椒圖像的HOG特征圖,這樣就可以提取香蕉果實的HOG特征向量,進行訓練和識別。
3.2 辣椒果實的LBP特征提取
LBP特征描述的是一幅圖像的局部紋理特征,能夠反映一個像素點和周圍像素點的關系。該算法的原理是比較中心像素與領域像素的灰度值,如果灰度值大于等于中心像素值,則設置為1,否則設置為0,如圖6所示。
中心像素值為6,與周圍的8個像素相比較,根據式(18)可以得出,中心像素點的LBP值為13。
LBP(xc,yc)=∑7/i=0S(pi-pc)2i (18)
式中: (xc,yc) ——中心像素值;
i ——中心像素值周圍的第 i 個像素值;
pi ——相鄰像素的灰度值;
pc ——中心點的灰度值。
S(x)={1/x≥0
0/xlt;0 (19)
根據以上原理對訓練集中正負樣本的LBP特征紋理進行提取,如圖7所示。
在算法中,將一幅圖像分成4×8個單元格,每個單元格包含256個像素,計算出每個單元格的LBP值并統計成直方圖。最后,將所有單元格的直方圖連接起來,構建用于檢測青椒的LBP特征向量。
4 結果與分析
對采集的800幅辣椒圖像(包含單個青椒果實,相互重疊和遮擋果實以及復雜背景)進行圖像預處理,利用Photoshop從樣本圖像中提取正樣本2 000張,負樣本6 000張,共8 000張數據集樣本,利用ACDsee軟件對樣本進行批量調整大小為128像素×64像素的數據樣本,數據樣本劃分訓練集和測試集為1∶1。
提取青椒果實和背景的HOG特征和LBP特征,建立HOG、LBP、HOG+LBP特征模型,運用SVM、AdaBoost分類器訓練,并進行特征模型比較。為了更好體現基于不同分類器的不同特征模型分類的分類性能,引入混淆矩陣進行性能評估。混淆矩陣的行標簽表示預測的標簽(0代表負樣本背景,1代表正樣本青椒),列標簽表示該特征的真實標簽,其對應的數值總和為該類別的樣本總數。行列交叉處的數值表示該類別被預測為對應列標簽的數量,對角線的數值表示正確預測的標簽數量。結果如圖8所示。
根據混淆矩陣結果可知,基于單一的LBP、HOG特征和LBP+HOG的融合特征,在AdaBoost算法中的表現更好,識別效率更高,為此本試驗選用AdaBoost算法作為青椒識別算法。
為進一步驗證三種特征在AdaBoost算法中哪個表現更好,繪制三種特征在訓練過程中的迭代誤差,結果如圖9所示,經過200次迭代后HOG算法錯誤率為1.7%,LBP算法錯誤率為1.1%,HOG+LBP算法的錯誤率為0.09%,由此可以得出,HOG+LBP的特征算法是要好于單個特征算法的。不同算法的訓練效果見表1。
由表1可知,HOG+LBP+AdaBoost算法的分類效果最好,準確率、精確率、召回率分別為99.35%、97.93%、99.50%。
5 結論
1)針對青椒與葉片和莖稈具有相似性不易識別的特點,分析辣椒圖像在多種顏色空間下的不同分量。結果表明,HSV顏色空間中S分量能突出青椒果實,與背景、莖稈和部分葉片有較大區別,V分量可以抑制強光帶了的影響。分別對S分量和V分量下的辣椒圖像進行閾值分割,并對像素值進行處理,S分量與V分量中像素相同設置為0,像素不同時設置為S分量的像素值。經過預處理和閾值分割后的圖像可以去除部分復雜背景(包括葉片,莖稈,土壤,天空等)并保留青椒果實區域。
2)針對青椒的形狀彎曲不規則導致識別效果差的特點,提取青椒與背景的HOG特征和LBP特征,分別建立單特征模型與多特征融合模型。將特征模型輸入到SVM和AdaBoost算法中,對3種特征模型進行混淆矩陣對比分析,試驗結果表明,基于LBP、HOG單特征和HOG+LBP的融合特征在AdaBoost算法中有較好的識別效果。
3)
為找出最優的算法,繪制三種特征在AdaBoost算法的迭代誤差,結果表明,HOG+LBP特征的迭代誤差率更小,HOG+LBP的特征算法是要好于單個特征算法。并對比分析三種特征算法的訓練效果,基于HOG+LBP+AdaBoost算法的準確率、精確率、召回率分別為99.35%、97.93%、99.50%,均優于其他模型。
參 考 文 獻
[1] 王瑾,王瑞榮,李曉紅.番茄采摘機器人目標識別方法研究[J]. 江蘇農業科學,2021,49(20):217-222.
Wang Jin, Wang Ruirong, Li Xiaohong. Research on target recognition method of tomato picking robot [J]. Jiangsu Agricultural Sciences, 2021,49(20):217-222.
[2] 陳飛,葛云,張立新,等.紅花采摘機器人集條預定位機構設計與試驗[J].農業工程學報,2021,37(15):10-19.
Chen Fei, Ge Yun, Zhang Lixin, et al. Design and experiment of the strip-collected pre-positioning mechanism for safflower picking robots [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021,37(15):10-19.
[3] 張繼成,李德順.基于深度殘差學習的成熟草莓識別方法[J].中國農機化學報,2022,43(2):136-142.
Zhang Jicheng, Li Deshun. Ripe strawberry recognition method based on deep residual learning [J]. Journal of Chinese Agricultural Mechanization,2022, 43(2):136-142.
[4] 高夢圓,馬雙寶,董玉婕,等.基于實例分割蘋果采摘機器人視覺定位與檢測[J].江蘇農業科學,2022,50(3):201-208.
Gao Mengyuan, Ma Shuangbao, Dong Yujie, et al. Visual localization and detection of apple picking robot based on case segmentation [J]. Jiangsu Agricultural Sciences,2022,50(3):201-208.
[5] 于豐華,周傳琦,楊鑫.日光溫室番茄采摘機器人設計與試驗[J].農業機械學報,2022,53(1):41-49.
Yu Fenghua, Zhou Chuanqi, Yang Xin, et al. Design and experiment of tomato picking robot in solar greenhouse [J].Transactions of Chinese Society for Agricultural Machinery, 2022,53(1):41-49.
[6] 張勤,陳建敏,李彬,等.基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法[J].農業工程學報,2021,37(18):143-152.
Zhang Qin, Chen Jianmin, Li Bin, et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021,37(18):143-152.
[7] 鄭嫦娥,高坡,Gan Hao,等.基于分步遷移策略的蘋果采摘機械臂軌跡規劃方法[J].農業機械學報,2020,51(12):15-23.
Zheng Change, Gao Po,Gan Hao, et al. Trajectory planning method for apple picking manipulator based on stepwise migration strategy [J]. Transactions of Chinese Society for Agricultural Machinery.2020,51(12):15-23.
[8] 麥春艷,鄭立華,肖昌一,等.自然光照條件下蘋果識別方法對比研究[J].中國農業大學學報,2016,21(11):43-50.
Mai Chunyan, Zheng Lihua, Xiao Changyi, et al. Comparison of apple recognition methods under natural light [J]. Journal of China Agricultural University, 2016,21(11):43-50.
[9] 錢建平,楊信廷,吳曉明,等.自然場景下基于混合顏色空間的成熟期蘋果識別方法[J].農業工程學報,2012,28(17):137-142.
Qian Jianping, Yang Xinting, Wu Xiaoming, et al. Mature apple recognition based on hybrid color space in natural scene [J]. Transactions of the Chinese Society of Agricultural Engineering, 2012,28(17):137-142.
[10] 司永勝,喬軍,劉剛,等.基于機器視覺的蘋果識別和形狀特征提取[J].農業機械學報,2009,40(8):161-165,73.
Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and shape features extraction of apples based on machine vision [J]. Transactions of Chinese Society for Agricultural Machinery,2009,40(8):161-165,73.
[11] 趙輝,喬艷軍,王紅君,等.基于改進YOLOv3的果園復雜環境下蘋果果實識別[J].農業工程學報,2021,37(16):127-135.
Zhao Hui, Qiao Yanjun, Wang Hongjun, et al. Apple fruit recognition in complex orchard environment based on improved YOLOv3 [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021,37(16):127-135.
[12] 張偉,周夢源,夏堅.基于改進HOG特征提取與SVM分類器的建筑裂縫識別方法[J].南昌工程學院學報,2022,41(1):47-51.
Zhang Wei, Zhou Mengyuan, Xia Jian. Building crack recognition method based on improved HOG feature extraction with SVM classifier [J]. Journal of Nanchang Institute of Technology, 2022,41(1):47-51.
[13] 劉慶華,李智.一種基于HOG與LBP雙特征融合模型的人臉年齡估計方法[J].江蘇科技大學學報(自然科學版),2021,35(3):50-55.
Liu Qinghua, Li Zhi. Faceage estimation method based on HOG and LBP dual feature fusion model [J]. Journal of Jiangsu University of Science and Technology, 2021,35(3):50-55.
[14] 劉栩廷,劉姣娣,王明明,等.基于SVM的蔗種壞芽檢測識別[J].石河子大學學報(自然科學版),2022(4):481-486.
Liu Xuting, Liu Jiaodi, Wang Mingming, et al. Detection and recognition of sugarcanebad bud based on SVM [J].Journal of Shihezi University (Natural Science Edition),2022(4):481-486.
[15] 張燕,田國英,楊英茹,等.基于SVM的設施番茄早疫病在線識別方法研究[J].農業機械學報,2021,52(S1):125-133,206.
Zhang Yan, Tian Guoying, Yang Yingru, et al. Online detection method of tomato early blight disease based on SVM [J]. Transactions of Chinese Society for Agricultural Machinery,2021,52(S1):125-133,206.
[16] 楊光,張洪熙,方濤,等.基于改進AdaBoost算法的秸稈識別與覆蓋率檢測技術[J].農業機械學報,2021,52(7):177-183.
Yang Guang, Zhang Hongxi, Fang Tao, et al. Straw recognition and coverage rate detection technology based on improved AdaBoost algorithm [J]. Transactions of Chinese Society for Agricultural Machinery,2021,52(7):177-183.