基于多特征融合與SVM的蘋果品種快速識別算法

雷歡 焦澤昱 馬敬奇 吳亮生,2 鐘震宇

基于多特征融合與SVM的蘋果品種快速識別算法

雷歡1焦澤昱1馬敬奇1吳亮生1,2鐘震宇1

（1.廣東省智能制造研究所 廣東省現代控制技術重點實驗室，廣東 廣州 510070 2.仲愷農業工程學院，廣東 廣州 510225）

為快速無接觸地識別蘋果品種，采用機器視覺方式，提出基于多特征融合與SVM的蘋果品種快速識別算法。首先，基于HSV和La*b*顏色空間提取僅含色度信息的H，S，a*，b*分量，通過直方圖變換得到蘋果顏色特征，同時考慮蘋果表皮局部與全局紋理特性，研究基于GLCM與LBP的蘋果紋理特征描述子，并通過串接方式進行顏色與紋理特征融合，實現不同品種蘋果表面特征的準確描述；然后，構建基于SVM的蘋果品種識別模型，并根據樣本特征量優選線性核函數，實現蘋果品種的快速準確識別；最后，通過實驗驗證，該算法兼顧精度和實時性，在測試集上平均準確率達94.0%，且推理時間僅2 ms，具有較高的實用價值。

顏色與紋理特征；支持向量機；蘋果品種快速識別

0　引言

我國蘋果產量居世界首位，也是我國熱銷的水果之一，其果實富含礦物質和維生素。然而蘋果品種繁多，不同品種的蘋果栽培環境、貯藏條件及價格差別較大，且部分蘋果品種的成熟期、顏色、大小及口感等較接近，對于非專業人員而言很難辨別清楚[1]。為推進蘋果產業標準化、規模化、智能化生產經營水平，提高蘋果供應能力及果實優質率，亟需研究一種實時、高效的蘋果品種無損識別方法。

近年來，國內外研究者針對蘋果品種分類問題在可見/近紅外光譜技術[1-2]、電子鼻技術[3-4]等方面開展了相關研究。如，尚靜等[2]采用光譜技術建立基于K最近鄰和偏最小二乘判別分析的蘋果品種識別模型，實現了冰糖心、嘎啦和山東富士3種蘋果的有效判別；鄒小波等[3]采用電子鼻技術，提出基于小波去噪和支持向量機（support vector machines, SVM）的蘋果品種識別方法，實現了富士、花牛和姬娜3種不同品種蘋果氣味的區分。隨著人工智能技術的快速發展，機器視覺在使用便捷性、設備成本和檢測實時性等方面表現出明顯優勢，已廣泛應用于果實采摘檢測[5]、果實品質檢測[6]、果實識別與估產[7-8]等領域。而目前采用視覺圖像與機器學習方法來識別蘋果品種的研究鮮有報道。

為此，本文基于機器視覺與圖像處理理論，提出一種基于多特征融合與SVM的蘋果品種快速識別算法。根據蘋果不同品種的顏色和紋理差異，提取HSV和La*b*空間的顏色直方圖特征；融合局部紋理與統計紋理特征，建立基于SVM的蘋果品種識別模型；綜合比較不同算法的識別效果，為機器視覺技術在農業水果無損檢測與品種判別的應用提供借鑒參考。

1　實驗材料與方法

1.1 實驗材料

本文實驗蘋果數據選自kaggle上的Fruits-360水果數據集[9]，包含4個蘋果品種：布瑞本、金冠、澳洲青蘋和蛇果。其中，訓練集樣本圖像2013張，含布瑞本492張、金冠539張、澳洲青蘋492張和蛇果490張；測試集樣本圖像660張，含布瑞本164張、金冠166張、澳洲青蘋164張和蛇果166張。為更準確地評價模型識別性能，從bing網站下載135張圖像，包括布瑞本33張、金冠30張、澳洲青蘋34張和蛇果38張，并將其添加至原測試集，形成實驗數據集，如圖1所示。

圖1 實驗數據集示例樣本圖像

1.2 實驗方法

蘋果品種識別算法流程如圖2所示，主要包括蘋果顏色和紋理特征提取、模型訓練與識別構建2部分。首先，提取蘋果訓練集圖像的顏色特征即H，S，a*和b*分量直方圖特征，以及紋理特征即灰度共生矩陣（gray-level co-occurrence matrix, GLCM）的統計紋理特征和局部二值模式（pattern local binary pattern, LBP）紋理特征，通過特征串接融合形成蘋果判別特征向量；然后，構建SVM的分類模型，通過蘋果特征學習訓練，實現蘋果品種識別。

圖2 蘋果品種識別算法流程

1.2.1 特征提取

不同品種的蘋果通常呈現不同的顏色和紋理特征。如，布瑞本多呈紅色或橙紅色，有紅黃相間的細小顆粒和條紋；金冠蘋果成熟后表面金黃色中透紅暈，光澤鮮亮；澳洲青蘋果皮光滑，呈翠綠色，有白色細小斑點；蛇果果體棱角明顯，多呈鮮紅或暗紅色，伴有斷續紅條紋或紫紅粗條紋。本文以蘋果的顏色和紋理信息為特征，為模型訓練和判別提供可靠數據來源，實現蘋果品種準確判別。

1）顏色特征提取

為降低環境亮度對顏色特征提取的干擾，將圖像從RGB空間轉為HSV和La*b*空間。選擇HSV空間的色調H、飽和度S分量以及La*b*空間的a*，b*分量，通過H，S，a*和b*分量直方圖計算，獲得蘋果圖像的顏色特征，如圖3所示。

圖3 不同品種蘋果的各通道顏色直方圖

2）紋理特征提取

為充分挖掘不同品種蘋果的紋理信息，提取灰度共生矩陣的統計紋理特征和局部二值模式紋理特征。

① 對比度，可度量圖像矩陣的分布和圖像局部變化，反映蘋果圖像清晰度和紋理的溝紋深淺；

式中= 16，表示圖像的灰度等級。

② 能量，反映蘋果圖像灰度分布均勻程度和紋理粗細度，紋理越細，能量越小；

③ 熵，反映蘋果表面紋理分布的不均勻性或復雜程度，熵值越大，圖像紋理越復雜；

④ 逆方差，反映蘋果表面紋理局部變化，變化緩慢，則逆方差值相對較大；

⑤ 相關性，反映蘋果圖像局部灰度相關性，蘋果圖像紋理的一致性越強，其相關性值越大；

綜合考慮LBP局部紋理特征和GLCM統計紋理特征，既可避免LBP特征降維帶來的損失，又能準確充分表征蘋果表面紋理分布特點，有助于提高蘋果品種分類魯棒性。

1.2.2 基于SVM的蘋果品種識別模型

通過串聯連接方式將H，S，a*和b*分量直方圖特征、LBP局部紋理特征和GLCM統計紋理特征進行融合，形成表征蘋果顏色和紋理信息的特征向量。通過定義線性最優超平面，將蘋果品種分類問題轉化為確定超平面的優化問題。

SVM在解決小樣本、非線性及高維模式識別中具有較多優勢[12]，最為關鍵的是引入核函數。通過核函數可避免高維變換，直接利用低維度數據代入核函數來等價高維度向量的內積，并通過低維度數據非線性映射到高維空間，可將低維空間線性不可分的模式轉為高維空間線性可分問題。

1）SVM分類器構建

分類器目標即找到一個分類錯誤率最小的最優超平面，可得到以下優化問題：

式中，為懲罰系數。

2）核函數的選擇

SVM算法應用過程中，核函數的選擇對分類性能起重要作用，其表達式為

常用核函數有線性核、多項式核、RBF核及Sigmoid核。由于樣本特征含顏色和紋理信息，其中H直方圖特征360個；S，a*和b*直方圖特征均為256個；GLCM紋理特征20個（考慮0°，45°，90°和135°四個角度）；LBP紋理特征256個，總計1404個特征。樣本特征量較大，接近訓練樣本集數目，故利用非線性核函數并不能提高分類器的性能，且需經過繁瑣的調參過程以尋找最優參數。為簡化計算，提高分類器實時性，采用線性核函數，公式為

2　實驗及結果分析

實驗在Windows10操作系統 Visual Studio Code環境下，基于python-opencv和skimage開源庫，采用python語言編程完成。硬件配置：Intel(R) Core(TM) i7-9750H；16.0 GB內存；Nvidia Geforce GTX 1660 Ti。

訓練集中2013張蘋果樣本圖像經過H，S，a*和b*顏色直方圖特征、GLCM統計紋理特征與LBP局部紋理特征提取后，輸入線性SVM模型進行訓練，迭代次數為3000次，懲罰系數設為1，獲得的蘋果品種識別模型在測試集上取得較好效果，如表1所示。4種蘋果的識別準確率均大于91%；平均準確率為94.0%；平均召回率為94.6%。其混淆矩陣如圖4所示，其中0為布瑞本、1為金冠、2為澳洲青蘋、3為蛇果。

表1 測試集預測結果統計表

圖4 測試集預測混淆矩陣圖

為進一步準確評價該算法的識別性能，開展基于顏色和紋理單一或組合特征下K最近鄰（K-Nearest Neighbor，KNN）與SVM分類方法在測試集上對蘋果品種識別的實驗，結果如表2所示。從算法識別性能和實時性來看：本文算法的表現均最佳，基于單一顏色或紋理特征的識別算法的平均準確率和召回率均較低。在紋理和顏色組合特征下，KNN表現較好，其平均準確率略低于本文算法，但推理時間需50 ms，是本文算法的25倍。RBF-SVM的精度與本文算法較接近，但其平均訓練和推理時間相對較高，這可能是由于樣本特征量較大利用線性核函數可取得較優性能，而無需轉化至高維空間。

表2 不同算法對比實驗結果統計表

綜上所述，基于多特征融合與SVM的蘋果品種快速識別算法識別性能表現優異，且算法復雜度較低，訓練時間僅3.4 ms，同時推理時間僅2 ms，具有很好的實時性，在蘋果品種識別方面具有較高的應用價值。

3　結語

本文提出基于多特征融合與SVM的蘋果品種快速分類算法。首先，基于kaggle 中Fruits-360的蘋果數據集，及bing網隨機下載的蘋果數據，構建了蘋果品種分類數據集；然后，根據不同品種蘋果表皮特點，提取H，S，a*和b*直方圖特征、GLCM統計紋理特征與LBP局部紋理特征，并通過串接方式進行特征融合；最后，構建基于SVM的蘋果品種識別模型，并根據樣本特征量優選線性核函數。該算法兼顧了準確率和實時性，實現了蘋果品種的快速準確識別，具有較高的實用價值。

[1] 尚靜,張艷,孟慶龍.光譜技術結合化學計量學識別蘋果品種[J].北方園藝, 2019(16):66-71.

[2] 尚靜,張艷,孟慶龍.可見/近紅外光譜技術無損識別蘋果品種的研究[J].保鮮與加工, 2019,19(3):8-14.

[3] 鄒小波,趙杰文.基于小波去噪和支持向量機的蘋果品種識別法[J].儀器儀表學報, 2007,28(3):534-538.

[4] 潘胤飛.基于非線性模式識別的電子鼻技術在蘋果分類中的應用[D].鎮江:江蘇大學,2003.

[5] Zhuang J J, Luo S M, Hou C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture, 2018, 152: 64-73.

[6] 熊俊濤,鄒湘軍,劉念,等.基于機器視覺的荔枝果實采摘時品質檢測技術[J].農業機械學報,2014,45(7):54-60.

[7] 荊偉斌,胡海棠,程成,等.基于深度學習的地面蘋果識別與計數[J].江蘇農業科學,2020,48(5):210-219.

[8] 袁明新,于洪濤,江亞峰,等.聯合遷移學習和自適應學習率的蘋果成熟度識別[J].中國農機化學報,2019,40(11):131-135.

[9] Mihai O. Fruits 360 : A dataset of images containing fruits and vegetables[EB/OL]. https://www.kaggle.com/moltean/fruits, 2020-05-18.

[10] 陳旭,解天祺.基于B-CLBP和GLCM特征的紋理材質分類[J].計算機應用與軟件, 2020,37(6): 242-246.

[11] Tajeripour F, Kabir E, Sheikhi A. Defect detection in patterned fabrics using modified local binary patterns[C]//International Conference on Computational Intelligence and Multimedia Applications. IEEE, 2007: 261-267．

[12] 朱芳,趙慶平,王江濤.基于RBF核的SVM分類應用研究[J]. 唐山學院學報, 2017, 30(3):13-17,39.

Fast Recognition Algorithm of Apple Varieties Based on Multi Feature Fusion and SVM

Lei Huan1Jiao Zeyu1Ma Jingqi1Wu Liangsheng1, 2Zhong Zhenyu1

(1.Guangdong Institute of Intelligent Manufacturing, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

In order to identify apple varieties quickly and contactless, a fast classification algorithm based on multi feature fusion and SVM is proposed by using machine vision. Firstly, based on HSV and La * b * color space, the H, S, a * and b * components with only chromaticity information are extracted, and the color features of apple are obtained by histogram transformation. Considering the local and global texture characteristics of apple skin, the apple texture feature descriptors based on GLCM and LBP are studied, and the color and texture features are fused by concatenation to realize the accurate description of the surface features of different apple varieties. Then, an apple variety recognition model based on SVM is constructed, and the linear kernel function is selected according to the features number of training samples to realize the fast and accurate apple variety recognition. The experimental results show that the algorithm takes into account both accuracy and real-time performance, with an average accuracy of 94.0% in the test set, and its recognition time is only 2 ms, which has a high practical value.

color and texture features; support vector machine; apple variety fast recognition

雷歡，男，1987年生，碩士，主要研究方向：機器視覺、人工智能。

焦澤昱，男，1991年生，博士，主要研究方向：機器視覺、人工智能。

馬敬奇，男，1988年生，碩士，主要研究方向：機器視覺、人工智能。

吳亮生（通信作者），男，1987年生，在讀碩士，主要研究方向：機器視覺、人工智能。E-mail: 478908734@qq.com

鐘震宇，男，1971年生，博士，主要研究方向：運動控制與機器視覺。

S24

A

1674-2605(2020)04-0003-05

10.3969/j.issn.1674-2605.2020.04.003