基于決策樹支持向量機的蘋果表面缺陷識別

邱光應 - 彭桂蘭 - 陶 丹 王崢榮 -

(西南大學工程技術學院，重慶 400716) (College of Engineering and Technology, Southwest University, Chongqing 400716, China)

基于決策樹支持向量機的蘋果表面缺陷識別

邱光應QIUGuang-ying彭桂蘭PENGGui-lan陶 丹TAODan王崢榮WANGZheng-rong

(西南大學工程技術學院，重慶 400716) (CollegeofEngineeringandTechnology,SouthwestUniversity,Chongqing400716,China)

在基于機器視覺蘋果缺陷識別過程中，因果梗/花萼與缺陷表皮顏色相似，極大地降低蘋果表面缺陷識別準確率，提出一種基于決策樹支持向量機(DT-SVM)的蘋果表面缺陷識別方法。該方法首先采用單閾值法去除背景，其次在R通道中利用Otsu法和連通域標記法提取目標區域(果梗、花萼和缺陷)的顏色、紋理和形狀特征，最后利用決策樹支持向量機進行識別。以600幅富士蘋果圖像為例，使用該方法進行缺陷識別，結果表明該方法的平均準確率為97.7%。與1-V-1 多分類支持向量機(1-V-1 SVM)和AdaBoost分類算法相比，DT-SVM方法正確率高、耗時短。說明決策樹支持向量機對蘋果表面缺陷識別十分有效。

蘋果；表面缺陷；識別；果梗/花萼；決策樹支持向量機(DT-SVM)

中國蘋果種植面積和產量居世界首位，因蟲蛀和采摘過程中的損傷，采摘下來的蘋果不可避免地存在缺陷。蘋果采摘后及時分類成為一個急需解決的問題[1]。目前，主要是利用人工的方法進行分類，需要耗費大量的勞動力，且長時間的勞動會導致分類準確率下降。隨著圖像技術的發展，機器視覺檢測技術已廣泛地應用于蘋果的分級，且已取得不錯的分類效果[2-5]。但因蘋果果梗/花萼與缺陷的表皮顏色的相似性和缺陷的結構多樣性，缺陷果的檢測仍面臨諸多挑戰。Kleynen等[6-8]采用多光譜技術對果梗/花萼及缺陷進行識別，但因設備昂貴、耗時長等原因，不利于實際生產應用。Cheng等[9]提出將近紅外和中紅外相機結合的方法檢測蘋果的果梗/花萼區域，缺陷果的識別正確率92%。趙娟等[10]利用3個相機來拍攝一個蘋果9個不同角度的圖像，通過對9幅蘋果圖像進行處理，提取缺陷面積和缺陷個數來對缺陷果進行識別，但僅根據缺陷面積大小來剔除缺陷，極易造成誤檢，分類正確率為92.5%。張弛等[11]利用基于位置變化的點陣結構光編碼方法識別蘋果果梗/花萼，正確率為93.17%。李慶中等[12]利用分形特征提取紋理參數，然后利用人工神經網絡(BP)作為模式識別器，識別正確率為93%。宋怡煥等[13]利用雙數復小波變換(DT-CWT)提取紋理特征，然后用最小二乘支持向量機(LS-SVM)對其進行識別，分類正確率為95.6%。Dong Zhang等[14]使用Evolutionary-Constructed(ECO)特征對蘋果表面缺陷進行識別，分類正確率為94%。張保華等[15]提取果梗/花萼的顏色、紋理、形狀等特征，利用AdaBoot進行分類，分類準確率為95.7%。D.Uay等[16]通過提取蘋果的統計特征、紋理特征、外形特征等，比較LDC、K-NN、fuzzy K-NN、AdaBoost、SVM分類器的優劣，結果表明SVM識別效果最好。

上述文獻表明，通過提取目標區域特征，利用分類器進行識別的方法能有效地識別果梗、花萼和缺陷且識別率高。但由于大多缺陷果存在多個缺陷，紋理特征提取運算量大，如果全部提取將勢必造成運算時間長，不利于在線快速檢測。決策樹是運用于分類的一種樹結構，屬于監督學習分類方法，決策樹一般構造單層或多層樹結構，對數據做邏輯運算，易于實現且分類效率高。與支持向量機相結合，可以提高分類準確率且縮短處理時間[17]。

本研究提出一種基于決策樹和SVM相結合的蘋果表面缺陷快速檢測方法。通過觀察正常蘋果圖像可知，果梗與花萼不會同時出現在一幅圖像中，即正常果圖像的目標區域(果梗、花萼、缺陷)不會>1，根據此特征，利用決策樹對蘋果圖像進行粗分類，可分類出目標區域個數>1的缺陷果圖像，然后提取剩下待測果圖像中單個目標區域的顏色、紋理及形狀特征，利用SVM分類器對目標區域進行識別，以識別出缺陷果圖像。

1 材料與方法

1.1 試驗材料

試驗材料為農貿市場購買的富士蘋果120個，其中40個正常果，其余為缺陷果。表面缺陷包括疤痕、腐爛、蟲咬、裂傷等。試驗前，將蘋果樣本用清水清洗干凈，然后將水漬擦干。

1.2 基于機器視覺蘋果圖像采集系統

蘋果圖像機器視覺采集系統示意圖見圖1。其主要由計算機、彩色CCD相機、鏡頭、LED光源和傳送機構組成。為了防止外界光源的干擾，整個圖像采集設備放置在一個密閉的暗箱里。采集圖像時，將蘋果放置在傳送滾輪上，為了獲取完整的蘋果表面圖像，對每個蘋果分別拍攝5個不同角度的圖像，共采集蘋果圖像600幅。采集后的蘋果圖像用計算機進行處理。每種類型的蘋果圖像及數量見圖2和表1。

1.3 蘋果圖像背景去除及目標區域提取

由于蘋果圖像是在黑色的背景下拍攝，因此采用單閾值法去除背景。在單閾值去除背景過程中，會去除一些包括果梗、花萼及缺陷等低光度區域，采用孔洞填充獲得蘋果圖像邊緣，然后利用所得的掩模模板去除背景。目標區域提取工作主要參見文獻[8]和[18]，首先，在R通道中采用Otsu法分割目標區域，分割后的圖像中存在一些由噪聲引起的小點，采用形態學方法消除這些噪聲點，分割出來的目標區域中存在一些孔洞，采用孔洞填充法填充，最后利用連通域標記法標記這些目標區域[19]。

圖1 蘋果圖像采集系統示意圖Figure 1 Schematic diagram of image acquisition device表1 蘋果圖像類型及數量表Table 1 Types and numbers of apple images

蘋果類型蘋果圖像數/幅僅含健康果皮40僅含果梗的正常果106僅含花萼的正常果124僅含1個缺陷的蘋果80含有果梗和缺陷的蘋果134含有花萼和缺陷的蘋果116合計600

圖2 蘋果圖像Figure 2 Apple images

1.4 目標區域特征提取

1.4.1 顏色特征提取 顏色特征是一種重要的視覺特征，對圖像的尺度、方向、視角等變化不敏感，具有很高的穩定性。對獲取到的蘋果圖像提取反映目標區域顏色分布的顏色矩。由于顏色分布信息主要集中在低階矩中，因此本試驗只需采用顏色的一階矩(均值μi)、二階矩(方差σi)、三階矩(斜度si)來表達圖像的顏色分布[20]。計算公式：

(1)

(2)

(3)

式中：

hij——第i個顏色通道中第j個像素的值；

n——像素個數。

1.4.2 紋理特征 基于灰度共生矩陣(gray level co-occurrence matrix，GLCM)的紋理特征提取是最具代表性的紋理分析方式[21]。在試驗中距離d選擇1，方向θ一般取0°，45°，90°，135°。分別計算4個方向的紋理特征值，然后以所有方向特征值的均值作為最終的紋理特征向量。由于灰度共生矩陣計算量比較大，在統計共生矩陣前，為了減輕計算機的運算量，將輸入圖像的每個像素由256個灰度級重新量化為16個灰度級。選擇比較常用且被認為分類效果較好的4個紋理特征[22]：角二階矩ASM(angular second)、熵ENT(entropy)、對比度CON(contrast)、局部平穩IDM(inverse difference moment)。計算公式：

(4)

(5)

(6)

(7)

式中：

p(i,j)——灰度共生矩陣的第i行、第j列的元素；

L——灰度級數。

1.4.3 形狀特征 形狀特征主要包括兩類：基于輪廓的形狀描述和基于區域的形狀描述。經典的形狀特征描述方法有形狀特征法、傅里葉形狀描述符法、幾何參數法、形狀不變矩法等。由于幾何參數法的提取簡單且能有效代表區域特征，因此選取幾何參數中的面積(S)、周長(P)及圓形度(C)3個特征[23-24]。計算公式：

S=N，

(8)

P=NP，

(9)

(10)

式中：

N——目標區域內部像素點的數量；

NP——目標區域邊緣像素點的數量。

1.5 基于決策樹SVM分離器的目標區域識別

1.5.1 決策樹支持向量機(Decision Tree SVM，DT-SVM)

支持向量機(SVM)是V.Vapnik等于1995年提出的一種基于統計學習理論的VC維理論和結構風險最小原理基礎上的機器學習方法，它在解決小樣本、非線性與高維模式識別時很有優勢，并且對于特征相關性和稀疏性不敏感[25-27]。然而，SVM是針對兩類分類問題提出的，目前SVM解決多類分類的方法可分為兩大類：整體法和分解法。整體法是在所有訓練樣本上一次性求解一個大的二次規劃問題，同時將多類分開。這種方法思路雖然簡單，但求解最優化問題的過程中使用的變量非常多，計算復雜度高而不適用。分解法主要是對多個兩類問題進行多類分類，主要有：一對多法(one-Versus-Rest SVMs，1-V-R SVMs)、一對一法(one-Versus-One SVMs，1-V-1 SVMs)和決策樹SVM(Decision Tree SVM，DT-SVM)[28-29]。決策樹SVM的思路為從根節點開始，將全體樣本分類為2個子類，然后進一步分成4個子類，以此類推，最終得到一個倒立的樹。該方法實際上是將支持向量機與決策樹相結合而形成的，它具有層次結構、速度快的特點。對于N類問題，DT-SVM只需N-1個分類器，并且該方法不存在不可識別域，分類時也不需要遍歷所有的分類器。大量研究和試驗[30-31]表明，DT-SVM是目前用SVM解決多分類方法中最優的一種，因此本文選用DT-SVM。

1.5.2 DT-SVM中決策樹的設計 DT-SVM的核心是構造一棵合適的決策樹二叉樹，DT-SVM分類時，不需要完整地計算所有分類器的判別函數，并且上層節點處的分類器性能對整個模型的穩定性影響很大。因此DT-SVM自上而下分類難度應由易到難，根據這一原則，設計DT-SVM構造流程：

步驟1：由于在一幅正常果圖像中，果梗和花萼不會同時出現，正常果的目標區域不會超過1，因此根據目標區域個數分類是最明確的。如果目標區域個數>1，可以確定該蘋果為缺陷果，無需進行下一步分類。如果目標區域個數=1，則進行下一步分類。如果目標區域=0，則為正常果圖像。

步驟2：在果梗、花萼和缺陷的識別中，根據試驗得到，花萼相對果梗、缺陷特征較穩定，識別正確率高，因此步驟2先分類出含花萼的正常果圖像。

步驟3：最后分類出含果梗的正常果圖像和缺陷果圖像。

基于決策樹SVM的缺陷蘋果識別流程圖見圖3。

2 結果與分析

2.1 目標區域的提取

在蘋果圖像的R通道利用Otsu法和區域標記法分割目標區域，見圖4。圖4中分別分割出了1個花萼區域、7個缺陷區域和1個果梗區域、1個缺陷區域。可以看出果梗、花萼和缺陷被完整地分割出來，說明該方法能有效地分割出目標區域。

2.2 特征的提取

以圖4為例(尺寸為512像素×512像素)，對分離出來的果梗、花萼和缺陷目標區域進行特征提取，每個目標區域基于顏色矩提取了R通道中的3個顏色特征，基于灰度共生矩陣提取了4個紋理特征，基于形狀特征提取3個特征，組成10維特征向量，見表2。

圖3 算法流程圖Figure 3 Flowchart of the algorithm

圖4 目標區域的提取Figure 4 Examples of object segmentation

2.3 DT-SVM分類

考慮到每個維特征的量綱不同，取值范圍變化較大，因此在分類前對所有特征進行歸一化處理。SVM核函數選擇徑向基(RBF)核函數。利用分類器對蘋果圖像進行分類，結果見表3。

由表3可知，僅含健康果皮的蘋果圖像、含有果梗和缺陷的蘋果圖像、含有花萼和缺陷的蘋果圖像平均正確率為100%，平均耗時為200 ms左右。含健康果皮的蘋果圖像目標區域為0，含有果梗和缺陷的蘋果圖像目標區域>1，含花萼和缺陷的蘋果圖像目標區域>1，決策樹DT根據目標區域個數是否>1能快速將上述3種蘋果圖像分類。它們的平均耗時比僅含果梗的蘋果圖像、僅含花萼的圖像、僅含1個缺陷的圖像少，這是因為它們采用決策樹分類器無需進行目標區域特征的提取，且結合了SVM分類器，減少了運行時間。

表2 目標區域特征表Table 2 The features of object regions

表4為分別采用DT-SVM方法、LibSVM工具箱中的1-V-1 SVM和AdaBoost算法對蘋果圖像處理結果。表中，決策樹分類器的正確率為100%，平均耗時為58 ms，平均正確率為98.2%，平均耗時為346 ms。與1-V-1 SVM和AdaBoost相比，DT-SVM的分類準確率更高且耗時更短，說明DT-SVM對缺陷蘋果圖像識別十分有效。

表3 DT-SVM 分類識別率Table 3 Classification accuracy of DT-SVM

表4 3種方法分類結果Table 4 Recognition results of the three methods

3 結論

(1) 針對基于機器視覺蘋果缺陷識別過程中存在的問題，本試驗提出一種基于決策樹支持向量機的蘋果表面缺陷識別方法。通過提取目標區域的顏色、紋理和形狀特征，然后用決策樹支持向量機進行識別。試驗結果表明，平均正確率為98.2%，平均耗時為346 ms。說明該方法在缺陷蘋果識別中十分有效。

(2) 在缺陷果的圖像中，存在多個目標區域，采用決策樹分類出目標區域>1的缺陷果，避免了對缺陷果多個目標區域的識別，大大地減少了運算時間。

(3) 本試驗只是針對蘋果表面缺陷進行判斷，并未對缺陷作進一步分類，這將是今后研究的一個方向。

[1] 郭志明. 基于近紅外光譜及成像的蘋果品質無損檢測方法和裝置研究[D]. 北京: 中國農業大學, 2015: 1-3.

[2] LEE D J, ARCHIBALD J K, XIONG Guang-ming. Rapid Color Grading for Fruit Quality Evaluation Using Direct Color Mapping[J]. Automation Science & Engineering IEEE Transactions On, 2011, 8(2): 292-302.

[3] MIZUSHIMA A, LU Ren-fu. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers & Electronics in Agriculture, 2013, 94(94): 29-37.

[4] LEEMANS V, DESTAINM F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering, 2004, 61(1): 83-89.

[5] 籍保平, 吳文才. 計算機視覺蘋果分級系統[J]. 農業機械學報, 2000, 31(6): 118-121.

[6] KLEYNEN O, LEEMANS V, DESTAINM F. Development of a multi-spectral vision system for the detection of defects on apples[J]. Journal of Food Engineering, 2005, 69(1): 41-49.

[7] XING Juan, JANCSOK P, JDE B. Stem-end/Calyx Identifica-tion on Apples using Contour Analysis in Multispectral Images[J]. Biosystems Engineering, 2007, 96(2): 231-237.

[8] UNAY D, GOSSELIN B, DESTAINM F, et al. Automatic grading of Bi-colored apples by multispectral machine vision[J]. Computers & Electronics in Agriculture, 2011, 75(1): 204-212.

[9] CHENG Xue-mei. NIR/MIR dual-sensor machine vision system for online apple stem-end/calyx recognition [J]. Transactions of the Asae, 2003, 46(2): 551-558.

[10] 趙娟, 彭彥昆, SAGAR Dhakal, 等. 基于機器視覺的蘋果外觀缺陷在線檢測[J]. 農業機械學報, 2013, 44(S1): 260-263.

[11] 張馳, 陳立平, 黃文倩, 等. 基于編碼點陣結構光的蘋果果梗/花萼在線識別[J]. 農業機械學報, 2015, 46(7): 1-9.

[12] 李慶中, 汪懋華. 基于分形特征的水果缺陷快速識別方法[J]. 中國圖象圖形學報, 2000, 15(2): 144-148.

[13] 宋怡煥, 饒秀勤, 應義斌. 基于DT-CWT和LS-SVM的蘋果果梗/花萼和缺陷識別[J]. 農業工程學報, 2012, 28(9): 114-118.

[14] ZHANG Dong, LILLYWHITE K D, LEE D J, et al. Automated apple stem end and calyx detection using evolution-constructed features[J]. Journal of Food Engineering, 2014, 119(3): 411-418.

[15] 張保華, 黃文倩, 李江波, 等. 基于亮度校正和AdaBoost的蘋果缺陷在線識別[J]. 農業機械學報, 2014, 45(6): 221-226.

[16] UNAY D, GOSSELIN B. Stem and calyx recognition on ‘Jonagold’ apples by pattern recognition [J]. Journal of Food Engineering, 2007, 78(2): 597-605.

[17] 謝徵, 田建艷, 王芳, 等. 基于幾何參數特征與決策樹支持向量機的豬只姿態分類[J]. 黑龍江畜牧獸醫, 2015, 19(10): 21-25.

[18] 劉佳男. 基于機器視覺的水果表面缺陷識別方法的研究[D]. 無錫: 江南大學, 2012: 43-54.

[19] 岡薩雷斯. 數字圖像處理的MATLAB實現[M]. 北京: 清華大學出版社, 2013: 412-415.

[20] 郭永豪. 蘋果圖像特征提取與分類算法的研究與應用[D]. 重慶: 重慶大學, 2010: 6-18.

[21] 郭依正, 朱偉興, 馬長華, 等. 基于Isomap和支持向量機算法的俯視群養豬個體識別[J]. 農業工程學報, 2016, 32(3): 182-187.

[22] 宋怡煥. 蘋果果梗/花萼與缺陷的紋理特征識別方法[D]. 浙江: 浙江大學, 2012: 16-38.

[23] 侯文軍. 基于機器視覺的蘋果自動分級方法研究[D]. 南京: 南京林業大學, 2006: 26-32.

[24] 劉靜, 黃勇平, 章程輝. 視覺系統開發模塊在芒果果面缺陷檢測中的應用[J]. 食品與機械, 2009, 25(2): 82-85.

[25] 劉洋, 王濤, 左月明. 基于支持向量機的野生蘑菇近紅外識別模型[J]. 食品與機械, 2016, 32(4): 92-94.

[26] 劉靜, 管驍, 易翠平. 近紅外光譜技術結合支持向量機對食用醋品牌溯源的研究[J]. 食品與機械, 2016, 32(1): 38-40.

[27] 施冬艷. 基于GA-PSO優化分層DT-SVM混合核的遙感圖像分類及其應用[D]. 南京: 南京郵電大學, 2014: 41-46.

[28] 厲小潤, 趙光宙, 趙遼英. 決策樹支持向量機多分類器設計的向量投影法[J]. 控制與決策, 2008, 23(7): 745-750.

[29] 何海龍, 程明. 基于優化SVM-DT的閥門故障診斷方法[J]. 計算機工程與設計, 2016, 37(7): 1 932-1 936.

[30] SAHBI H, GEMAN D. A Hierarchy of Support Vector Machines for Pattern Detection [J]. Journal of Machine Learning Research, 2006, 7(2): 2 087-2 123.

[31] 謝徵. 基于決策樹支持向量機的豬只姿態分類與異常行為分析[D]. 太原: 太原理工大學, 2015: 36-49.

DetectiononsurfacedefectofapplesbyDT-SVMmethod

During the process of apple blemish detection based on machine vision technology, due to the color similarity between stem/calyx and blemish, which greatly decreases the accuracy in apple detection, a method was proposed based on Decision Tree-Support vector machine (DT-SVM) to solve the challenge problem. Firstly, the single threshold method is used to remove the background. Then in the R channel, Connected Component Labeling method and Otsu method were employed to extract object regions (stem, calyx, blemish)，which were used to compute the color, texture and shape features. In the end, adopted the DT-SVM method to distinguish blemishes from the stem and calyx of apple images. By conducted on 600 apple images, the average accuracy of experiments was 97.7%. Compared to 1-V-1 SVM method and AdaBoost method, the DT-SVM method had a higher accuracy and less time-consuming, which could actually validate the effectiveness of the proposed method in recognizing the blemish of the apples.

apple; surface defect detection; recognize; stem/calyx; DT-SVM

中央高校科研業務費課題(編號：XDJK2016A007)；博士啟動基金項目(編號：SWU114109)；中央高校基本科研業務費雙創項目(編號：XDJK2016E050)

邱光應，男，西南大學在讀碩士研究生。

彭桂蘭(1966—)，女，西南大學教授，博士。

E-mail：pgl602@163.com

10.13652/j.issn.1003-5788.2017.09.028