基于機器視覺的蘋果在線分級

李 頎 胡家坤 -

(陜西科技大學電氣與控制工程學院，陜西 西安 710021)

目前，蘋果的分級主要靠人工完成，該方法存在主觀誤差大、效率低和蘋果易造成二次損傷等問題。隨著機器視覺技術的快速發展，圖像處理在水果質量檢測方面也取得了深入進展[1]。Yang等[2]提出了基于多圖像特征和加權k均值聚類算法的蘋果自動分級方法，該方法能快速有效地將蘋果按質量進行分級，但并不能實現蘋果缺陷類型的具體區分。Li等[3]提出了基于蘋果大小、顏色和果形特征的決策信息融合方法，利用BP神經網絡分類器進行分類,然后將分類器的輸出進行組合構造基本概率分類器，根據D-S融合規則進行決策，但其分級準確率較低。王陽陽等[4]采用同態濾波和改進的K-means算法對蘋果圖像進行了背景分割和特征提取，但只能處理蘋果的一個面，因此準確率較低。石瑞瑤等[5]利用鏡面反射的原理采集蘋果側面，再結合正面圖像進行處理，對鏡子中的圖像進行分割，增加了識別時間和分級效率。于蒙等[6]將彩色圖片HSI模型中S通量分離出來，采用神經網絡對是否存在缺陷進行判斷，但該方法樣本大，訓練速度慢，增加了系統運行時間，降低了分級效率。

試驗擬通過采集視野內蘋果的正面和側面圖，綜合兩個面的特征對蘋果進行分級，通過粒子群優化的SVM決策樹算法將蘋果分為特級果、一級果、二級果和等外果，以增加蘋果在線分級的準確度并提高分級效率。

1 材料與方法

1.1 試驗材料

紅富士蘋果[7]：綜合GB/T 10651—2008以及NY/T 1075—2006，根據蘋果果徑、果形、著色度、疤痕和果銹特征將紅富士蘋果劃分為特級果、一級果、二級果和等外果，如表1所示。試驗樣本為經人工嚴格揀選的各等級紅富士各100個，試驗地點為西安品誠電子科技有限公司。

表1 紅富士外觀等級分級標準

1.2 蘋果圖像采集

圖像采集裝置(圖1)包括傳送帶、黑色暗箱、LED燈、CCD彩色工業相機、PC、翻滾裝置以及光電傳感器。傳送帶尺寸為150 cm×40 cm；暗箱尺寸為40 cm×40 cm×40 cm；兩個長度為35 cm的LED補光燈置于暗箱頂部側面；CCD工業相機垂直懸掛于暗箱頂部中央位置，像素為300 W，最大分辨率為2 048×1 536，相機視場大小為40 cm×40 cm；光電傳感器位于暗箱入口處；翻滾裝置大小為40 cm×10 cm,最多可同時翻轉5個蘋果。

1. 傳送帶 2. 光電傳感器 3. 翻滾裝置 4. LED燈 5. CCD相機 6. PC 7. 暗箱

通過對蘋果果徑、果形、著色度、疤痕和果銹特征特點進行分析可知，根據蘋果上表面圖像可得出果徑特征，根據蘋果側面圖像可得到果形特征，根據果銹形成原因與分布特點可知其多分布于蘋果的上表面和側面。故為了提高分級準確性，綜合蘋果上表面和一個側面圖像特征對蘋果進行在線分級。

當光電傳感器檢測到有蘋果完全進入后，相機開始采集圖像。首先，將蘋果果梗擺放在與傳送帶運動方向垂直的方向上，此時攝像頭采集一幅蘋果上表面圖像，經翻滾裝置后攝像頭采集一幅蘋果側面朝上的圖像。為了保證采集到的圖像清晰且光線均勻，在暗箱內部兩側靠近頂部的位置安裝兩個相互對稱的LED補光燈。

1.3 背景分割

1.3.1 圖像預處理 系統通過攝像頭采集蘋果圖像，由于蘋果表面光滑，光線容易發生反射，所拍攝到的果面可能會因為角度和光照影響出現光照不均現象，故采用同態濾波方式對圖像進行增強，采用中值濾波方式消除噪聲。同時，為了提高蘋果在線分級的效率，僅對感興趣區域進行背景分割與特征提取；最后綜合兩幅不同位姿的蘋果圖像信息對蘋果進行分級。

1.3.2 背景分割 為了從蘋果圖像中提取出蘋果輪廓，一般采用邊緣檢測、閾值分割、區域提取3種方法。由于光照、拍攝角度等問題，單一的閾值又不利于多峰圖像的分割，在復雜背景下容易出現欠分割、過分割等問題，所以采用全局閾值分割效果并不理想。自適應Ostu閾值分割算法可以通過自動計算最佳閾值對圖像中的蘋果進行提取。泛洪填充算法是從一個點開始，將其附近像素點依次填充成新的顏色，直到封閉區域內的所有像素點均被填充成新顏色為止，采用泛洪填充算法將圖像中與背景顏色相近的部分填充成黑色，可以突出背景與前景的差距。故采用泛洪填充+自適應Ostu的算法進行背景分割，使Ostu自適應分割效果更加顯著，具體步驟如下。

(1) 將輸入的原圖[圖2(a)]進行圖像預處理。

(2) 對預處理后的圖像進行泛洪填充，計算得到圖像高度h和寬度w，種子點(w-1,h-1)，填充的顏色RGB新值為(0，0，0)，相對于種子點向下的像素值為(10，10，10)，向上的像素值為(9，9，9)，采用8領域填充法進行填充，結果如圖2(d)所示。

(3) 假設圖2(d)前景與背景分割閾值為t，前景點占圖像的比例為W0，均值為U0，背景點占圖像的比例為W1，均值為U1。那么，整個圖像的均值為：

U=W0×U0+W1×U1。

(1)

目標函數為：

g(t)=W0×(U0-U)2+W1×(U1-U)2。

(2)

其中g(t)是分割閾值為t時的類間方差表達式。Ostu算法可以使g(t)取得全局最大值，當g(t)達到最大時，所對應的t被稱為最佳閾值，處理結果如圖2(f)所示。

由圖2可知，未進行泛洪填充處理的圖像灰度直方圖存在兩個尖峰，對原圖進行Ostu分割后的邊緣較差，存在欠分割問題；經泛洪填充后的圖像直方圖尖峰明顯，進行Ostu分割處理效果很好，證明了試驗方法是可行的。

圖2 圖像分割過程與比較

1.4 特征提取

1.4.1 果徑 根據鮮蘋果分級標準可知，蘋果果徑等于蘋果的最大橫截面直徑。故采用最小外接圓法對蘋果上表面的二值化圖像進行計算，得到蘋果果徑，結果如圖3所示。

圖3 最小外接圓

首先按式(3)計算出最小外接圓的質心(Cx,Cy)。

(3)

式中：

Cx——質心的橫坐標；

Cy——質心的縱坐標；

M10——二值圖中水平向右的像素個數；

M00——總像素個數；

M01——垂直向下的像素個數。

將圖像的質心作為蘋果輪廓的圓心，遍歷輪廓上所有像素點，計算出目標像素點離質心的最大距離d，即最小外接圓的半徑。

(4)

式中：

xi——目標像素點的橫坐標；

yi——目標像素點的縱坐標；

d——兩點之間的距離。

R=f(2d),

(5)

式中：

R——果徑，mm；

f(x)——實際尺寸大小R與最小外接圓d之間對應的關系。

通過游標卡尺測量30個蘋果的真實半徑，使用CurveExpert軟件對f(x)進行擬合可得：

f(x)=0.843 6x-6.941 3。

(6)

1.4.2 果形 根據GB/T 22444—2008，按式(7)計算果形。

(7)

式中：

K——果形指數；

L——果實最大縱徑，mm；

D——果實最大橫徑，mm。

為了獲取果實的最大縱徑，對蘋果側表面圖像進行處理。利用最小外接矩形法提取蘋果的最大橫徑與最大縱徑，結果如圖4所示。

圖4 果形提取

1.4.3 著色度 目前，常用的彩色模型包括RGB模型和HSV模型。其中HSV模型更符合人眼對顏色的認知，是面向彩色處理最常用的模型，其中H為色度、S為飽和度、V為明度[8]。故選擇在HSV顏色空間上對蘋果的著色度、疤痕和果銹特征進行提取。

根據紅富士蘋果分級標準可知，蘋果著色度為統計集中著色面，條紅或者片紅的程度。通過統計兩幀圖像中紅色所占的比例，得出紅富士蘋果的著色度。

首先將RGB圖轉換成HSV圖，然后選取紅色的提取范圍H(156～180)、S(43～256)、V(46～255)。經閾值處理后統計圖像中白色像素點個數，按式(8)計算蘋果的著色度。

(8)

式中：

C——著色度；

C1——第一幀蘋果的著色度；

C2——第二幀蘋果的著色度；

r1——第一幀圖像閾值處理后白色像素點個數；

r2——第二幀圖像閾值處理后白色像素點個數；

s1——第一幀整個蘋果像素點個數；

s2——第二幀整個蘋果像素點個數。

蘋果著色的提取結果如圖5所示。

圖5 著色度提取

1.4.4 蘋果缺陷 蘋果在生長、采摘和運輸過程中受天氣、病害、蟲害和碰傷等傷害產生疤痕。蘋果果銹是一種比較常見的蘋果病害，特別是在中小果園種植的紅富士蘋果中最為常見，故將疤痕和果銹特征參數作為蘋果缺陷的判定依據。由于果梗處的顏色較深，比較容易被判定為疤痕，為了消除此影響，將除果梗處的蘋果區域視為感興趣區域。

為了提取蘋果疤痕和果銹特征，首先將采集到的蘋果圖像由RGB空間轉換到HSV空間，并且分離出圖像的H(色相)、S(飽和度)和V(亮度)通道圖像，如圖6、7所示。

圖6 蘋果疤痕圖像及HSV各通道圖像

圖7 蘋果果銹圖像及HSV各通道圖像

由圖6、7可知，蘋果的疤痕和果銹的亮度較暗，故根據蘋果HSV圖像的亮度值對蘋果的疤痕和果銹進行特征提取。通過分析疤痕和果銹圖像特點，將感興趣區域中像素點在V∈(120～140)的區域視為疤痕區域，V∈(150～180)的區域視為果銹區域。按式(9)計算蘋果疤痕和果銹。

(9)

式中：

S——疤痕面積，cm2；

G——果銹面積，cm2；

n1——V∈(120～140)像素點個數；

n2——V∈(150～180)像素點個數。

1.5 蘋果分級

由于SVM算法在小樣本訓練集上的分類效果相比于其他分類算法有較好的表現，可以提高模型的泛化能力，能夠處理高維空間的數據，故選擇SVM算法對蘋果進行分類。但SVM算法最初是針對二分類問題提出的[9]，并不能直接應用于多分類問題，由于試驗將蘋果分為多個等級，因此選擇多分類SVM分類器對蘋果進行分級。

SVM分類器的懲罰參數C與核參數σ對最后的分類結果影響非常大，所以需對其進行優化選取。而粒子群算法有著很好的全局尋優能力，可以有效解決非線性問題，收斂速度快，但容易陷入局部最優[10]，故采用基于改進粒子群算法的SVM決策樹的分類方法進行蘋果分級工作，可以克服決策樹本身對門限敏感和錯誤傳遞的缺陷[11]。

對蘋果樣本進行果徑、果形、著色度、疤痕和果銹特征的提取，然后將特征參數送入SVM決策樹分級模型，通過分級模型將蘋果分為特級果、一級果、二級果和三級果。

1.5.1 SVM分類器的設計 假設訓練樣本為(xi，yi)，i=1,2,…,l，xi∈Rn，yi∈{-1，1}，l為樣本個數，n為輸入維數。當兩類樣本為線性可分時，選擇線性分類器的目標函數為：

(10)

當訓練集樣本為線性不可分時，需引入松弛變量與懲罰參數，經優化的目標函數為：

(11)

式中：

w、b——待求系數；

ζ——松弛變量(可由經驗值得到)；

C——懲罰參數(控制松弛變量造成的影響)。

由于采集到的特征值所對應的特征向量為高維特征向量，在低維空間線性不可分，故采用徑向基核函數對上述目標函數進行求解，其數學表達式為：

(12)

式中：

‖x1-x2‖——向量間的距離；

σ——給常數(可由改進的粒子群優化算法進行選取)。

(1) 首先將{C、σ}映射成一個粒子，然后對種群的大小、最大迭代次數、C與σ的取值范圍、粒子的初始位置以及速度進行初始化。

(2) 根據適應度函數計算適應度值，然后通過排序確定粒子群的全局歷史最優值。

(3) 更新迭代新粒子的位置及速度。采用動態的慣性權重，其上限為0.9，下限為0.4，可以使得粒子群前期注重全局尋優，后期注重局部尋優，慣性權重隨迭代次數增加而降低。

(4) 迭代終止，輸出最優懲罰參數C和核參數σ。

通過改進的粒子群優化算法得到SVM參數，建立SVM二分類器，為建立SVM決策樹模型作好準備。

1.5.2 SVM決策樹模型的建立 根據紅富士蘋果分級標準，將紅富士蘋果分成特等果、一級果、二級果和等外果4個類別。若采用SVM算法進行4分類需要構造一個三級SVM分類模型，模型比較復雜，訓練耗時，會降低蘋果在線分級的效率。故為了降低模型的復雜度，提高蘋果在線分級效率，采用決策樹+SVM多分類模型結合的方法進行蘋果分級。

由于等外果的果徑、果形、著色度、疤痕以及果銹特征參數與其他幾個級別蘋果的特征參數差別較大，故首先進行等外果等級的判定。假設蘋果圖像提取到的五維特征為η=[R，K，C，S，G]，將果徑、果形和著色度特征參數設為一組η1=[R，K，C]，將疤痕與果銹特征參數設為一組η2=[S，G]，將等外果設定閾值設為η01=[0.6，0.5，0.55]和η02=[0.5,0.1]。模型首先對輸入樣本進行等外果等級判斷，當η1<η01或η2>η02時，系統將其判定為等外果，不再進行后續處理并直接輸出結果。當η1≥η01且η2≤η02時系統將其判定為等內果并進行后續的分級處理。SVM決策樹模型如圖8所示。

圖8 SVM決策樹模型

試驗采用SVM分類器級連+決策樹的方式建立分級模型，樣本在經決策判斷后被送入SVM1分類器中，被分成特級果以及次級果，然后次級果被送入SVM2分類器中，被分成一級果以及等外果。

2 結果與分析

試驗是在Intel 酷睿i7處理器，運行內存16G的電腦上進行。編程環境是python 3.5.4以及opencv 4.1.1。采用200萬像素無畸變工業CCD相機進行蘋果圖像采集，分辨率為1 280×760，幀率為60。

對采集到的第一幀蘋果圖像進行輪廓的提取，采用最小外接圓法得到蘋果的像素直徑，然后將其與通過游標卡尺測量的蘋果真實果徑進行擬合處理，部分樣本數據如表2所示。

表2 部分樣本數據

經曲線擬合可以獲得像素點個數與實際尺寸之間的關系，其平均誤差為1 mm，可以滿足實際需求。

試驗前，挑選出經人工嚴格分揀的各級紅富士蘋果100個，隨機選取其中各50個作為SVM決策樹模型的訓練樣本，其余樣本作為測試樣本。將200個訓練樣本嚴格按照等級依次擺放在傳送帶上。將樣本的果徑、果形、著色度、疤痕和果銹5個特征作為模型的輸入，通過粒子群優化算法對SVM1分類器和SVM2進行參數的選擇，最終完成整個SVM決策樹模型的訓練。將粒子群優化算法的種群數量設置為20，最大迭代次數設置為100，得到SVM1的懲罰參數C1=15.6，核參數σ1=3.4，SVM2的懲罰參數C2=17.2，核參數σ2=7.8，其粒子群的適應度變化曲線如圖9所示。

圖9 適應度變化曲線

然后用剩下的200個蘋果對試驗中的方法進行驗證，將各等級的50個樣本排序放置于傳送帶上，基于機器視覺技術，提取蘋果的多個特征，利用SVM決策樹模型對蘋果進行在線分級，結果如表3所示。以人工分級為標準，特級果、一級果、二級果和等外果的分級準確率分別為96%，94%，98%，98%，總體準確率為96.5%，由此驗證了文章提出的方法的準確性和可行性。同時，在試驗環境下，當傳送帶運行速率為0.3 m/s時，平均分級速度為4個/s，高于人工分級，可以滿足蘋果在線分級的需求。

表3 分級檢測結果

采用試驗方法對紅富士蘋果進行在線分級，分級準確率較高，但仍對個別樣本做出了誤判，分析其原因主要有：

(1) 人工原因：當人工對蘋果樣本進行標注時，可能會出現個別蘋果標注不準確，造成了分級結果與人工對比時出現了差別，造成了誤判。為了消除此影響，后續將采用多重人工標注法，確保人工標注的準確性。

(2) 外部原因：系統可能受到傳送帶速度不穩，及光源不穩定等問題的影響，造成蘋果等級的誤判，后續將對裝置進行改進，采用獨立穩壓電源進行供電。

(3) 視覺原因：由于視覺成像限制，無法采集到整個蘋果的所有圖像，存在誤判的可能，后續將針對這一問題，在傳送帶兩側放置機械臂與攝像頭，攝像頭采集機械臂抓舉后蘋果的側面與底面圖像，提升系統的分級準確性。

3 結論

文章提出了基于機器視覺的蘋果在線分級方法，通過對預處理圖像采取泛洪填充+自適應Ostu閾值分割算法提取蘋果輪廓，采用改進的粒子群優化的SVM決策樹模型對采集的蘋果進行分級。結果表明，蘋果分級的平均準確率和效率分別達到了96.5%和4個/s，證明了試驗方法的可行性。但分級過程中仍存在個別誤判現象，為后續研究的改進之處。