基于機器視覺的蘋果缺陷快速檢測方法研究

高 輝馬國峰劉偉杰

(1. 鄭州鐵路職業技術學院人工智能學院，河南 鄭州 451460； 2. 河南工業大學機電工程學院，河南 鄭州 450001)

缺陷檢測是水果等級劃分的重要組成部分，而水果缺陷多樣復雜，所以水果缺陷的快速檢測一直是研究的熱點問題[1]。目前，中國蘋果分揀仍以手工為主，成本高、效率低。隨著計算機視覺技術的不斷發展，在農產品的檢測中應用越來越廣泛。機器視覺工作模式更加主動，質量判斷標準更加客觀具體，具有較強的可執行性和非接觸工作模式[2]。

近年來，國內外的研究人員對水果缺陷檢測技術進行了大量研究，并取得了許多優異的成果，但很少有研究能夠快速檢測出水果缺陷。項輝宇等[3]使用基于Halcon的圖像處理方法對蘋果的大小、顏色和缺陷進行研究，完成了水果輪廓的提取及面積的計算。結果表明，該算法對蘋果大小、缺陷等檢測效果較好。薛勇等[4]提出了一種基于Google Le Net的深度遷移模型來檢測蘋果缺陷，并將Google Le Net與淺層卷積神經網絡和傳統機器學習技術進行了比較。結果表明，與常用的蘋果缺陷檢測算法相比，該方法具有更好的泛化能力和魯棒性。李紅娟等[5]將混沌多空間算法應用于蘋果的缺陷檢測，利用邏輯映射對個體進行混沌優化，利用改良的Otsu算法分割蘋果的缺陷區域。經試驗驗證該算法對蘋果表面缺陷檢測效果清晰，各種缺陷檢測準確率高。劉云等[6]將卷積神經網絡應用于蘋果缺陷檢測中，背景分割算法基于RGB顏色分量，并使用漸進學習方法確定訓練樣本的數目。經試驗驗證該算法的檢測速度為5次/s，準確率高達97.3%。上述研究為基于機器視覺的快速缺陷檢測技術提供了理論依據，但存在分級過程復雜、效率低等缺點。

基于上述研究，文中擬提出一種基于機械視覺的蘋果缺陷快速檢測方法，采用自動亮度校正技術消除蘋果表面亮度的不均勻性，根據缺陷候選區域的數量對蘋果進行初步判斷，并使用加權相關向量機進一步對有缺陷的蘋果進行判斷，以期為蘋果缺陷檢測技術的發展提供依據。

1 機器視覺系統概述

為了解決手動分類精度差的問題，國內外制造商已開始使用機器視覺對蘋果質量進行分類。機器視覺技術具有高速、高精度和性能穩定等優點[7]。在醫學和農業等領域應用廣泛，并取得了巨大的經濟效益。

常規識別中，首先通過照相機捕獲樣本圖像，然后將圖像發送到處理單元(例如計算機)。通過數字處理可以掌握目標區域的顏色、紋理、大小和形狀等特征[8]。然后通過一系列判斷條件獲得識別結果，從而實現機器視覺系統的識別功能。機器視覺系統通常由相機、光源、計算機和圖像處理軟件等組成。圖1為系統結構圖。

2 缺陷檢測

缺陷檢測過程[9]如圖2所示。

2.1 圖像預處理和背景分割

缺陷檢測的正確性除了取決于特征選擇，還取決于圖像質量。在圖像處理前采用3×3高斯濾波器降低噪音對特征提取和選擇的影響[10]。為了提高處理速度和降低環境干擾，得到了蘋果圖像的掩模圖像，掩模圖像僅包含蘋果本身，背景被分割并移除。由于試驗圖像背景為黑色，背景亮度低于蘋果區域的亮度[11]。考慮到NIR圖像中背景和蘋果區域亮度對比度明顯，將蘋果NIR圖像進行二值化(閾值28)，構建蘋果掩模圖像。同時，使用形態填充算法來消除背景分割的缺陷區域。在試驗過程中，<500像素的連接區域被視為較小的連接區域，這些區域被填充。

通過式(1)可以得到NIR蘋果圖像的背景分割。

(1)

式中：

IMGBgr(x,y)——背景移除圖片；

IMGOrg(x,y)——原始彩色圖像；

1. 相機 2. 光源 3. 被檢測物體 4. 輸送結構

IMGMask(x,y)——掩膜圖像。

2.2 亮度校正

蘋果可以近似地看成朗伯體。根據朗伯反射定律，蘋果表面任意一點的亮度ID為入射光的強度IL與點法向量和光源形成的角θ余弦值乘積，如式(2)所示[12]。

ID=IL×cosθ。

(2)

在機器視覺系統中，蘋果入射光強度近似相等，夾角θ為蘋果表面亮度不均勻的最主要原因。亮度校正方法如圖3所示。蘋果表面不同區域的點是不同的，蘋果邊緣區域的點θ值小于中心區域。因此，邊緣的亮度低于中心亮度。這與蘋果圖像中心亮度高、邊緣亮度低的現象是一致的。以朗伯體頂部中心為圓心，半徑r和寬度Δr的圓環A內近似的認為所有元素的亮度相同。

因此，可以根據式(3)計算出環A中所有像素的平均亮度[13]。

圖2 缺陷檢測流程

圖3 亮度校正方法

(3)

式中：

IM——圓中所有像素的平均強度；

Ii——圓A中第i個元素的亮度值；

N——圓A中像素的總個數。

環A中像素的亮度校正通過式(4)計算[14]。

(4)

式中：

IRi——第i個像素通過校正的亮度值。

當Ii>IM時IRi=255，當Ii

2.3 初步分類

校正后，缺陷、花梗和萼片這些區域亮度較低，正常區域亮度增加。試驗過程中，將真正的蘋果、果梗和花萼等作為蘋果初步分類的候選區域。采用單閾值分割算法可以輕松地從修改后的圖像中分割出候選缺陷區域[15]。

根據從蘋果圖像分割的缺陷候選區域的數量可以預測蘋果是否存在缺陷。如果候選缺陷數量為2個或更多，該蘋果存在缺陷；如果候選缺陷數量為1個，則無法確定蘋果是否存在缺陷。

為了將缺陷候選區域與實際缺陷、果梗和花萼區分開，需要提取特征進行訓練，文中選擇6個平均顏色特征、1個R通道圖像統計特征和5個紋理特征。

從樣品的彩色RGB圖像中，通過直接或顏色空間轉換可以得到缺陷候選區域的6個顏色特征(R、G、B、H、S、I分量的平均值)。可以從對應像素的RGB分量中得到H分量的值，如式(5)所示[16]。

(5)

θ通過式(6)求得。

(6)

飽和度分量S通過式(7)求得[17]。

(7)

強度分量I通過式(8)求得。

(8)

候選區域的統計特征選擇與缺陷候選區域相對應的R分量的標準偏差，特征統計量如式(9)所示。

(9)

式中：

ti——缺陷候選區域對應的通道圖像中第i個像素的灰度值；

M——缺陷候選區域中的像素數。

在R通道圖像中，通過灰度共生矩陣提取紋理特征。包括熵、能量、相關性、轉動慣量和局部平穩性。

2.4 進一步分類

文中選擇相關向量機為缺陷候選區域分類算法。相關向量機(Relevance Vector Machine，RVM)是由Michael E. Tipping在貝葉斯模型基礎上提出的監督式機械學習算法[18]。

ti=y(xi;w)+εi。

(10)

則目標值遵循高斯概率分布，如式(11)所示。

p(ti|x)=N(ti|y(xi；w),σ2)，

(11)

式中：

N(ti|y(xi;w),σ2)——正態分布函數，其分布由ti、y(xi;w)以及方差σ2決定；

y(xi;w)——核函數確定的值，核函數由訓練樣本Φi(x)≡K(x,xi)確定，如式(12)所示[19]。

(12)

假設ti彼此獨立，在w和σ2條件下目標值t的完整概率如式(13)所示。

(13)

式中：

t=[t1,t2,…,tN]T——目標函數向量；

w——wi組成的權向量，w=[w1,w2,…,wN]T；

Φ——N×N的設計矩陣，Φ=[Φ(x1),Φ(x2),…,Φ(xN)]T。

(14)

對于每個權重，式(14)都有一個獨立的分布參數，可以降低先前分布的復雜度。

式(13)中，為了與最終函數匹配，需要在超參數α中加入噪聲函數σ2。該函數滿足如式(15)所示的伽馬分布比例函數。

(15)

為了保證這些參數無先驗知識，通常將其定為a=b=0。遵循基于貝葉斯定理的樣本先驗和似然分布，可以通過式(16)獲得w后驗概率分布。

(16)

式中：

Σ=(σ-2ΦTΦ+A)-1；

μ=σ-2ΣΦTt；

Ω=σ-2I+ΦA-1ΦT；

A=diag(α0,α1,…,αN)。

RVM算法中的模型權值的最大后驗估計依賴于參數α和方差σ2，通過最大似然邊界分布得到α∧和σ2∧。最優權值的不確定性可以表示模型預測中的不確定性。預測目標值如式(17)所示。

(17)

在此，需要通過最大后驗估計來預測α和σ2，如式(18) 所示[20]。

(αMAP,σ2MAP)=argmaxα,σ2p(t|α,σ2)，

(18)

式中：

通過將獲得的參數α和σ2估計值引入公式中，可以獲得如式(19)所示的目標值。

p(t*|t)=N(t*|y*,σ2*)，

(19)

式中：

y*=μTΦ(x*)；

3 試驗結果與分析

為了驗證校正與分割的效果，以不同尺寸、形狀和外觀缺陷不同的蘋果為例，驗證了亮度校正和候選缺陷分割算法的有效性。校正與分割圖如圖4所示。

從圖4(a)可以看出，試驗樣品存在不同的缺陷位置和數量，并且蘋果姿勢是隨機分布的。邊緣也有缺陷存在且接近正常表皮的亮度，使其難以直接分離。

為了對亮度效果進行加強，直接在R中使用閾值分割方法，未校正即從通道圖像中提取缺陷候選區域，結果如圖4(b)所示。由于蘋果圖像的亮度分布不均，通常無法檢測出蘋果圖像邊緣區域的缺陷。并且很容易被錯誤地判定為缺陷。

從圖4(c)可以看出，即使對亮度進行了校正，缺陷、果柄和花萼的亮度仍然較低，缺陷與正常果皮對比度增加。特別是在邊緣區域，對比度更大，這在提取缺陷候選區域方面是有利的。

圖4(d)為亮度校正后蘋果圖像中缺陷候選區域的分割結果。相比之下，該方法可以準確地識別出果實、果梗和花萼，可以很好地識別出蘋果邊緣缺陷，不會誤分割果實的邊緣。

先對缺陷候選區域進行分割，然后對缺陷候選區域的數量進行計數，標記為N。將蘋果樣品可分為3類：正常水果(N=0)，缺陷水果(N≥2)和待處理水果(N=1)。這3種典型形式，以及原始RGB圖像、亮度校正和分割結果如圖5所示。從圖5可以看出，經過校正和分割后，蘋果圖像第一列中的候選區域數量為0。即在相機的視場中沒有真實的缺陷、果梗、花萼等低亮區域，初步判斷樣品正常。

圖4 校正與分割

第2列和第3列分割缺陷候選區域后，分割的候選區域數N=1，缺陷可以為實際缺陷、果梗、花萼等。因此，不可能預先確定這種蘋果是否有缺陷或正常。因此，需要進一步的判斷。在蘋果圖像的第4列中，經過亮度校正和缺陷候選區域分割。分割出的候選區域的數量為N=2。

考慮到果梗和花萼不能在相機的同一視野中出現。蘋果樣品可以初步確定為有缺陷的水果。選擇區域數≥2的蘋果樣本也可以初步判斷為缺陷果。果梗和花萼在同一視野中無法同時出現。經證實，蘋果樣品是有缺陷的水果。

為了檢驗算法的性能，分別測試了500個無缺陷蘋果、250個只有一個缺陷的蘋果和250個不同缺陷數量的蘋果。每個蘋果采集一個圖像，然后人為控制水果的位置和姿勢。測試結果見表1。根據候選區域數N=0，在算法的初始識別階段，將照相機視場內的所有(250個)無果梗和花萼的蘋果正確判定為正常水果。當N≥2時，所有(250個)缺陷蘋果均被判定為有缺陷的水果。當N=1時，進一步判斷250個僅在相機視野中具有果柄或花萼的蘋果，其中，有246個為正常果實，有4個被判定為有缺陷蘋果。該檢測算法還確定了相機視野中的250個缺陷蘋果，其中245個是缺陷水果，5個誤判為正常水果。在1 000個樣本中，有991個被正確分類，總體識別準確率達到99.1%。

圖5 品質初步判斷

表1 檢測結果

4 結論

將自動亮度校正技術和加權矢量機相結合，實現了基于機器視覺的蘋果缺陷快速檢測。該檢測方法對1 000個測試樣本的識別準確率為99.1%。表明該方法對蘋果缺陷檢測效果較為清晰，各種缺陷檢測準確率比較高。考慮到試驗裝置和數據的規模，這項研究仍處于起步階段。后續將不斷改進和完善基于機器視覺的蘋果缺陷快速檢測方法。