基于機器視覺的香蕉果肉缺陷預測方法

張 錚 熊盛輝 王孫強 胡凌輝

(湖北工業(yè)大學機械工程學院，湖北 武漢 430068)

由于多種果蔬在成熟后果肉較軟，在采集、運輸過程中極易損傷果肉，果肉發(fā)生物理損傷后極易導致變質(zhì)。對果肉缺陷檢測的傳統(tǒng)方法一般采用肉眼對表皮的紋理顏色進行判別，但該方法主觀性強且誤差較大。機器視覺與圖像處理作為一種無損檢測方法[1]，對果蔬的紋理、顏色、大小、形狀具有較高效率的檢測識別。楊濤等[2]根據(jù)HSV顏色模型與圖像投影面積法對草莓的質(zhì)量進行評估，在采用加權法計算質(zhì)量與形狀評級分對草莓等級進行精準劃分，其準確率高達90%。項輝宇等[3]采用基于Halcon的圖像處理方法，依據(jù)RGB顏色模型，利用模板匹配法，實現(xiàn)對蘋果的缺陷檢測以及顏色識別。李國進等[4]提出了一種基于計算機視覺技術和極限學習機神經(jīng)網(wǎng)絡對芒果品質(zhì)的分級方法。李江波[5]以臍橙為研究對象，采用RGB成像技術、熒光高光譜技術和可見近高光譜技術對臍橙常見缺陷的檢測方法進行了探討。對于果蔬的視覺檢測已成為機器視覺領域的重要研究內(nèi)容。

目前基于視覺的香蕉成熟度分析與缺陷檢測已有一定的研究。胡孟晗等[6]以青香蕉為研究對象，利用計算機視覺對香蕉在成熟過程中的果皮顏色和紋理進行檢測，結果表明在香蕉成熟期的第6階段前的果皮狀況可用R、B均值的變化進行描述，第6階段后的果皮狀況可用共生矩陣的均勻度和對比度進行描述。趙文鋒等[7]以Matlab圖像處理技術為基礎，分割出香蕉圖像并進行圖像處理，最后根據(jù)香蕉果皮色素組成對香蕉成熟度進行檢測分級。綜上，多數(shù)研究者都是基于視覺對香蕉表皮進行檢測識別，而沒有進一步對香蕉內(nèi)部果肉的品質(zhì)缺陷進行預測分析。研究擬利用機器視覺技術獲取香蕉表皮與果肉圖像，經(jīng)圖像處理后，獲取有關缺陷的相關信息，將獲取到的信息通過函數(shù)擬合進行分析比對，以期在不剝開香蕉皮情況下對香蕉內(nèi)部果肉缺陷進行快速、準確的等級劃分。

1 基于機器視覺的圖像特征參數(shù)分析

1.1 圖像識別的材料與儀器

香蕉樣本來自農(nóng)副產(chǎn)品市場，在購置香蕉中隨機挑選40個果皮有不同程度黑斑的香蕉，其中20個作為訓練樣本，另外20個作為預測樣本。

利用機器視覺技術對圖像進行采集，機器視覺系統(tǒng)組成如圖1所示。采用型號為MV-CH089-10UC海康威視工業(yè)相機，獲取圖像像素為4 096×2 160，幀率為32 Hz，曝光時間為1/100 s，信噪比38 dB，對相機閃光燈選擇禁用狀態(tài)。相機鏡頭25mmZX-SF2520C，垂直位于樣品正上方40 cm處。光源采用ZX-LA7000環(huán)形光源，功率為10 W。對20個訓練樣本分別在4個不同方向進行圖像采集，采集到的一對典型香蕉表皮與果肉圖像如圖2所示。

圖1 機器視覺系統(tǒng)組成

圖2 采集的原始圖像

1.2 基于機器視覺的圖像處理

由于采集到的原始圖像黃色成分大于其他成分，黃色RGB值分布為225，225，0，因此通過強調(diào)紅色與綠色成分、抑制藍色成分的方法將原始圖像轉化為灰度圖像。具體方法如式(1)所示。

(1)

式中：

R、G、B——點(x，y)在原始圖像中紅、綠、藍的值；

pixel——點(x，y)處理結果后在灰度圖像中的灰度值；

K——灰度圖像對比值，可根據(jù)不同光照條件來取值。

將得到的灰度圖像進行平滑處理(或去噪聲)，采用均值濾波算法，用3×3的領域模板對灰度圖像進行卷積運算，去除尖銳噪聲，如圖3所示。

圖3 灰度圖像與濾波效果圖

采用雙閥值二值化[8-9]處理方法，根據(jù)式(2)對圖像進行二值化處理，將果皮圖像、果肉圖像、果皮黑斑、果肉缺陷進行提取。

(2)

式中：

g(x，y)——處理后的圖像在點(x，y)處的灰度值；

f(x，y)——處理前的圖像在點(x，y)處的灰度值；

t1、t2——雙閥值。

將圖像分割后，為減少后續(xù)特征參數(shù)與計算的誤差，對圖像分割區(qū)域進行形態(tài)學分析[10-11]。腐蝕與膨脹是形態(tài)學處理的基礎，為避免香蕉莖對香蕉果皮的特征參數(shù)提取造成干擾，且考慮到香蕉在成熟后會有少量黑色素形成黑斑(這些小黑斑并不表示香蕉果肉會有缺陷)，需對香蕉果皮圖像以及果皮黑斑圖像根據(jù)式(3)進行腐蝕運算：通過結構元素對二值圖像中的每一個像素點進行掃描，掃描過程中將結構元素與被覆蓋的像素點做“與”計算，如果計算結果均為1，則該圖像像素值為1，否則該值為0。圖像最后處理結果如圖4所示。

圖4 圖像處理效果圖

(fΘb)(s,t)=min{f(s+x,t+y)+b(x,y)(s+x,t+y)∈Df,(x,y)∈Db}，

(3)

式中：

f(x，y)——輸入圖像；

b(x，y)——結構元素。

1.3 圖像特征參數(shù)的提取與計算

試驗中圖像面積通過像素點的總和來表示。對20個訓練樣本通過圖像采集、圖像處理后，提取其中各圖像像素點數(shù)量，并將4個不同方向的圖像像素點數(shù)進行相加，進行相加后的值分別作為香蕉的果皮總面積、果肉總面積、果皮黑斑總面積與果肉缺陷總面積，通過提取出來的果皮與果肉特征參數(shù)計算出訓練樣本香蕉的黑斑度與缺陷度，見表1。其中香蕉果皮黑斑度通過果皮的黑斑面積與果皮的整體面積之比來表示，香蕉缺陷度通過果肉的缺陷面積與果肉的整體面積之比來表示，缺陷度越大，表示香蕉果肉損傷越嚴重。根據(jù)農(nóng)業(yè)部行業(yè)標準(NY/T 3193—2018)對香蕉等級規(guī)格的分類，可得出不同缺陷度范圍香蕉果肉等級的劃分，見表2。

表1 訓練樣本中香蕉圖像像素點的統(tǒng)計、計算與等級劃分

表2 香蕉果肉等級缺陷度統(tǒng)計范圍

2 果肉缺陷預測模型

2.1 果肉缺陷預測的數(shù)學模型

(4)

式中：

a0，a1，a2，a3——多項式系數(shù)。

求出a0，a1，a2，a3，擬合出多項式：

(5)

原始函數(shù)圖形與擬合函數(shù)如圖5所示。由圖5可知，原始圖像與擬合圖像差距較小。為了進一步精確評估原始函數(shù)圖形與擬合函數(shù)的差距，繼續(xù)對擬合函數(shù)進行殘差分析：

圖5 訓練樣本函數(shù)圖像與擬合函數(shù)圖像

(6)

式中：

ei——第i個觀測值殘差；

yi——第i個觀測值；

訓練樣本殘差圖如圖6所示。由圖6可知：訓練樣本殘差分布在值域[-1.0×10-3，1.5×10-3]，殘差值分布區(qū)間較小，整體擬合范圍也呈現(xiàn)出均勻擴散狀態(tài)，訓練樣本殘差值與其變量黑斑度不相關且相鄰殘差不具有自相關性(當前殘差值無法預測到下一個殘差值)。分析可知此擬合函數(shù)模型較為準確。

圖6 訓練樣本殘差圖

2.2 果肉缺陷預測的準確率分析

根據(jù)1.2節(jié)的圖像處理與1.3節(jié)的特征參數(shù)提取計算，將采集到的預測樣本通過擬合函數(shù)進行缺陷度的預測，根據(jù)預測結果對香蕉進行等級劃分，如表3所示。

表3 預測樣本數(shù)據(jù)

將預測樣本進行等級劃分并計算出準確率，見表4。由表4可知：通過預測模型對香蕉等級劃分，總準確率達到88.9%，其整體分類準確性較高。分別對每個等級預測準確率分析可知，一等品的預測準確率為91.7%，二等品的預測準確率為100.0%，三等品的預測準確率為75.0%，三等品的預測準確率低于一等品與二等品，這是因為三等品香蕉果皮的黑斑分布較廣且較為密集，在進行圖像處理時對果皮黑斑像素提取產(chǎn)生誤差，造成試驗數(shù)據(jù)的線性度較差，從而對預測的準確率造成一定的影響。

表4 預測樣本等級劃分準確率

以相同的20個預測樣本為研究對象，基于文獻[7]中對香蕉成熟度分析的研究，將圖像處理后的香蕉，提取出香蕉果皮色素直接對香蕉進行等級劃分，計算出總準確率為82.5%，對比由果肉缺陷的預測值進行等級劃分，其準確率低了6.4%。在缺少對香蕉果肉缺陷的預測情況下，無法對香蕉果肉進行一個良好的評估，從而導致等級劃分的準確率較低。

3 結論

(1) 基于機器視覺對香蕉果皮表面進行圖像處理，提取訓練樣本中香蕉果皮與果肉的表面特征參數(shù)，計算出果皮的黑斑度與果肉的缺陷度；將黑斑度作為函數(shù)輸入，缺陷度作為函數(shù)輸出，根據(jù)多項式擬合尋找出數(shù)據(jù)的最佳函數(shù)匹配，建立預測模型。

(2) 通過匹配結果進行殘差分析，殘差圖中各點分布具有恒定均勻擴散性，殘差與變量黑斑度不具有相關性且相鄰殘差之間不具有自相關性，該擬合函數(shù)可以對香蕉果肉的缺陷度進行準確的預測判斷。通過果肉缺陷的預測值，對香蕉果肉品質(zhì)進行等級劃分，避免了人工選擇的主觀性。基于文獻[7]中對香蕉成熟度分析的研究，僅提取果皮色素直接對香蕉進行等級劃分，試驗基于香蕉內(nèi)部果肉的缺陷預測值，其等級劃分更為精準高效，將總準確率提高了6.4%，達到88.9%。

(3) 后續(xù)研究中，可進一步結合香蕉果皮表面其他特征參數(shù)，如紋理特征反映的方向性、規(guī)則性、粗糙度等特征類型，進行權重分布分析，進一步提高對果肉缺陷程度的精準預測。