基于機器視覺的甜瓜成熟度判別研究

許德芳，趙華民，許建東，張淑娟

（山西農業(yè)大學工學院，山西晉中 030801）

甜瓜是我國產量最大的水果之一，其香味濃郁、質感甜脆，深受消費者的喜愛。雖然每年的甜瓜產量很大，但是甜瓜的種植、分揀等過程依然大部分依靠人工，機械化和智能化程度較低。特別是采摘后甜瓜的分揀多采用人工進行，效率低下，不利于甜瓜分級的標準化。為研究甜瓜的自動化分級系統(tǒng)，采用機器視覺技術結合卷積神經網絡基于Pytorch深度學習框架進行甜瓜成熟度判別研究，為甜瓜自動分級設備的研發(fā)提供理論基礎。

機器視覺主要是指通過CMOS或CCD傳感器獲取對象圖像，然后用機器代替人眼來做測量和判斷[1]。機器視覺檢測技術較傳統(tǒng)人工分選可以大大提高效率，已被應用于各行各業(yè)。應用于農產品的質量檢測和分級，能夠大大減少勞動力資源的浪費，提高生產效率。近幾年受到大量農業(yè)方面研究學者的重視。劉鴻飛等人[2]基于機器視覺研究了溫室番茄裂果的檢測技術。潘思慧[3]采用機器視覺技術結合電子鼻技術研究了番茄貯藏過程中成熟度的變化，并建立了番茄成熟度識別的K-近鄰模型和支持向量機模型。張小花等人[4]研究了基于機器視覺的果園成熟柑橘快速識別及產量預估方法。祁雁楠[5]研究了基于機器視覺的馬鈴薯瘡痂檢測方法。張慶怡[6]、石瑞瑤[7]、凌強等人[8]采用機器視覺技術分別研究了蘋果的在線分級系統(tǒng)和分級方法。袁雷明[9]用機器視覺結合近紅外光譜技術研究了巨峰葡萄品質無損檢測技術，提高鮮食葡萄品質分級的客觀性與時效性。還有其他學者采用機器視覺對梨[10]、獼猴桃[11-12]等水果的分類和加工等進行了研究，不過對薄皮甜瓜的研究還比較少。

機器視覺目標圖像分類的方法主要由K-means[13-14]、隨機森林法[15]、支持向量機（SVM）[16-18]等傳統(tǒng)的機器學習方法，還有深度學習卷積網絡方法[19-21]等。因為甜瓜成熟度的判別主要是顏色跟紋理的判別，并且樣本較少。在這一方面，有學者發(fā)現在樣本數量較少時，傳統(tǒng)的機器學習方法比使用深度學習方法具有較高的識別精度，并且更容易根據模型的精度調節(jié)不同的訓練特征[22-23]。所以選用傳統(tǒng)的機器學習方法LS-SVM進行甜瓜成熟度判別。

1 材料和方法

1.1 試驗樣本

研究所用甜瓜樣本取自山西太谷縣侯城鄉(xiāng)王海莊村某農戶溫室內，同一品種不同成熟階段的甜瓜，外表無缺陷的樣本進行試驗。

根據甜瓜的生長階段，甜瓜未成熟時為綠色，半成熟時由綠轉白，成熟后由白轉為黃色。試驗采集未成熟期、半成熟期、成熟期3個不同生理時期。研究選取甜瓜樣本共計195個，未熟期樣本55個，半熟期樣本60個，成熟期樣本80個。采摘后運回實驗室，并立即開始試驗。

1.2 圖像采集方法

甜瓜圖像采集裝置見圖1。

圖1 甜瓜圖像采集裝置

由圖1可知，甜瓜圖像采集通過自己試驗搭建的平臺，攝像頭采用晟悅SY8031自動對焦攝像頭。LED燈色溫為5500K，為防止甜瓜拍攝過程中偏色，攝像頭通過軟件調節(jié)白平衡為5 500 K。將升降臺調節(jié)到合適高度，然后將黑布鋪在升降臺表面，再將甜瓜放在升降臺上，對甜瓜正反兩面進行圖像采集。

不同成熟期甜瓜圖像見圖2。

圖2 不同成熟期甜瓜圖像

利用Kennard-stone算法將試驗樣本以3∶1的比例隨機分為校正集和預測集，校正集建立模型，預測集用于判別模型的穩(wěn)定性和準確性。校正集樣本共計146個，其中未熟期樣本41個，半熟期樣本45個，成熟期甜瓜樣本60個；預測集樣本共計49個，其中未熟期樣本14個，半熟期樣本15個，成熟期樣本20個。

2 結果與分析

2.1 圖像預處理

由圖2可知，由于拍照過程中采用了黑色背景，黑色背景的灰度值接近于0。所以基本不會影響圖像的分析。但是為了突出圖像中甜瓜有效區(qū)域，增大甜瓜有效區(qū)域面積占比，對甜瓜圖像進行裁剪，得到待分析的甜瓜圖像。

圖像裁剪見圖3。

圖3 圖像裁剪

2.2 圖像特征變量提取

首先計算R，G，B三通道像素值的均值和方差，得到甜瓜圖像的6個顏色特征。為反映甜瓜圖像在方向、相鄰間隔、變化幅度及快慢上的綜合信息，通過灰度共生矩陣來分析甜瓜圖像紋理特征。分別提取圖像0，45，90，135°，4個方向的ASM（angular second moment）能量、熵、慣性矩、相關性、逆差距5種參量，共20個紋理特征。

5個特征參量的均值見表1，5個特征參量的方差見表2，ASM能量和6個顏色特征之間的皮爾遜相關系數見表3，熵和6個顏色特征之間的皮爾遜相關系數見表4，慣性矩和6個顏色特征之間的皮爾遜相關系數見表5，相關性和6個顏色特征之間的皮爾遜相關系數見表6，逆差距和6個顏色特征之間的皮爾遜相關系數見表7。

由表3～表7可知，提取的26個特征值之間存在明顯相關性，因此需通過特征優(yōu)選來確定最有效的特征變量。

表1 5個特征參量的均值

表2 5個特征參量的方差

表3 ASM能量和6個顏色特征之間的皮爾遜相關系數

表4 熵和6個顏色特征之間的皮爾遜相關系數

表5 慣性矩和6個顏色特征之間的皮爾遜相關系數

表6 相關性和6個顏色特征之間的皮爾遜相關系數

表7 逆差距和6個顏色特征之間的皮爾遜相關系數

2.3 基于全特征變量的PLS分類判別模型

基于不同成熟期甜瓜圖像RGB色彩模型和灰度共生矩陣來分析和計算甜瓜顏色和紋理全部特征變量，建立偏最小二乘法（PLS） 甜瓜成熟度識別模型。為驗證模型的判別正確率，對預測集樣本進行判別。

為便于計算機實現分級，模型輸出類別值以數字1表示未熟期樣本，數字2表示半熟期樣本，數字3表示成熟期樣本；取0.5為判別閾值，由此可以推斷出，預測結果為0.5-1.5屬未熟期樣本，1.5-2.5屬半熟期樣本，2.5-3.5屬成熟期樣本。

全特征變量PLS模型預測集判別結果見圖4。

圖4 全特征變量PLS模型預測集判別結果

由圖4可知，未成熟、半成熟和成熟期甜瓜的預測準確率分別達到100%，100%和95%，綜合判別率為97.96%。

2.4 基于主成分分析變量的分類判別模型

主成分分析將存在相關性的原始變量通過特征分解、降維獲取方差最大的虛擬主成分代替原有變量，主成分之間相互獨立且消除原始數據中存在的相關性和信息冗余，提高了模型分析速率。

研究優(yōu)選原始特征變量共提取出10個主成分，各主成分之間貢獻率，選擇前4個主成分作為新的特征變量，前4個主成分累計貢獻率為98.91%，滿足特征優(yōu)選的要求。

主成分貢獻率見表8。

表8 主成分貢獻率

基于顏色和紋理特征變量變換得到主成分，建立PCA-PLS快速識別模型。依據前4個主成分得分建立的判別模型，因為減少了大量的冗余信息，保留更多的關鍵信息，因此模型運算速度更快。

PCA-PLS模型預測集判別結果見圖5。

由圖5可知，未熟期判別準確率為100%，半熟期判別準確率為100%，成熟期判別準確率為95.00%，綜合判別率為97.96%，與全特征變量的PLS模型預測準確率相同。

圖5 PCA-PLS模型預測集判別結果

最小二乘支持向量機適用于非線性的參數，判別效果優(yōu)異。將優(yōu)選出的主成分因子作為模型的輸入，基于主成分分析變量的PCA-LS-SVM分類判別模型預測集判別結果。

PCA-LS-SVM模型預測集判別結果見圖6。

圖6 PCA-LS-SVM模型預測集判別結果

模型預測結果，未熟期判別準確率為100%，半熟期判別準確率為100%，成熟期判別準確率為100%，綜合判別率為100%，相比前2種模型效果更好。

3 結論

基于甜瓜的表皮顏色和紋理進行了成熟期識別研究。采用色彩空間法、灰度共生矩陣法相結合提取顏色和紋理特征變量，用于甜瓜成熟期的識別，綜合識別成功率達到了100%。該方法有望應用于甜瓜分選環(huán)節(jié)。試驗表明，通過圖像的顏色、紋理特征信息對甜瓜進行識別應用是完全可行的，此類方法具備更深、更廣的研究空間。

研究全程在實驗室靜態(tài)條件下進行，為滿足分選生產線高效率的要求，需要進一步研究甜瓜在動態(tài)傳輸條件下的分選情況，并且試驗甜瓜選擇表面無損傷的樣本，在損傷狀態(tài)下樣本的變化對預測結果的影響也需要繼續(xù)研究。