機器視覺成熟度檢測的蘋果色選分揀機設計

王麗娟 陳浩然 季石軍 劉志剛

(南通科技職業學院機電與交通工程學院，江蘇 南通 226007)

引言

隨著我國社會經濟的快速發展以及人民消費水平的不斷提高，人們對水果制品的需求和品質都提出了更高的要求，這種現象在我國近年果制品市場不斷擴大的趨勢上有所體現。根據聯合國及農業組織數據，自2019年起我國的水果產量及種植面積位居世界第1，遠遠超過第2名，同時我國的水果消費量也位居第1，但我國的人均水果消費量卻很低。根據大量的市場調研后發現，水果的產值是由產后處理以及產后加工創造而來。如何對水果進行快速以及準確的分揀在水果的加工過程中尤為重要。事實上，我國大部分的果制品加工廠往往通過人工分揀來進行水果好壞的分揀以及成熟度的分級，在實踐過程中面臨以下問題：人力檢測費時費力，效率低下，無法滿足規模化的流水線生產需求；工人的拿捏觸碰容易損傷水果導致損耗；工人的主觀性判斷和測量方法差異難以保證檢測結果的一致性和準確性，分揀的品質參差不齊，也難以保障后續產品的品質。

本文所研究的基于機器視覺成熟度檢測的蘋果色選分揀機，在無損狀態下快速準確識別水果成熟度的同時，能夠利用傳輸裝置與分揀裝置完成水果的一次分揀，切實解決水果經營企業、水果后處理企業在水果成熟度檢測過程中所面臨的成熟度檢測正確率低、人工費時費力、水果易磕碰損傷等難題。促進我國的水果采后處理技術的進步，加速我國農業實現現代化和智能化。

1 國內外研究現狀

目前果品內在品質無損檢測的方法主要有以下幾大類：基于光學特性的分析法、基于電化學特性的分析法、基于聲學特性的分析法、基于力學特性的分析法、基于機器視覺的分析法和其它成熟度無損檢測法[1]。在光譜特性分析方面，Sofu[2]等利用近紅外光譜法分析檢測鱷梨的成熟度，通過偏最小二乘回歸模型預測鱷梨果肉含油率、干物質和水分含量，相對分析誤差分別為2.00和2.13。在聲學檢測方面，Mizrach[3]利用聲學脈沖響應評估蘋果質量，建立PLS模型，波長數據與蘋果硬度相關系數為0.83，研究結果顯示,西瓜成熟度與聲波傳播頻率為二階函數關系。在水果的電學特性上，Murat[4]通過電學特性法測定球狀水果密度分布，用電容來衡量水果體積，天平稱量其質量，計算出密度，實驗結果表明，密度為0.94～0.97g·cm-3西瓜成熟度很高而且內部沒有空洞。Tong[5]使用配套有頂空采樣系統的電子鼻檢測富士蘋果不同時間采摘的含糖量，證明電子鼻技術結合人工神經網絡和多元分析算法能夠實現對蘋果成熟度的有效判別。

國內對水果的成熟度智能檢測設備的研究同樣不在少數。如，張索非[6]提出了一種根據檢測蘋果受到敲擊后所發出聲音的頻譜特性對果品品質評價和分類的無損檢測方法。實驗結果表明，長時間存放的蘋果受敲擊發聲的頻譜峰值逐漸減小，質量小的蘋果受敲擊發聲的發聲基頻更低。姚永波[7]測量甜瓜的介電特性，采用主成分分析法提取特征向量(介電參數和介電損耗)，建立甜瓜糖度遺傳優化BP神經網絡預測模型，模型預測均方根誤差為0.873，能夠滿足甜瓜樣本內部糖度數據的預測。徐賽[8]等提出了一種基于電子鼻技術的果園荔枝成熟階段檢測方法，用電子鼻采集樣品數據，建立與果實可溶性固形物的預測模型，訓練集的回判正確率均為100%。韓東海等用560nm左右波長的紫外線照射柑橘，發現柑橘最成熟部位熒光強度達到峰值。饒秀勤、應義斌[10]提出了一種利用HSI模型判斷水果表面顏色的分級方法，該方法在HSI顏色空間提取H分量面積加權直方圖的前2個分量進行分析，對臍橙進行分級處理處理的結果表明，總的分級誤差僅為1.18%。周水琴等[11]采用核磁共振成像設備掃描得到新疆庫爾勒香梨中部冠狀面圖像，使用MATLAB軟件完成圖像分割和中值濾波，以提取香梨褐變特征。王敏[12]以三星公司的S3C2440作為數據處理器，Linux作為操作系統，完成蘋果硬度的便攜式近紅外光譜儀開發。應義斌[13]從3種不同視角下采集橄欖內果皮圖像，使用判別分析和神經網絡2種分類技術分別進行分類測試，均獲得良好的分類效果。

成熟度智能檢測設備具有將人工智能與現代信息處理技術相結合的優點，功能多、信息量大，是今后水果成熟度檢測和內在品質檢測的重要檢測手段，但也存在亟待解決的問題。系統造價高，結構復雜，難以做到性能與成本的平衡；識別準確率的問題，在查閱的文獻中發現，目前的研究文獻中均未給出明確的目標識別準確率的定義，且不同文獻中準確率數據也不盡相同，所以試驗的可重復性有待商榷；我國果農多為個體經營戶，針對復雜的監測設備接受程度不高，普遍適用性問題也不可忽視。

2 設計介紹與工作原理

2.1 總體設計介紹

基于機器視覺成熟度檢測的蘋果色選分揀機如圖1所示，由裝置主體和傳輸裝置、分揀設備及機器視覺檢測系統組成。裝置主體和傳輸裝置由支撐立柱、傳輸帶及可前后活動的推板結構所構成。分揀設備為分揀槽、分揀口、存儲箱、活動板所構成。機器視覺檢測系統包括計算機和相機，相機與計算機通信連接。

圖1 色選分揀機結構示意圖注：1.裝置主體；2.分揀設備；3.主體前支撐立柱；4.相機;5.主體后支撐立柱；6.推板結構；7.傳輸帶；8.傳輸裝置支撐立柱。

基于機器視覺成熟度檢測的蘋果色選分揀機的傳輸與檢測步驟：工作人員在使用裝置時，可先通過傳輸帶輸送水果；裝置主體頂部的高清攝像頭對傳輸帶上的水果進行拍照，識別成熟度；推動電機啟動，帶動伸縮桿進行延伸，同時也帶動正面推動板進行活動，將判定為成熟的水果推出傳輸帶外，使水果掉落至分揀機構的分揀槽；分揀槽呈傾斜狀，不同大小的水果通過不同大小的分揀口，掉落下方分揀設備內部的存儲箱內，較為便捷地依據成熟度等級及果型大小對水果進行分揀。

本裝置通過相機拍照，對色度進行檢測，進而判別成熟度等級，并通過傳輸帶和自動分揀機構達到自動化的效果，提高水果成熟度檢測的準確性、一致性、高效性及實現流水線生產需求。

2.2 裝置主體及傳輸裝置的設計

裝置主體提供相機支撐、傳輸通道與推板結構功能。由左右支撐立柱、頂板及推板結構所組成，兩立柱間為傳輸通道，供傳輸帶通過。傳輸裝置由左右支撐立柱與傳輸帶構成，為水果流水線傳輸提供解決途徑。

關鍵部件推板結構如圖2所示，推板結構經由連接板固定在裝置主體的前支撐立柱上，連接板的右側固定連接推動電機，推動電機固定連接伸縮桿，伸縮桿固定連接支撐板，電機與計算機通信相連。當水果被判定為成熟后，啟動推動電機，帶動伸縮桿進行延伸，同時也帶動正面推動板進行活動，將成熟的水果推出傳輸帶外，進而掉落分揀設備內。

圖2 推板結構示意圖注：1.連接板；2.推動電機；3.伸縮桿；4.推動板。

2.3 機器視覺檢測系統

2.3.1 結構設計

機器視覺檢測系統包括計算機與相機，相機與計算機通信連接。相機安裝固定在裝置主體頂端，對準水果設置，計算機為DELL OPTIPLEX 3020，內存為4GB，1TB硬盤。相機選擇Openmv h7 Ca智能攝像頭，500萬高清像素。

因研究進度，目前僅制作機器視覺檢測系統樣機，如圖3所示。

圖3 機器視覺檢測系統示意圖

2.3.2 顏色特征的提取

通過檢測相機的拍照，對水果成熟度進行色度檢測，采用的顏色模型即為RGB顏色模型，以蘋果為例。

確定紅色為蘋果樣本的主色。讀取蘋果樣本的一次照片作為實驗圖像，如圖4(fig.1)；讀取背景照片作為背景圖像，如圖4(fig.2)；刪除實驗圖像中的背景圖像，得到處理圖像如圖4(fig.3)；將處理圖像二值化得到圖4(fig.4)，二值化閾值在0.04～0.15，本研究中二值化閾值以0.1為例；為減小二值化圖像的背景噪音和光干擾，采用中值濾波，以減少干擾，并增強二值化的圖像；采用imfill函數填補取反后的二值化圖像圖4(fig.4)；采用bwboundaries函數尋找二值化圖像的圖形邊界；從圖形邊界中取出圖像的內部邊界，并保存當前的圖像，如圖4(fig.5)所示；將實驗圖像圖4(fig.1)按照RGB模型，提取出所有R通道的顏色信息，保存當前圖像為實驗圖像R通道圖像，如圖4(fig.6)；采用find函數，選擇內部邊界圖像圖4(fig.5)的所有背景區域的像素位置，然后將尋得的地址映射到實驗圖像R通道圖像圖4(fig.6)中，并將其背景填充為黑色；采用reshape函數重構圖內部邊界圖像圖4(fig.5)的顏色信息，分別提取出R、G、B通道的顏色強度序列，分別計算顏色強度均值Rm1、Gm1、Bm1(其中，顏色強度均值Rm1、Gm1、Bm1通過mean函數獲得。

圖4 圖像處理過程圖

獲取顏色強度均值Rm、Gm、Bm后，根據公式計算蘋果的平均紅色強度占比，計算公式：

Ra=Rm/(Rm+Gm+Bm)

(1)

2.3.3 成熟度預測模型

基于機器視覺的蘋果成熟度無損檢測技術本質上就是利用其表面的顏色信息與蘋果成熟度的相關性，本文通過描述蘋果果實的表面顏色信息，預測可溶性固形物T。根據GB/T 10651-2008，如果T>11%，則說明該蘋果是成熟的，否則判定為不成熟。

根據上述的機器視覺設備，提取水果的紅色強度均值Rm，作為輸入集；根據國家的農業標準GB/T10651-2008，測定蘋果的可溶性固形物含量，作為輸出集；采用自適應的神經網絡智能算法，訓練合適的預測模型。

根據紅色強度占比，對成熟的蘋果進行分級，標準:Ra<0.45不成熟；0.45≤Ra≤0.5三級成熟；0.5

2.4 分揀裝置的設計

分揀裝置結構示意圖如圖5所示，由分揀槽、分揀口、存儲箱、活動板及擋板構成，其中分揀槽、分揀口及存儲箱均設置有柔性保護墊包裹保護。工作人員在使用裝置時，經傳輸和檢測機構后被判定為成熟的水果由推板結構推至分揀裝置，進而使水果掉落分揀槽內部的分揀口，分揀槽呈傾斜狀，不同大小的水果通過不同大小的分揀口掉落至下方的存儲箱內，較為便捷地對不同大小的水果進行分揀。優選的，工作人員也可通過活動板將包裝箱放置于存儲箱內，節約打包時間，提高生產效率。

圖5 分揀裝置示意圖注：1.分揀槽；2.分揀口；3.儲存箱；4.活動板；5.活動鉸鏈；6.分揀擋板。

3 實驗結果與分析

本文共收集了250個蘋果作為實驗樣本，并利用PHS-3C數顯臺式酸度計與陸恒生物CNT數顯糖度計測定了所有樣本的固酸比，即實驗得可溶性固溶物含量，用于驗證本研究所涉及的基于機器視覺的成熟度檢測方法的正確性，實驗裝置如圖6、圖7所示。

圖6 PHS-3C數顯臺式酸度計試驗設備及實驗圖

圖7 陸恒生物CNT數顯糖度計試驗設備及實驗圖

任選250個蘋果樣本中的10組圖像作為校驗樣本，其余240個實驗樣本作為訓練樣本，選擇隨機，具有足夠的代表性。對10個校驗樣本利用前文所創建的成熟度監測模型進行成熟度判斷，成熟度預測模型處理結果如表1所示。由表1可知，設計的自適應神經網絡成熟度預測模型具有相當高的準確性，誤差范圍可控制在±0.2%以內。

表1 成熟度預測模型處理結果

4 結論

本文所設計的基于機器視覺成熟度檢測的蘋果色選分揀機通過傳送帶進行輸送達到自動化的效果，體積小，操作簡單，實用性強；保護水果，提升品質；價格低廉，易于推廣。

蘋果的成熟度與外表皮顏色信息具有一定的關聯性，可利用機器視覺測定蘋果果實的表皮顏色信息來進行成熟度判定，提高水果成熟度檢測的一致性、準確性與正確率。這種方法不僅可用于蘋果后處理中的分級，也可用于蘋果采收期的成熟度預判，防止誤采。

利用機器視覺與自適應神經網絡來訓練成熟度判定模型，通過描述蘋果果實的表面顏色信息，預測可溶性固形物T，從而進行成熟度判定。判定準確率較高，由檢測樣本顯示，誤差范圍可控制在±0.2%以內。根據蘋果紅色強度占比，對成熟的蘋果進行分級，Ra<0.45不成熟；0.45≤Ra≤0.5三級成熟；0.5

5 長遠構思及待開發功能

目前僅制作了機器視覺檢測系統樣機，后期將對主體裝置、傳輸裝置及分揀裝置進行打樣，以期驗證流水化作業需求。