曾令培 張廷婷 龐智








摘要:為了實現番茄的智能包裝,通過機器視覺獲取番茄橫徑,分析橫徑數據,完成分類包裝通道包裝膜大小的設定。基于機器視覺的番茄橫徑測量過程包括圖像采集、預處理、橫徑提取、數據分析。番茄圖像采用圖像采集系統獲取;圖像預處理通過灰度轉換、去除椒鹽噪聲、邊緣提取、閾值處理、二值化與形態學處理完成;橫徑提取選用最小外接矩形法和最小外接圓法獲取番茄圖像的最大橫徑長;橫徑數據分析獲取不同包裝通道包裝膜大小設定值。試驗結果表明,采用最小外接矩形法提取到的數據優于最小外接圓法;分類通道設置包裝膜參數為68.00 mm、88.50 mm、102.00 mm,能完成不同尺寸大小的包裝。基于機器視覺的番茄橫徑測量技術為分類包裝提供了包裝膜參數基礎和依據。
關鍵詞:機器視覺;番茄;橫徑;包裝膜參數
中圖分類號:TS206;TP391.41? 文獻標志碼:A? 文章編號:1671-0797(2022)03-0068-04
DOI:10.19514/j.cnki.cn32-1628/tm.2022.03.020
0? ? 引言
包裝在鮮果貯藏、運輸、貨架期都起到了重要作用,不僅能在很大程度上減少鮮果的染病腐爛,同時也是提高鮮果商品價值和擴大銷量的重要技術措施之一[1]。番茄一直都是以原始狀態上市,對于番茄的包裝處理較少,鮮果番茄在各大商場基本都是采用淺托盤多個番茄保鮮膜包裝,這種包裝還停留在人工階段,因此,番茄的智能自動化包裝成為亟待解決的問題。
番茄橫徑是番茄尺寸大小的重要特征,通過番茄橫徑的獲取可以精確地進行番茄自動化包裝分級通道的分級,設定分類包裝通道包裝膜的大小。目前,對于傳統的番茄測量方法有較多研究成果,但基于機器視覺進行番茄橫徑檢測、設定智能分類包裝膜尚未有人研究。鑒于此,本研究針對基于機器視覺的番茄橫徑測量選用最小外接矩形法與最小外接圓法進行對比,提取番茄橫徑尺寸,從而設定合適的番茄分類包裝膜參數,實現番茄的智能包裝。
1? ? 番茄圖像采集系統
番茄圖像采集系統主要由采集箱、工業照相機、鏡頭、光源、PC計算機組成,如圖1所示。采集箱尺寸為300 mm×250 mm×470 mm,采集箱內壁涂上無反光黑漆。CMOS照相機選用Teledyne Lumenera Lw115,其分辨率為1 280×1 024,幀率為30 fps,光學格式為1/3″,鏡頭接口為cs,圖像傳感器為Sony IMX 035。鏡頭選用精工SSE0612N,其焦距為固定焦距6 mm,鏡頭到拍攝面的距離約為422.70 mm。照相機裝置在拍攝箱頂部中間位置,環形LED燈圍繞照相機。工作時相機通過USB2.0數字接口向PC提供實時拍攝的彩色圖像,PC計算機采用Matlab軟件獲取圖像,完成圖像數據處理。
2? ? 番茄圖像預處理
番茄圖像預處理主要完成圖像獲取、復原、增強、分割、分析工作。過程包括圖像灰度化、中值濾波器去噪聲、閾值分割、二值化與形態學處理,如圖2所示。
2.1? ? 圖像灰度化
圖像灰度化是將彩色圖像轉化為黑白圖像處理,處理后的圖像中只含亮度信息,不含彩色信息。Matlab通過USB3.0高速數字接口提取到的圖像格式為“bmp”,針對圖像格式選用了兩種方法得到圖像的灰度圖。方法1,直接通過函數rgb2gray將彩色照片轉換為灰度圖像;方法2,提取圖像中的R、G、B分量,三者分別表示圖像中的紅色、綠色、藍色分量,通過公式V=1/3(R+G+B),轉換得到灰度化圖像,如表1所示。
如表1所示,兩種方法得到的圖像差異不大,其圖像直方圖形狀、范圍基本一致。直方圖的差異在于第二次波峰處,直接轉換方法下得到的直方圖第二次波峰出現在亮度161處,亮度值位置的像素占量為3 279;R、G、B分量轉換方法得到的直方圖第二次波峰出現在亮度149處,亮度值位置的像素占量為3 475。同時,直接轉換方法下得到的直方圖截止范圍出現在亮度223處,亮度值位置的像素占量為95;R、G、B分量轉換方法下得到的直方圖截止范圍出現在亮度215處,亮度值位置的像素占量為57。
2.2? ? 中值濾波器去噪聲
一般情況下,圖像采集及傳輸過程中不可避免地容易產生一些噪聲,例如椒鹽噪聲。選用中值濾波器去除椒鹽噪聲,中值濾波選取大小為m×n窗口中被干擾的圖像中值,利用中值公式很好地保留了圖像的邊緣,去除椒鹽噪聲效果也較好。
2.3? ? 閾值分割
圖像分割技術中邊緣分割技術通過待測物與其背景的特征差異性實現邊緣檢測,常常使用微分算子(Roberts、Prewitt、Sobel)、Canny算子、LoG算子進行邊緣檢測,如圖3所示。5種算法處理效果相近,基本都可以得到番茄的邊界,但檢測出來的邊界較粗,需要做進一步的圖像處理。Roberts、Prewitt、Sobel算子處理后圖像效果差距不大,Roberts算子得到的圖像效果邊緣最清晰,產生孤立的點最少。Canny和LoG算子處理后的圖像,額外產生了許多孤立的點。本研究采用Roberts算子進行邊緣分割。
工業測量中,當背景取與目標體對比較大的單一色時,采用閾值分割效果較好,故圖像分割中采用閾值分割法[2]。通過原圖直方圖尋找合適的閾值,原圖直方圖中兩個波峰相距較遠,在色彩灰度范圍170~200之間出現波谷,分別取T=170、T=180、T=190作為全局閾值比較。取T=170時,番茄的分割圖像邊界不夠明顯,圖像左下角出現邊緣范圍較寬的毛刺,圖像內部出現較少孤立點;取T=190時,番茄圖像的邊界變得清晰,圖像左下角毛刺范圍逐漸增大,毛刺點變多從而顏色變深,圖像內部出現更多孤立點;取T=180時,閾值分割效果最好。不同閾值對比圖如圖4所示。
2.4? ? 二值化與形態學處理
在圖4中可以看到T=180時的閾值分割效果,圖像邊緣不夠清晰,圖像左下角出現毛刺,圖像內部出現孤立點。為了消除閾值分割圖像中產生的毛刺和孤立點,采用二值圖與形態學結合處理。數學形態學中的腐蝕、膨脹、開閉運算,在圖像處理過程中各具特點。Matlab可以對圖形進行算數、關系、邏輯運算,也可以運用形態學完成膨脹和腐蝕運算。數學形態學中的膨脹運算能擴大圖像邊界區域,填充圖像邊緣的毛刺和圖像內部小孔;腐蝕運算能縮小圖像區域邊界,消除圖像邊緣處的噪聲區域[3]。
3? ? 番茄圖像橫徑提取
經過以上處理后的圖像,番茄果實部分呈白色,背景部分為黑色。對番茄圖像的橫徑檢測提取用到了兩種不同的方法:最小外接矩形法和最小外接圓法。
3.1? ? 最小外接矩形法提取番茄圖像橫徑
為了確定果實的外形大小,番茄圖像采用最小外接矩形法提取,流程圖如圖5所示。
番茄二值圖像中已經將白色、黑色區域分離,通過對行列像素不為1的點進行判斷,取得圖像邊緣橫坐標和縱坐標,完成最大坐標與最小坐標的橫坐標、縱坐標的確定與計算。在Matlab中可以運用rectangle、boundingbox操作指令得到番茄的最小外接矩形,并返回其橫徑值。以上是單個番茄單次外接矩形的方法,對圖像進行每次9°的圖像旋轉,旋轉40次完成番茄圖像的全部旋轉;每完成一次旋轉均計算番茄圖像的最小外接矩形,得到40個外接矩形的40個橫徑值,比較出最大的橫徑值,即番茄外接矩形的最大橫徑。
3.2? ? 最小外接圓法提取番茄圖像橫徑
番茄是一種不規則的圖形,其形狀可以近似為圓形,選用最小外接圓法提取番茄圖像橫徑,流程圖如圖6所示。
基于完成了二值化處理的圖像,獲取番茄圖像最小外接圓,返回其半徑,將半徑轉換成直徑,即可得到番茄的最大橫徑長度。算法需判斷番茄二值圖中的連通區域,對圖像每一個連通區域求質心,將質心作為最小外接圓的圓心,遍歷各個像素點,計算像素點是否在番茄圖像的半徑內,如果不在半徑內,則以當前像素點到質心的距離作為新的半徑,從而類似迭代更新得到最小外接圓半徑。
4? ? 數據結果與分析
對不同時間段的三批次番茄進行抽樣,抽出200個番茄。用最小單位為克、保留到小數點后兩位精度的電子秤記錄下番茄重量;用游標卡尺測量每一個番茄的最大橫徑4次,取平均值記錄下最大橫徑值。同時,記錄下視覺系統下采用最小外接矩形法和最小外接圓法處理的番茄的橫徑長度,對比游標卡尺獲得的數據。現從200組番茄數據中隨機抽取10組數據舉例,最小外接矩形與最小外接圓橫徑如表2所示。
經過試驗數據分析可知,最小外接矩形法測得的值跟游標卡尺測量的值較為接近,由于在測量時像素取的是整數部分,因而數據不夠精確。分析最小外接圓法絕對誤差、相對誤差數據,測得的所有橫徑長度都比實際測得的橫徑長度要大。
200組番茄中,番茄的重量情況為:100 g以下有24個,100~150 g有99個,150~200 g有34個,200~250 g有22個,250 g以上有21個。其中番茄重量最小為86.39 g,最大為350.05 g。游標卡尺測量的橫徑長度,最小番茄與最大番茄之間橫徑相差接近40 mm。在200組數據中,出現多組重量148.20 g與148.60 g的番茄,尺寸分別為72.30 mm與66.46 mm,番茄重量與尺寸大小不一定成正比。番茄重量范圍、分布及橫徑跨度如表3所示。
根據以上數據,番茄包裝過程中可以設定包裝膜的長度,選擇設置參數分別為68.00 mm、88.50 mm、102.00 mm。
5? ? 結論
(1)通過圖像采集系統獲取番茄圖像,經過灰度化、去除噪聲、邊緣分割、閾值分割、二值化與形態學處理后,直接運用形態學中腐蝕、膨脹處理的圖像與運用形態學簡單運算后再完成腐蝕、膨脹處理的圖像相比,后者的處理效果遠遠好于前者。
(2)利用最小外接矩形法和最小外接圓法進一步提取番茄的尺寸,根據測量數據,最小外接矩形法所測數據跟游標卡尺直接所測數據更為接近。
(3)番茄在包裝中可以通過對其橫徑大小的檢測,分級進入番茄包裝通道,通道中包裝膜分別設定為68.00 mm、88.50 mm、102.00 mm,可以完成不同尺寸大小的包裝。
基于機器視覺的番茄橫徑檢測方法,可實現對番茄橫徑的獲取,并通過橫徑分級使番茄進入不同包裝膜通道,為智能包裝的實現提供新的分級依據。當番茄傳送過快時,應用本文方法提取橫徑的速度還需要提高,在今后的研究中,可以進一步將深度學習和神經網絡算法與傳送速度相結合,以提高番茄橫徑獲取速度,改善當前研究中的不足。
[參考文獻]
[1] 李莉,劉超超,李蕾,等.我國水果包裝現狀及問題啟示[J].保鮮與加工,2016,16(2):105-107.
[2] 鄧海霞.基于機器視覺的群體禽蛋大小檢測方法研究[D].武漢:華中農業大學,2006.
[3] 徐冬.基于卷積神經網絡的大豆病害識別研究[D].合肥:安徽大學,2018.
收稿日期:2021-12-02
作者簡介:曾令培(1981—),男,四川資陽人,碩士,講師,工程師,研究方向:自動化控制。
通信作者:張廷婷(1985—),女,四川隆昌人,碩士,工程師,研究方向:農業工程與信息技術。