基于機器視覺的石榴品質自動分級方法

羅山 侯俊濤 鄭彬

摘要：采用人工檢測的石榴外觀品質等級分級方法存在準確率和效率低的問題，提出一種基于機器視覺的石榴品質分級方法。首先，采用機器視覺系統采集石榴樣本圖像，進行去噪處理與獲取掩模圖像；其次，提取去噪圖像的紅、綠、藍分量，用藍色分量減去紅、綠色分量得到色差圖像，并對色差圖像進行閾值分割；然后，對分割圖像采用數學形態學處理獲得連通的疑似缺陷區域的邊界，提取紋理特征并根據缺陷與非缺陷區域紋理特征的不同來標記缺陷區域；最后，將缺陷面積與總面積之比和缺陷數目作為劃分等級的依據，對石榴品質等級進行劃分。試驗結果表明：本方法總體分級準確率達到92.9%，能夠高效、準確地識別石榴表面缺陷并進行品質分級，為實現自動分級的產業化提供思路。

關鍵詞：機器視覺；石榴；品質分級；表面缺陷；色差分量

中圖分類號：S665.4： TP391.41

文獻標識碼：A

文章編號：2095-5553 （2023） 03-0117-06

Abstract： The method of grading pomegranate appearance quality by manual inspection has low accuracy and efficiency. A pomegranate quality classification method based on machine vision is proposed. Firstly， the pomegranate sample image is collected by machine vision system， denoised and the mask image is obtained. Secondly， the red， green and blue components of the denoised image are extracted， the red and green components are subtracted from the blue component to obtain the color difference image， and the color difference image is segmented by threshold. Then， the boundary of the connected suspected defect region is obtained by mathematical morphology processing， the texture features are extracted， and the defect region is marked according to the different texture features of the defect and nondefect region. Finally， the ratio of defect area to total area and the number of defects are used as the basis for grading， and the quality grade of pomegranate is divided. The experimental results show that the overall classification accuracy of this method is 92.9%， which can effectively and accurately identify the surface defects of pomegranate and classify the quality， and which provides an idea for the industrialization of automatic classification.

Keywords： machine vision; pomegranate; quality grading; surface defect; color difference component

0引言

石榴在生長、采摘、運輸和貯藏的過程中，會受到外部環境和自身因素等多方面的影響，導致石榴表面出現疤痕、孔洞、裂痕等多種類型的缺陷，嚴重影響石榴的品質，造成巨大的經濟損失［1］。目前大多采用人工檢測的方式對石榴品質進行分級，而人工檢測存在高成本、低效率的缺點，不利于提高石榴產業的經濟效益。

近年來，基于機器視覺的表面缺陷檢測及品質分級技術在工農業方面的應用愈加廣泛，提出了諸多方法。項輝宇等［2］提出一種基于Halcon的蘋果品質視覺檢測算法。張慶怡等［3］提出一種蘋果在線分級系統，能夠精準地對蘋果進行等級分類，但由于算法流程復雜，無法達到快速分級的目的。劉忠超等［4］利用PLC控制器和機器視覺技術開發了基于面積的分級系統，并對獼猴桃大小進行自動分級。李澤平等［5］設計了一種基于支持向量機的無核白葡萄串分級系統。孫進等［6］利用機器視覺和CAN總線技術設計了分類器對玉米種粒在線分級。何進榮等［7］利用多卷積神經網絡融合DXNet模型對蘋果外觀品質進行有效分級，該方法提高了分級準確率。Kuma等［8］運用圖像處理和機器學習技術實現水果和蔬菜質量的自動高效分級。

目前，機器視覺分級技術應用在水果方面較多，但對石榴品質分級的研究很缺乏。因此，本文考慮石榴質量等級標準和外觀特征，基于機器視覺技術和圖像處理與分析算法開發出一種基于機器視覺的石榴品質分級系統，并通過試驗驗證方法的可行性。

1試驗設備和材料

為保證試驗的嚴謹性和隨機性，試驗石榴樣本采用突尼斯軟籽石榴，產地為攀枝花，于2021年10月13日在攀枝花市九附六市場隨機采購，兼備各種品質等級的石榴樣本。系統設備主要包括工業相機、鏡頭、LED光源以及光源控制器、圖像采集卡、計算機，其中，圖像采集設備參數如表1所示，采集裝置如圖1所示。

2樣本圖像處理與分析

2.1圖像去噪與掩模圖像獲取

采集到的樣本圖像攜帶有較多的噪聲，為提高圖像質量，改善分級效果，需要對圖像進行去噪處理。常用的濾波方法有均值濾波、高斯濾波、中值濾波［10］等。考慮到石榴表皮具有類似于椒鹽噪聲和脈沖噪聲的斑點，而中值濾波對椒鹽噪聲和脈沖噪聲有良好的去除能力，因此采用中值濾波對石榴圖像進行去噪。中值濾波運算如式（1）所示。

由于背景與石榴色差和背景亮度差異明顯，因此可以將經過中值濾波后的圖像直接進行彩色二值化處理，從而得到石榴樣本的掩膜圖像，掩膜圖像所占像素點數即為該方向上的石榴總面積數，用于后續的缺陷面積計算，掩膜圖像獲取結果如圖3所示。

2.2色差分量獲取與圖像分割

通過采集裝置得到的樣本圖像為RGB圖像，含有較豐富的色彩信息，在經過去噪處理后，受石榴成熟度影響，石榴果皮存在大量的紅色分量（R）和綠色分量（G）信息［11］，這些信息會對后續的缺陷識別造成不利的影響，導致品質等級分級不準確。為去除R、G分量的影響，本文提取出去噪圖像中的R、G、B分量，將三個分量經過多次數學運算試驗，最終用藍色分量（B）減去R、G分量得到色差圖像，如式（2）所示。

中值濾波去噪圖像和色差圖像效果如圖4所示。可以看出，去除干擾顏色影響后的圖像中缺陷區域灰度均勻、與非缺陷區域灰度差異明顯，有利于提高后續的缺陷分割和品質分級的準確性。

為獲得缺陷特征信息，需要將目標區域從圖像中分割出來。考慮色差圖像中缺陷區域與非缺陷區域的灰度對比差異明顯，因此采用常用的Otsu閾值分割算法［1213］對圖像進行分割。其基本原理是利用閾值將圖像分為前景和背景兩個區域，設兩個區域的像素個數比例分別為W0和W1，平均灰度值分別為Q0和Q1，前景與背景的類間方差為G，表達式如式（3）所示。

采用遍歷的方法使G值取得最大值，將此時對應的閾值T作為圖像分割的最佳閾值，再對圖像進行二值化處理，其像素值與閾值的函數關系如式（4）所示。

分割出的結果視為疑似缺陷區域，包括缺陷區域和非缺陷區域，為獲得更佳的視覺效果，用紅色填充疑似缺陷區域，代替經典的黑白二值化圖像中的白色目標區域。分割效果如圖5所示。

2.3數學形態學處理

從圖5可以看出，分割結果中存在疑似缺陷區域不連通的問題，不利于缺陷的特征提取和識別，因此對分割后的圖像采用形態學處理以連通疑似缺陷區域。閉運算具有填充小孔洞的能力、并且運算簡單，因此采用閉運算對分割圖像進行處理。閉運算是對圖像先進行膨脹操作，再進行腐蝕操作，運算過程可用式（5）表示。

閉運算結果如圖6所示，用紅色標記缺陷區域邊界、綠色標記非缺陷區域邊界，可見，疑似缺陷區域邊界更加平滑，有利于后續的缺陷參數計算。

2.4外接矩形處理與缺陷參數計算

以疑似缺陷區域為中心，在原圖中用紅色與綠色分別標記出缺陷區域與非缺陷區域的最小外接矩形，用于后續的缺陷區域參數計算和品質自動分級，標記區域如圖7所示。

果梗和花萼是石榴的生理特征，容易造成缺陷識別錯誤、品質等級錯誤劃分等問題，此外光照不均勻等因素也會對分級結果造成不利影響，因此需要排除這些因素的干擾。由于果梗和花萼區域以及灰度不均勻區域具有與缺陷不同的紋理特征［14］，因此，采用灰度共生矩陣來提取紋理特征以消除非缺陷區域的干擾。灰度共生矩陣描述的紋理特征包括圖像的能量、相關性、逆差距、局部均勻性、對比度等。本文利用灰度共生矩陣計算能量（ASM）、相關性（COR）、逆差距（IDM）和對比度（CON）四個特征參數，從而將缺陷與非缺陷區域進行篩選區分，計算公式［15］如式（6）～式（12）所示。

特征值計算結果如圖8所示，可以看出缺陷區域與非缺陷區域紋理特征值的差異。

根據疑似缺陷區域特征值的不同設置多項閾值進行篩選，最終去除非缺陷區域的標記，得到標記的缺陷區域，圖9為處理前后的對比。

由于部分石榴果梗和花萼區域與缺陷區域區分度較低，因此存在部分樣本無法徹底去除果梗和花萼帶來的干擾，導致標記缺陷的準確率降低，再采用人工標記作為準確標記數，計算本文方法標記結果的準確率，對140個石榴樣本圖像標記缺陷的準確率如表2所示。由于石榴側面區域無法一次采集完整，共采集兩次以獲得完整的側面。

本文以林業行業標準［16］發布的石榴質量等級標準作為參考和依據進行品質等級劃分，采用缺陷數目、缺陷區域像素數與總像素數之比作為品質分級的依據。利用前述的缺陷標記結果，設兩個側面區域像素個數為S1，果梗區域像素個數為S2，花萼區域像素個數為S3，側面缺陷區域像素個數為Q1，果梗缺陷區域像素個數為Q2，花萼缺陷區域像素個數為Q3，缺陷面積與總面積之比為R，由此得到計算缺陷區域占石榴表皮總面積的比例的公式（13）。側面、果梗、花萼區域像素個數均由前述的二值化掩膜處理得到，缺陷面積指經過缺陷區域篩選后的矩形所包含的經過數學形態學處理的缺陷區域像素點數目，如圖6中的紅色封閉區域包含的像素點個數，并非指矩形區域的像素點個數。

由于行業標準中并無機器視覺的石榴品質劃分標準，因此本文將試驗結果與行業標準經過多次實驗對比，得到機器視覺的石榴品質分級標準，如表3所示。

在系統進行分級時，必須同時依據缺陷面積占比和缺陷數目兩個指標進行劃分，當樣本滿足其中一個條件，不滿足另一個條件時，降低一個等級。等級劃分流程如圖11所示。

對140個石榴樣本進行分級后，采用人工分級作為準確標準，通過本文方法分級結果求得分級準確率，如表4所示。

特級、一級、二級等級劃分準確率分別為94.4%、94.2%、88.2%，總體分級準確率為92.9%，特級果的等級劃分精確性最好、一級果其次、二級果劃分效果最差。部分特級果、一級果因為花萼、果梗區域被誤認為缺陷，導致在等級劃分時被降低一個品質等級，造成特級果、一級果準確率下降。部分二級果，如日灼果果面無較大缺陷，導致系統將其劃分為特級，與人工劃分存在一定差異。試驗石榴樣本均為隨機選取，品質等級自動劃分與人工劃分結果基本一致，證實了該自動分級方法的可行性。但由于試驗的石榴存在較多病斑和花紋且新鮮度低，造成偽缺陷增加，導致分級誤判，分級準確率下降。

為進一步驗證本文方法的可行性，將文獻［17-19］的方法與本文方法性能進行對比，采用相同的石榴樣本進行試驗，評估指標包括分級準確率與算法執行時間，如表5所示。

由表5可知，本文方法相較于文獻［17-19］的方法具有更高的準確率，達到優秀標準，算法速度也有大幅度提高，時間上最高節省了25.5 s/百幅。雖然在速度上略低于文獻［19］的方法，但在準確率上提高了9.4個百分點，更符合現代農業高效率、高準確率的要求。

4結論

1）? 針對石榴表面顏色豐富的特性，根據石榴外表皮缺陷數目和面積采用機器視覺與圖像處理技術對石榴品質進行自動分級。對石榴樣本圖像進行預處理，獲取色差圖像，采用最大類間方差法對色差圖像進行閾值分割；采用數學形態學處理獲得連通的疑似缺陷區域的邊界，計算缺陷紋理特征參數，根據缺陷與非缺陷區域特征參數的不同來標記缺陷區域；將缺陷面積與總面積之比和缺陷數目作為劃分等級的依據，并依據行業標準確定石榴品質等級劃分標準，將等級分為特級、一級和二級三個層次。

2）? 提出石榴品質等級劃分標準，同時依據缺陷面積占比和缺陷數目兩個指標進行等級劃分。通過對大量樣本進行分級試驗，分別計算出各層次的分級準確率，總體分級準確率達到92%以上，平均一百幅樣本圖像識別時間約為45.1 s，性能得到提高。對隨機選取的石榴樣本進行人工分級與自動分級試驗，品質分級結果基本一致，證實了本自動分級方法的可行性。

3）? 通過采用不同方法進行對比試驗，分別計算出分級準確率與運行時間進行對比分析。本文方法的分級準確率最高、達到92.9%，算法運行速度也有大幅度提高，時間上最高節省了25.5 s/百幅，能滿足現代農業高效率、高準確率的需求。本文方法為機器視覺在農產品質量檢測的實際應用方面提供了新的方法，但對于病斑較多且新鮮度低的石榴自動分級準確率的提高是需要進一步研究的課題。

參考文獻

［1］楊雪梅， 馮立娟， 唐海霞， 等. 不同包裝方式對冷藏后期“魯青1號”石榴貨架期品質的影響［J］. 山東農業科學， 2021（10）： 128-135.

Yang Xuemei， Feng Lijuan， Tang Haixia， et al. Effects of different packing methods on shelflife quality of ‘Luqing 1 pomegranate after cold storage ［J］. Shandong Agricultural Sciences， 2021（10）： 128-135.

［2］項輝宇， 薛真， 冷崇杰， 等. 基于Halcon的蘋果品質視覺檢測試驗研究［J］. 食品與機械， 2016， 32（10）： 123-126.

Xiang Huiyu， Xue Zhen， Len Chongjie， et al. Experimental study of apple quality vision detection based on Halcon ［J］. Food & Machinery， 2016， 32（10）： 123-126.

［3］張慶怡， 顧寶興， 姬長英， 等. 蘋果在線分級系統設計與試驗［J］. 華南農業大學學報， 2017， 38（4）： 117-124.

Zhang Qingyi， Gu Baoxing， Ji Changyin， et al. Design and experiment of an online grading system for apple ［J］. Journal of South China Agricultural University， 2017， 38（4）： 117-124.

［4］劉忠超， 蓋曉華. 基于機器視覺和PLC的獼猴桃分級控制系統設計［J］. 中國農機化學報， 2020， 41（1）： 131-135.

Liu Zhongchao， Gai Xiaohua. Design of kiwifruit grading control system based on machine vision and PLC ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（1）： 131-135.

［5］李澤平， 郭俊先， 郭陽， 等. 基于支持向量機的無核白葡萄串分級系統設計與測試［J］. 食品與機械， 2021， 37（10）： 106-111， 246.

Li Zeping， Guo Junxian， Guo Yang， et al. Design and test of the grading system for kernelfree white grapes with support vector machine ［J］. Food & Machinery， 2021， 37（10）： 106-111， 246.

［6］孫進， 張洋， 王寧， 等. 融合機器視覺和CAN總線的玉米種粒分類器設計與試驗［J］. 中國農機化學報， 2020， 41（8）： 81-89， 120.

Sun Jin， Zhang Yang， Wang Ning， et al. Design and experiment of corn seeds classifier based on machine vision and CAN bus ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（8）： 81-89， 120.

［7］何進榮， 石延新， 劉斌. 基于DXNet模型的富士蘋果外部品質分級方法研究［J］. 農業機械學報， 2021， 52（7）： 379-385.

He Jinrong， Shi Yanxin， Liu Bin. External quality grading method of fuji apple based on deep learning ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（7）： 379-385.

［8］Kuma M K P， Parkavi A. Quality grading of the fruits and vegetables using image processing techniques and machine learning： A review ［J］. Advances in Communication Systems and Networks， 2020： 477-486.

［9］張琛， 房勝， 王風云， 等. 基于機器學習的免套袋蘋果缺陷分級［J］. 河南農業科學， 2019， 48（4）： 154-160.

Zhang Chen， Fang Sheng， Wang Fengyun， et al. Nonbagged apple defect classification based on machine learning ［J］. Journal of Henan Agricultural Sciences， 2019， 48（4）： 154-160.

［10］Momin M A， Rahman M T， Sultana M S， et al. Geometrybased mass grading of mango fruits using image processing ［J］. Information Processing in Agriculture， 2017， 4（2）：11.

［11］Mendoza F， Dejmek P， Aguilera J M. Calibrated color measurements of agricultural foods using image analysis ［J］. Postharvest Biology & Technology， 2006， 41（3）： 285-295.

［12］牛晗， 伍希志. 基于大津算法連通域的松果多目標識別定位［J］. 江蘇農業科學， 2021， 49（15）： 193-198.

Niu Han， Wu Xizhi. Pinecone multitarget identification and location based on connected domain of Otsu algorithm ［J］. Jiangsu Agricultural Sciences， 2021， 49（15）： 193-198.

［13］李德新. 基于Otsu閾值的MSI不連續破損邊緣提取［J］.計算機仿真， 2020， 37（9）： 358-362.

Li Dexin. Edge extraction of discontinuous damage in multi scene image based on Otsu threshold ［J］. Computer Simulation， 2020， 37（9）： 358-362.

［14］Du C J， Sun D W. Recent developments in the applications of image processing techniques for food quality evaluation ［J］. Trends in food science & technology， 2004， 15（5）： 230-249.

［15］陳天華. 數字圖像處理及應用［M］. 北京： 清華大學出版社， 2019.

［16］LY/T 2135—2018， 石榴質量等級［S］.

［17］辛華健. 計算機視覺在芒果品質檢測中的應用研究［J］. 農機化研究， 2019， 41（9）： 190-193.

［18］石瑞瑤， 田有文， 賴興濤， 等. 基于機器視覺的蘋果品質在線分級檢測［J］. 中國農業科技導報， 2018， 20（3）： 80-86.

Shi Ruiyao， Tian Youwen， Lai Xingtao， et al. Development of apple intelligent online inspection and classification system based on machine vision ［J］. Journal of Agricultural Science and Technology， 2018， 20（3）： 80-86.

［19］高輝， 馬國峰， 劉偉杰. 基于機器視覺的蘋果缺陷快速檢測方法研究［J］. 食品與機械， 2020， 36（10）： 125-129， 148.

Gao Hui， Ma Guofeng， Liu Weijie. Research on a rapid detection of apple defects based on mechanical vision ［J］. Food and Machinery， 2020， 36（10）： 125-129， 148.