基于機器視覺水果分揀系統研究

摘" 要： 為解決市面上水果分揀設備體積龐大、效率低等問題，文中給出的水果分揀系統以蘋果為測試樣本，將相機拍攝的RGB圖像轉換為HSV圖像，并根據[H]分量分布情況計算蘋果表面的色澤度，同時用Canny邊緣檢測算法提取蘋果邊緣的輪廓，用最小外接圓法計算蘋果果徑的大小，結合蘋果色澤度和果徑大小對蘋果進行等級分級。系統試驗表明，樣本顏色與大小均與蘋果的特征相符，分揀設備和人工分揀果徑大小誤差在±1.35 mm以內。該系統可實現精確分揀、自動化運行等目標，提高了分揀精度及效率。

關鍵詞： 機器視覺； 水果分揀； HSV顏色模型； Canny邊緣檢測算法； 輪廓提取； 最小外接圓法

中圖分類號： TN911.23?34； TP23" " " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）17?0136?07

Research on fruit sorting system based on machine vision

XU Hu1， 2， HUI Yulong2， WAN Hongqiang2

（1. Xi’an Guoxin IoT Technology Co.， Ltd.， Xi’an 710065， China;

2. School of Mechatronic Engineering， Xi’an Technological University， Xi’an 710021， China）

Abstract： In view of the huge volume and low efficiency of the fruit sorting equipment in the market， a novel fruit sorting system is designed in this paper. In the designed system， the apples are taken as the testing samples. The RGB （red， green， blue） images taken by camera are converted into HSV （hue， saturation， value） images. The grades of the apple colors are calculated according to the [H] component distribution. The Canny edge detection algorithm is used to extract the apple contours. The minimum circumferential circle method is used to calculate the apple diameters. The apples are graded by the parameters of their color grades and diameters. The system testing shows that the colors and sizes of the samples are consistent with those of the apples， and the error between the fruit diameter obtained by sorting equipment and that by manual sorting is within ±1.35 mm. In conclusion， the system can realize the goals of precise sorting and automatic operation， so it can improve the sorting accuracy and efficiency.

Keywords： machine vision; fruit sorting; HSV color model; Canny edge detection algorithm; contour extraction; minimum circumferential circle method

0" 引" 言

根據陜西統計局統計數據顯示，2022年陜西蘋果產量約1 302.71萬噸，占全國蘋果產量[1]比重的27.03%。但隨著水果產值日漸升高，分揀任務越來越繁重。傳統的分揀手段以人工手動分揀為主，勞動強度大[2]。

國內外針對水果分揀系統做了許多研究，文獻[3]通過測量計算蘋果的最小、最大半徑，用果徑面最小的外接圓直徑表示大小。文獻[4]提出一種基于線性擬合模型的水果分級方法，實現了蘋果的大小分級。文獻[5]研究了水果顏色特征及表面區域特征表達方法，用RGB圖像檢測控制算法對水果圖像使用全局自動閾值分割法進行特征提取。文獻[6]提出以ATMEGA328P單片機控制的多感知柔性分揀系統，對蘋果等目標進行分揀測試，實現分揀的智能化和柔性化。文獻[7]用二值圖像的像素數進行果徑計算。文獻[8]提出的機器視覺系統采用近紅外（NIR）編碼點陣列結構光和快速亮度校正技術識別缺陷，根據有無缺陷，將蘋果分為健全類和缺陷類。

綜上所述，分揀方式逐漸趨于智能化與自動化，視覺是機器走向智能化的前導技術，有了視覺的引導設備才有了機器智能化的趨向[9]。因此，本文設計了一款將機器視覺處理技術、PLC控制技術與人機交互技術相互融合的自動分揀系統，該系統極大地提高了分揀效率和精度，減少了勞動成本。

1" 總體設計

1.1" 總體方案

水果分揀系統主要包括機器視覺模塊、控制模塊、機械模塊和人機交互模塊，總體方案如圖1所示。機器視覺模塊用于圖像獲取、識別、處理及數據傳輸。控制模塊用于分揀裝置的動力驅動、自動控制，機械模塊用于機械系統動作，實現分揀。人機交互模塊用于整體設備的控制，并對水果分級的數目及質量等信息進行統計及顯示。

系統整體工作流程如下：機械模塊中，將待分揀水果有序排列后運送至傳送帶處，當水果運動至圖像采集區域時，光電傳感器產生電信號至PLC，PLC觸發工業相機對傳送帶上移動的水果進行實時拍照并將圖像傳輸給計算機，Matlab用相關算法進行后續圖像處理和水果等級分級，最終將數據結果通過網口TCP/IP通信傳輸給控制模塊，控制模塊保證水果的數據結果信息與其位置保持一致，并根據判斷的結果控制機械模塊將水果推入對應的收集盒中，從而實現水果的分級控制。

1.2" 整體結構設計

水果分揀設備模型如圖2所示，為了適應不同尺寸的水果，分揀設備使用梯形漏斗和U型槽擋板使待分揀水果有序排列。各模塊間相互配合，氣缸電磁閥在控制模塊的控制下，經由氣缸將水果推入至不同等級的收集盒中，完成不同等級的分類。

2" 機器視覺模塊

為盡可能多地拍攝水果表面信息，用雙相機采集水果的圖像[10]，兩相機的安裝角度為120°，在光照箱雙側布局安裝，光照箱用遮光布遮擋，形成較暗的拍攝環境，同時可與水果形成較好的分離效果，機器視覺模塊結構設計如圖3所示。光源采用環形光源為相機拍攝提供照明，使相機能夠拍到水果的大部分。圖像獲取方式：觸發抓拍，當水果到達采集區域某一范圍時，安裝在該處的光電傳感器產生電信號至PLC，PLC實現相機的觸發拍攝，把拍攝到的圖像信息存儲在計算機中，并通過Matlab軟件對其進行后續圖像處理。

2.1" 系統硬件設計

在相機選型方面，選擇華騰威視公司的HT?UBS131GC?T型視覺檢測相機，性能參數如表1所示。

2.2" 圖像處理

在水果分揀過程中，水果圖像的處理同樣是分揀過程中的重點，該過程決定了分揀速度的快慢以及分揀精度的高低，在對圖像進行處理分析的過程中，相機所捕獲的水果圖像包含許多無用的信息，極大地降低了圖像質量，故需要先對圖像進行預處理，以提高處理的質量和速度，使整體分析準確性較高。

1） 顏色模型轉換。在圖像預處理時，獲得的圖像照片是RGB顏色模型，由于HSV顏色模型色彩空間更符合人體視覺系統，同時該模型可以分開處理而且是相互獨立的[11]，簡化圖像分析、提高處理速度，需將RGB轉換為HSV。圖4、圖5為在兩種顏色模型下的圖像。

在模型轉換時需要將RGB中的亮度因素分離，其中[H]、[S]、[V]分量的表達式[12]為：

[H=60（G-B）V-min（R，G，B），" " "V=R120+60（B-R）V-min（R，G，B），" " "V=G240+60（R-G）V-min（R，G，B），" " "V=B]" （1）

[S=0，" " "V=0V-min（R，G，B）V，" " "V≠0]" （2）

[V=max（R，G，B）] （3）

式中：[R]、[G]、[B]分別為紅、綠、藍值（原圖）；[H]、[S]、[V]分別為色調分量、飽和度分量、亮度分量值（轉換后的圖像）。

2） 灰度化。在對圖像進行處理時，需要先將RGB分量的水果圖片轉化為灰度圖片，以便于后續圖像處理。如圖6所示，本文采用Matlab中所帶的灰度變換函數完成灰度變換。

3） 二值化。圖像采集過程中，由于周邊的光線強弱不同，采集到的圖像過亮或過暗會導致圖像中物件與背景區分的難度加大，不利于圖像的識別。將圖像轉化為二值圖像可以去除光照對圖像的影響，將圖像中的特征更加清楚地表現出來，有利于圖像特征的提取，如圖7所示。

4） 圖像濾波。相機拍攝的圖像存在的噪聲會影響對圖像的后續處理，需要通過圖像濾波消除噪聲。常用的濾波方法有：

① 中值濾波（非線性濾波），用像素鄰域內灰度的中值代替該像素的值[13]；

② 均值濾波（線性濾波），通過鄰域均值替代原圖像相應的各像素值；

③ 高斯濾波（線性濾波），通過對整幅圖像進行加權平均消除高斯噪聲[14]。

為了測試以上三種濾波方法的去噪效果，同時為了更直觀地觀察濾波算法的去噪能力，本文對圖像添加噪聲均值為0、方差為0.01的高斯白噪聲作為噪聲模型，該噪聲具有頻率成分不缺失、概率模型上服從高斯分布以及功率譜密度均勻分布的特點[15]。由于在對蘋果的果徑大小提取的過程中需要用到蘋果圖像灰度圖，所以試驗測試選用灰度圖像進行處理，試驗結果如圖8所示。

3" 特征提取和分類

顏色和大小屬于水果的主要外觀，可以憑經驗預判水果的成熟度、酸甜度、口感等內部品質，因此，在水果等級劃分時除果徑外，還要檢測水果色澤度。

3.1" 色澤度檢測

在獲得由RGB模型轉換而來的HSV顏色模型后，還需要分離[H]分量，圖9所示為HSV色彩空間模型圖。在HSV顏色模型中[H]通道代表色度，描述的是純色的屬性，在圖中[H]的角度范圍為[0，2π]，逆時針轉動經過的顏色，其[H]值逐漸增大，[V]是強度軸，飽和度[S]是顏色空間任一點距[V]軸的距離[16]。

一般成熟蘋果[H]分量的紅色值為：0°～20°，340°～360°，采用[H′]=[H360°]將[H]轉化到[0，1]，紅色蘋果的色度基本分布在0.00～0.05和0.95～1.00，而且當[H]分量直方圖的峰值越靠近0與1，蘋果顏色越紅，因此選取0.00～0.05和0.95～1.00的色度近似為蘋果的紅色部分[17]。通過模型轉換后，將[H]分量分離，得到如圖10所示的蘋果[H]分量圖及[H]分量直方圖。

在Matlab中檢索符合取值范圍內[H]分量（[0≤H（x，y）lt;0.05，" 0.95lt;H（x，y）≤1]）的像素，找到符合范圍的像素個數[h]，檢索結果如圖11所示。

將符合取值范圍內的像素個數除以蘋果圖像中包含的所有像素的個數，即可計算得到蘋果的著色率[18]，完成蘋果的等級分級，蘋果著色率計算結果如圖12所示。

3.2" 蘋果大小計算

果徑根據最小外接圓法確定為最大橫截面直徑，將蘋果圖像進行二值化、去噪及邊緣提取[19]，根據圖像的邊緣計算質心位置，并獲得最小外接圓半徑，再將最小外接圓半徑與測量的實際蘋果大小進行比對換算，根據標定公式即可將蘋果像素大小轉換為蘋果實際大小[20]。要確定蘋果質心的位置，首先需要對蘋果圖像進行邊緣提取，設置合適的閾值，并剔除由于噪聲等因素導致部分變寬的區域，同時連接間斷點。Canny算法是用途較廣的一種邊緣檢測算法，本文提取到的邊緣輪廓如圖13所示。

經邊緣檢測后蘋果的質心可近似等同于最小外接圓的圓心，根據邊緣像素坐標求和平均即可求得蘋果的質心如圖14所示，其表示公式為：

[x=1ni=1nxiy=1ni=1nyi] （4）

式中：[n]代表圖像邊界上總的像素個數；[（xi，yi）]代表邊緣像素點的坐標；[（x，y）]代表蘋果的質心坐標。

得到圖像中蘋果的質心坐標之后，可按最小距離公式（見式（5））計算出邊界坐標到質心的距離，最后將得到的距離進行比對，將最大距離作為最小外接圓半徑，如圖15所示。

[r′i=（xi-x）2+（yi-y）2] （5）

式中[r′i]為外接圓半徑。

以上計算得到的蘋果半徑為像素半徑，它是根據圖像中像素的數量計算得到的蘋果尺寸，如圖16所示為蘋果像素半徑。

由結果可得像素半徑與蘋果實際半徑相差較大，具有相對性，所以需要利用幾何標定來得到標定比例，再通過標定比例將圖像的像素半徑轉換為實際半徑[21]。幾何標定公式如下：

[K=l l] （6）

式中：[K]為標定系數；[l]為參照物邊長，單位為mm；[l]為參照物像素半徑，單位為mm。

在拍攝蘋果圖像的現場，將工業相機的鏡頭位置到拍攝蘋果平面的距離保持固定不變。將邊長為[l]的正方形標定塊放置在距相機距離固定的拍攝平面內對其進行拍照，根據Matlab獲取的參照物像素邊長，即可計算標定系數[K]。幾何標定試驗如圖17所示。

4" 試驗驗證

本文把蘋果分為三個等級（NY/T 1075—2006《紅富士蘋果》），為了驗證系統的準確性，本文對隨機選取的10個紅富士蘋果使用分揀設備進行分揀并與人工分揀做對比，表2為樣本測試數據。結果顯示，最大誤差為±1.35 mm，符合蘋果分級標準，且設備分級效率較人工分揀也有極大提升。啟動設備樣機工業相機拍照進行等級分級，如圖18所示。

5" 結" 語

機器視覺水果分揀系統以蘋果為測試樣本，經過圖片處理將RGB顏色模型轉換為HSV顏色模型，對[H]分量實現色澤度的計算，結合Canny邊緣檢測算法提取邊緣輪廓，用最小外接圓法獲取半徑，并結合表面色澤度和果徑大小兩個特征對蘋果進行綜合分揀。由試驗數據可知，果徑大小測量誤差在允許范圍以內，樣本顏色、果徑大小均與蘋果實際特征相符，可以精確地實現蘋果的分級，極大地提高了分揀效率及精度，減少了勞動成本。

參考文獻

[1] 吳莎莎.2022年陜西蘋果獼猴桃產量分別較上年增長4.8%和7.3%[N].陜西日報，2023?03?20（3）.

[2] 楊鵬仙，王惠玲，宗強，等.基于計算機視覺的水果自動分級系統的設計[J].石河子科技，2022（3）：16?17.

[3] 鄭羽綸.基于圖像處理的多特征融合蘋果分級方法研究[D].石家莊：河北科技大學，2020.

[4] 鄭紀業，張琛，劉光，等.基于線性擬合模型的蘋果大小分級方法[J].山東農業科學，2020，52（12）：118?125.

[5] 王志宇.基于RGB圖像檢測的水果分揀控制算法研究[J].農機化研究，2022，44（3）：38?42.

[6] 郭聯金.多感知水果抓取及分揀控制系統的設計[J].包裝與食品機械，2022，40（6）：89?94.

[7] HAYRETTIN T， HILMI K. A real?time apple grading system using multicolor space [J]. The scientific world journal， 2014（1）： 1?10.

[8] ZHANG C， ZHAO C J， HUANG W Q. Automatic detection of defective apples using NIR coded structured light and fast lightness correction [J]. Journal of food engineering， 2017， 203： 69?82.

[9] 王成軍，韋志文，嚴晨.基于機器視覺技術的分揀機器人研究綜述[J].科學技術與工程，2022，22（3）：893?902.

[10] 譚子會.基于雙目視覺的包裝過程分揀技術研究[J].包裝與食品機械，2020，38（5）：60?63.

[11] 陳毅，劉曉玉，蔣崢，等.基于RGB和HSV的膠囊異囊缺陷識別方法[J].計算機工程與設計，2014，35（11）：3888?3892.

[12] 鄒偉.基于機器視覺技術的柑橘果實成熟度分選研究[J].農業與技術，2023，43（17）：41?44.

[13] 張曉慧.視頻監控運動目標檢測算法的研究與實現[D].西安：西安電子科技大學，2012.

[14] 艾妮.基于機器視覺的水果分級分揀系統關鍵技術研究[J].自動化應用，2022（1）：162?166.

[15] 吳晨，金英花，王世麗.等級制度下帶有白噪聲的群集運動[J].山東大學學報（理學版），2018，53（12）：114?119.

[16] 倪云峰，葉健，樊嬌嬌.基于圖像識別的水果分揀系統[J].江蘇農業科學，2021，49（10）：170?176.

[17] 謝忠紅，郭小清，姬長英.基于顏色模型和紋理特征的彩色水果圖像分割方法[J].計算機工程與科學，2010，32（1）：64?66.

[18] 劉亞東.基于圖像處理的蘋果外觀品質分級研究[D].北京：中國地質大學（北京），2021.

[19] 李頎，胡家坤.基于機器視覺的蘋果在線分級[J].食品與機械，2020，36（8）：123?128.

[20] 劉佳浩，高軍偉，張炳星，等.基于機器視覺的水果分級系統[J].食品與機械，2023，39（6）：112?118.

[21] 杜云，鄭羽綸，張效瑋.基于圖像處理的蘋果大小分級研究[J].河北工業科技，2019，36（6）：410?414.