基于機器視覺的水果分級分揀系統關鍵技術研究

摘 要：機器視覺就是利用圖像攝取裝置等產品代替人眼做測量和判斷，當前在水果分級分揀領域應用極廣，已成為工業機器人進行農產品自動化檢測的研究熱點，但如何對采集到的自然圖像進行高效目標分割和識別檢測，成為制約分揀機器人應用的技術難點。現利用機器視覺測量精度高、結果穩定可靠和非接觸性等優點，通過對蘋果進行尺寸測量、空間定位，并根據果形大小、色澤光潔程度和表面缺陷等指標進行特征識別，實現對蘋果品質的科學精準分級和自動分揀，并利用機械手臂自動完成不同等級水果的分揀，實現生產線上的“手眼”協調工作。

關鍵詞：機器視覺;水果分級分揀;關鍵技術

0? ? 引言

當前對蘋果品質的檢測工作主要依靠人工完成，但是人工檢測會存在誤判、效率低和成本高等問題，且對于后期的水果分揀工作也存在效率和準確率低的問題。機器視覺就是用圖像攝取裝置等來代替人眼做一些分析和判斷，自動得到一些問題的結果，近年來其以速度快、信息量大、功能多等特點在水果分級分揀領域得到了廣泛應用[1-3]。本研究從水果的分級分揀環節入手，利用圖像分割和深度學習算法，達到了準確高效分揀水果的目的。

1? ? 水果分級分揀系統硬件搭建

水果分級分揀系統樣機如圖1所示，其主要由硬件系統和軟件系統構成。

（1）硬件系統包括圖像采集模塊、機械手模塊。圖像采集模塊用于圖像的獲取，作為圖像分析的數據源;機械手模塊用于對水果進行抓取。

（2）軟件系統主要實現蘋果的智能識別和自動抓取功能，包括蘋果定位模塊、蘋果分類識別模塊和機械手抓取模塊。其中抓取系統的X軸、Y軸運動利用標準滑臺實現，Z軸運動利用滾珠絲杠花鍵實現，同時還可以實現旋轉和旋轉移動;利用PLC對電機進行閉環控制，實現抓取裝置準確定位;利用氣缸驅動夾具實現抓取功能。

2? ? 水果分級分揀系統關鍵技術研究

基于機器視覺的蘋果分揀系統要解決兩個關鍵問題，一是如何通過圖像來確定蘋果的空間位置，二是如何通過圖像來確定蘋果的分類和分級。因此，本項目以蘋果為研究對象，從圖像分割算法、相機標定、特征學習和水果分揀等關鍵技術著手開展研究。

2.1? ? 卷積神經網絡的分類能力

基于成像分析的傳統視覺方法需要對被識別的目標建立數學模型，而蘋果的色澤、表面缺陷、花萼、果梗等特征很難用數學模型進行準確描述，而卷積神經網絡不需要建立特征模型，只需利用一個帶標簽的圖像集作為訓練集，對卷積神經網絡開展訓練，模型會自動學習樣本中不同等級蘋果的特征，這樣利用訓練好的卷積神經網絡，可以很容易對不同特征的蘋果進行分類。本研究采用深度學習算法，針對采樣訓練需要海量數據的缺點，選取同一蘋果不同的側面，使得模型可以更好地學習目標屬性特征，克服不同角度下分類不準確的問題，從而有效提升模型的整體性能、泛化能力和學習能力。基于卷積神經網絡的深度學習網絡模型如圖2所示，包括模型訓階段練和模型檢測階段。

2.2? ? Mask-RCNN圖像語義分割的準確性

圖像分割是機械手精確測量和識別定位的關鍵環節，傳統的圖像分割方法對圖像紋理、明暗、背景和復雜度等因素非常敏感，很難確保圖像分割質量。Mask-RCNN網絡可以自動提取目標特征信息，將圖像上每一個像素進行分類，即每一個像素均具有屬性類別，因此屬于蘋果像素就被歸類為蘋果，可避免圖像噪聲、復雜背景的影響。本研究為保證視覺測量的精確性和識別的準確性，采用Mask-RCNN網絡的圖像分割方法，并在Caffe深度學習框架下，將最新的Mask-RCNN算法與ResNet特征提取網絡相結合進行圖像分割訓練。

Mask-RCNN分割算法結構和流程圖如圖3所示。對目標圖像，首先輸入到卷積神經網絡ResNet中進行特征提取得到feafure map，并對這個feafure map通過目標估計網絡RPN提取可能存在的目標區域ROI。然后ROI經過ROIAlign層被映射成固定維數的特征向量，其中兩個分支通過全連接層進行分類和包圍框的回歸，另一分支經過全卷積進行采樣得到分割圖。輸出包含3個分支：目標分類、目標包圍框坐標和目標二值掩碼。其中分類和回歸部分均由基于區域的目標檢測網絡Faster-RCNN完成，目標的像素級分割由全卷積神經網絡FCN完成。

2.3? ? 攝像機標定

攝像機的安裝位置、鏡頭畸變、光心坐標等參數會影響測量精度，因此，利用攝像機對蘋果的尺寸和空間位姿進行準確測量，必須對攝像機進行標定，確定攝像機的內外參數。本研究采用opencv棋盤格法進行標定，利用相機標定將已知參數的棋盤格作為標定板，在進行圖像采集時，通過調整棋盤格的位置，得到多個不同角度的棋盤格圖像，取圖像的角點，找出其與棋盤格的對應關系，從而估算出相機內外參數，然后采用最小二乘法估算實際存在徑向畸變下的畸變系數，并利用極大似然法對參數進行優化，進而提升估計精度。

2.4? ? 機械手目標抓取

機械手的自主抓取主要基于視覺定位和視覺伺服。首先通過動力學與運動學分析，采用智能算法規劃軌跡，完成機械臂智能抓取、運動軌跡規劃和運動軌跡控制，通過研究運動過程中誤差的來源，建立誤差智能補償方案;其次是針對運動過程誤差實時補償的需要，采用圖像信息的視覺伺服控制系統，將蘋果位姿產生的誤差、軌跡跟蹤產生的誤差轉變為圖像信息，發送給控制系統，控制系統實時對誤差進行補償，實現每次抓取位置誤差最小。

3? ? 應用前景

當前我國已成為世界上最大的蘋果生產國和消費國，市場占有率在50%以上，但國內對水果品質的檢測方法大部分還是采用傳統的人工方式，造成蘋果分級存在控制不嚴、品質不高、良莠不齊和效率較低等問題，與世界知名農產品相比，無法形成品牌優勢[4-5]。例如，國外對蘋果大小分級要求85 mm果中不能有80 mm、75 mm果，80 mm果中不能有75 mm果;同一規格的，裝箱果徑相差不能超過3 mm。顯然，按照上述分級標準要求，簡單的分級方法和分級設備是無法達到的，必須通過精確的測量才能實現嚴格的分級。本研究從水果的分級分揀環節入手，相對于人工而言，通過引入機器視覺分級分揀系統達到準確高效分揀水果的目的，在重復性較高的工作中，提高該系統對工作環境的適應能力以及生產效率和系統柔性，對于提高水果生產效率及普及水果等級標準的執行具有推動意義。

4? ? 結語

采用基于卷積神經網絡CNN模型的圖像識別，機器能直接以圖像的像素作為輸入，自己學習得出最合適的圖像特征，不需要大量的先驗知識，從而避免了因人為設計特征不合適而造成的圖像識別效果變差等問題。本項目將深度學習引入水果分揀系統，搭建卷積神經網絡模型CNN和Mask-RCNN網絡模型，同時對傳統的深度學習算法的訓練數據和特征提取進行改進，進而在農產品的檢測精度和效率上實現了進一步提升。

[參考文獻]

[1] 劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].無錫：江南大學，2012.

[2] PENMAN D W.Determination of stem and calyx location on apples using automatic visual inspec-

tion[J].Computers and Electronics in Agriculture，

2001，33（1）：7-18.

[3] KONDO N，AHMAD U，MONTA M，et al.Machine vision based quality evaluation of Iyokan orange fruit using neural networks[J].Computers and Electronics

in Agriculture，2000，29（1/2）：135-147.

[4] 董騰.基于機器視覺的水果分揀系統的研究[D].聊城：聊城大學，2018.

[5] 盧勇威.基于機器視覺的水果分揀系統[J].裝備制造技術，2017（3）：163-165.

收稿日期：2021-07-29

作者簡介：劉福華（1970—），男，四川宜賓人，副教授，研究方向：機械電子、汽車電子控制。