基于機器視覺的紅棗外部品質檢測技術研究進展

李 聰，李玉潔，李小占，喻國威，劉 鑫，馬本學,2,

（1.石河子大學機械電氣工程學院，新疆石河子 832003；2.農業農村部西北農業裝備重點實驗室，新疆石河子 832003）

紅棗是原產中國的傳統名優特產品，被列為“五果”（栗、桃、李、杏、棗）之一，富含維生素C、蛋白質、脂肪、胡蘿卜素等營養成分，種植面積遍布全國。據統計，2009～2018 年中國紅棗產銷量在逐年增加，但出口量并不大，約占年產量的千分之一。紅棗產后分級是其包裝銷售和深加工前的一個重要工序，亦是實現紅棗優質優價，提高其經濟價值的關鍵。

紅棗外部品質分級一般是通過顏色、質地、大小和質量等外部品質標準在工業分級機上自動完成的，但是根據其他外觀標準對紅棗進行分級，如擦傷、腐爛和裂紋等一些不明顯的缺陷，這些缺陷對健全的果皮呈現相同的顏色和質地，或者總是與果梗和花萼混淆，效率較低，因此仍然是通過人工分選。人工分選存在主觀性較強、耗時、分選不一致等缺點，并且容易受到周圍環境的影響，開發一種自動化的外部品質質量檢測分級系統代替人工分選是十分迫切和必要的。

紅棗種植地主要在我國，國外對紅棗分級機的研究較少。目前紅棗的分級裝備主要包括機械式、光電式和機器視覺式3 種，其主要特征見表1 所示。現階段我國主要以機械式為主，大多以大小尺寸作為分級標準，分級標準單一。基于機器視覺的分級裝備可以滿足多特征檢測分級，但現階段國內基于機器視覺的紅棗分級技術還不成熟。迫于市場壓力，部分紅棗經銷商從國外進口基于機器視覺的紅棗分級設備，其利用圖像處理技術，通過獲取棗的彩色照片，進行圖像的處理，獲取棗的大小、顏色以及表面缺陷等方面的信息，從而可以判斷棗的品質，但價格極其昂貴，維護費用高。因此研究紅棗的無損檢測分級技術，生產基于機器視覺的紅棗檢測分級機有利于提高紅棗的產后處理效率，降低分級時造成的損傷，對提高紅棗在國內和國際市場上的經濟價值和競爭力具有重要意義。本文擬通過介紹機器視覺技術在紅棗外部品質檢測中的研究現狀與應用，以促進我國紅棗在線檢測裝備的研制。

表1 不同類別紅棗分級裝備主要特征Table 1 Main characteristics of different types of jujube grading equipment

1 機器視覺技術

機器視覺系統一般包括光源系統、圖像捕捉系統、圖像處理系統、圖像數字化模塊和控制執行模塊。首先通過CCD（CMOS）攝像機獲取圖像，經采樣量化后將模擬圖像轉換為數字影像或數字信號傳遞給圖像處理系統。圖像處理系統采用各種運算對信號進行目標特征提取，如目標的大小、位置和顏色等，最后根據預定的標準輸出所需結果、顯示數據或控制執行模塊完成預定操作。圖1 所示為典型的紅棗機器視覺檢測分級系統示意圖，一般是通過CCD相機將被拍攝的紅棗轉換成圖像信號，傳送給圖像處理系統，得到紅棗的外部表面信息，將獲取的紋理、大小、缺陷和顏色等信息轉變成數字化信號，圖像系統對信號進行各種運算提取目標特征，根據目標特征結合機器學習或深度學習對紅棗的優劣進行分級。

圖1 紅棗機器視覺檢測分級系統Fig.1 Jujube machine vision inspection grading system

馬學武等利用鏈輪輸送機構，當紅棗經過黑箱區域時觸發光電開關，此時信號被傳送給計算機，計算機接收到信號觸發圖像采集卡采集圖像，通過圖像處理算法提取紅棗的特征（顏色，直徑，面積等），并記錄紅棗的實時位置，當到達分級位置時利用光電開關實現對紅棗的分級。由于單表面檢測會造成信息遺漏，導致分級準確率不高。田緒順等采用兩個攝像機對紅棗進行拍攝取照實現雙面檢測，并指出利用物料本身滑動摩擦力結合吸振能力較好的材料，采用分步檢測的機理，能夠實現紅棗及其他橢球形水果的單體化喂入、全表面呈現等功能。

考慮兩個相機的檢測裝置比較復雜，效率比較低，為了實現紅棗全表面檢測，王麗麗利用PVC帶作為傳輸裝置，通過調節傳送帶的速度來實現單列化均勻上料，利用翻轉傳輸裝置實現哈密大棗外部品質全表面檢測。王松磊等設計了基于機器視覺技術的紅棗快速無損檢測分級機，采用間歇式凸輪機構結合輥輪輸送鏈板實現紅棗單體化排布輸送，利用相機與STM32 嵌入式系統結合正面和背面光源實現紅棗多表面圖像采集，最后采用高壓噴氣裝置完成紅棗的分級。從單面檢測到雙面檢測再到全表面檢測，檢測可靠性不斷提升，但是紅棗檢測裝置的復雜性有所提升，檢測速度有所下降，在提升檢測準確率的同時優化檢測裝置結構是實現紅棗在線檢測的難題。

目前機器視覺技術已經發展成為一門涉及人工智能、圖像處理、計算機科學、模式識別等諸多領域的交叉學科，相比于其他檢測技術，機器視覺技術具有高效、無損、分級指標多，檢測結果客觀準確等優點，是一種無損的檢測方法。近年來獲得廣泛地研究和應用，已成為農產品品質檢測的重要技術手段之一，在紅棗、柑橘、蘋果、馬鈴薯等農產品品質檢測中有很大的應用前景。隨著基于統計學模型的機器學習的快速發展，各種淺層機器學習模型相繼被提出。結合機器學習相關統計學特征的算法使得機器視覺系統的精度和效率都有了很大提升。近年來，深度學習在特征提取方面表現出來的獨特優勢，成為人工智能領域最熱門的學習方法。與傳統的機器學習相比，深度學習提倡采用端到端的方式來解決問題，即直接將圖像特征提取與模式分類集合在一起，然后根據具體的模式分類目標損失函數（如交叉熵損失、Hinge 損失函數等）從數據中自動地學習到有效的特征并實現模式分類，學習能力強。因此深度學習在計算機視覺、人臉識別、語音識別、行人檢測等領域取得了巨大成功。深度學習也存在缺少完善的理論支持、模型正確性驗證復雜且麻煩、需要大量訓練樣本、計算量大等問題。相信隨著深度學習研究的不斷深入，將為機器視覺帶來更廣闊的發展空間。

2 機器視覺技術在紅棗外部品質檢測中的研究現狀

2.1 缺陷檢測

目前大部分紅棗經大小分級機分選后直接流入市場，若不進行初步的品質分級，缺陷棗流入市場，將影響紅棗的附加值。針對紅棗缺陷分類問題，研究人員通過使用不同顏色空間對紅棗進行分析。趙杰文等在HIS 顏色空間中提取H 的均值和均方差作為特征值，利用支持向量機建立缺陷紅棗識別模型，對表面顏色呈現較暗的霉爛、漿頭、油頭果識別準確率可達到96.2%。海潮等在HSV 顏色空間中提取H 分量和S 分量，并采用Blob 分析算法進行紅棗與背景的分離以及紅棗表面缺陷的識別，缺陷果識別的準確率可達到90%以上。根據紅棗表面差異，李運志等依據半干棗在病害和非病害區域色調值差異提取病害區域，提出了一種以機器視覺為基礎的缺陷識別方法，用提取的病害區域與棗表面積的比作為閾值來確定識別精度，以識別病害和裂痕棗。張萌等針對紅棗表面灰度不均勻提出了一種亮度快速矯正算法，解決了表面缺陷難以快速定位的問題。顯著地增強了果面缺陷特征，提高了紅棗自動分級的實時性。這些傳統的基于機器學習的機器視覺方法雖然可以較好的識別缺陷棗果，但需要人工提取缺陷特征，費時費力，且局限于如裂紋、破頭、病蟲害等缺陷特征明顯的棗果。對于缺陷特征不明顯的棗果難往往以達到預期效果。此外，基于機器視覺的高光譜成像技術也被用于紅棗缺陷檢測，這種檢測技術增加了圖像的光譜信息，檢測精度高，但速度慢，成本高。WU 等通過使用高光譜成像技術獲取反射圖像，以實現常見缺陷如裂紋、蟲害和淤傷的識別。WANG等采用在400～720 nm 光譜區域內的高光譜反射率成像方法檢測鮮棗果實的外部損傷和昆蟲缺陷。

隨著互聯網時代大數據的爆發，深度學習已經廣泛應用于人臉識別、語音識別和行人檢測等。楊志銳等提出一種基于網中網卷積神經網絡對紅棗進行缺陷檢測的方法，試驗結果表明該方法優于基于常規SVM（Support Vector Machine）的視覺檢測方法和基于AlexNet 網絡的分類方法。方雙等采取多尺度卷積神經網絡對黃皮棗、霉變棗、破頭棗和正常棗進行了檢測，模型在AlexNet 卷積神經網絡上進行了改進，增加了深度和寬度，提高了模型的檢測準確率。在生產中，由于自然條件或工藝流程的不同，一個單一的產品往往可能表現出不止一種類型的缺陷，而且典型的卷積神經網絡在提取特征時傾向于將圖像視為不可分離的實體和單個實例。針對此問題，XU 等提出了一種基于特征關注度的多標簽棗缺陷分類關系網絡，實現對同一紅棗多種缺陷類別的檢測與識別。為實現缺陷紅棗的精準定位與實時檢測，曾窕俊等提出一種基于幀間最短路徑搜索的目標定位方法和集成卷積神經網絡模型，通過建立圖像坐標系及圖像預處理操作，獲得圖像中單個紅棗目標的位置坐標，將其映射到空間坐標系中，結合幀間最短路徑判定規則，實現對紅棗位置坐標的更新與傳遞，從而實現對視頻中紅棗的定位與跟蹤。以上研究表明了深度學習目前已可以較好的應用于紅棗缺陷的識別與檢測。表2 詳細總結了使用不同機器視覺系統對各類紅棗進行缺陷檢測的研究。

表2 紅棗缺陷檢測研究綜述Table 2 Summary of research on red jujube defect detection

2.2 大小檢測

大小是紅棗分級的重要依據之一，按紅棗大小進行檢測分級，選出大小基本一致的紅棗，有利于包裝儲存和加工處理。尺寸檢測可以用傳統的機器視覺進行，目前用于測算紅棗大小的特征有面積、周長、擬合圓半徑、橫縱徑、體積和質量，通過提取紅棗大小特征，進行數據擬合得到預測函數。李景彬等提出一種基于機器視覺的干制紅棗大小分級方法，對紅棗樣本圖像進行預處理，提取紅棗的外形尺寸和質量等特征，采用最小外接矩形法獲取紅棗的長徑和短徑當量值，應用線性回歸得到擬合函數分別求得紅棗縱徑值和質量值，采用句法模式識別對數據進行紅棗大小分級，分級準確率達到85%。單個表面的紅棗圖像難以反應紅棗的整體大小，利用紅棗單側圖像對紅棗進行分級準確率不高，針對此問題，QI等通過提取哈密大棗的投影面積、橫向直徑和縱向直徑，建立BP 神經網絡分類模型，測試準確率達到91.43%，平均檢測時間為80 ms，可滿足大小尺寸的實時檢測。王艷等利用圖像處理技術提取鮮駿棗的平均面積、周長、長軸、短軸幾何特征，與實際質量擬合建立回歸模型，預測鮮駿棗的質量，最后采用判別分析法對大小進行分選。結果表明機器視覺技術能夠較為準確地實現對質量與大小的預測和分選。

現階段對紅棗大小檢測原理主要是利用最小外接矩形法或者利用邊緣檢測提取紅棗大小特征進行對紅棗大小分級，但平面信息不能準確地判定紅棗的大小，針對此問題，程子龍等提出一種用雙目視覺測量物體大小的方法，先進行雙目標定、立體匹配，獲得景深圖后，對物體輪廓進行檢測，用最小四邊形框出物體的輪廓，通過計算四邊形四個頂點的坐標得到物體中心點的像素坐標，通過雙目測距的原理獲得物體中心點距離攝像頭的距離。根據三角形原理，計算出物體的寬度和高度，實現物體大小的測量。利用雙目視覺技術結合機器視覺測量紅棗體積以獲取空間信息，實現紅棗品質分級將是未來的一個研究方向。

2.3 紋理檢測

紅棗的表面紋理特征是衡量紅棗外部品質的重要指標，一般紋理比較多的紅棗果肉較少，水分含量低，含糖量低，在銷售時要將其剔除。在紅棗紋理檢測過程中，通常首先提取紅棗紋理特征，然后通過機器學習算法建立分級模型實現紅棗的品質分級。針對目前紅棗分級效率低，漏檢率高，勞動強度大等問題，柴春花等以紅棗的紋理作為分級指標，提出了一種基于機器視覺紅棗紋理分級方法，通過提取紅棗圖像的均值、標準差、平滑度、三階矩、一致性和熵6 個紋理特征，采用BP 神經網絡進行紅棗紋理分級，試驗結果表明，一級紅棗識別率為100%，二級紅棗識別率為80%，三級紅棗識別率為100%，綜合識別率為93.33%。張靈通等采用灰度共生矩陣提取南疆紅棗的紋理特征，根據紅棗紋理特征參數的區分度，實現南疆紅棗的外觀品質分級檢測。由于紅棗的褶皺在白色光源下不明顯，導致檢測效果比較差，ZHANG 等通過調節光源的顏色，改變光源強度，對紅棗圖片灰度均值方差和灰度信息熵進行數據擬合，發現在光強35800 lx 下的綠+藍圖片紅棗的褶皺最清晰，并提出一種自動分水嶺分割算法實現棗果褶皺分級，結果表明該算法得到的褶皺分級準確率為92.11%。但以上紋理特征提取均需要人工提取，費時費力。針對傳統機器學習方法需要人工提取紋理特征并對圖片進行預處理等問題，羅秀芝等提出一種基于卷積神經網絡的哈密大棗紋理分級方法，使用卷積核自動提取紋理特征，相對于用灰度共生矩陣提取紋理信息，再分別用BP 神經網絡或SVM 來分類，用卷積神經網絡對哈密大棗紋理進行分類準確率高并且試驗過程更簡單。上述研究表明，深度學習較傳統的機器學習方法，在紅棗褶皺分級上更有優勢。

2.4 顏色檢測

紅棗表面顏色受天氣、土壤、水分等環境的影響，個體之間會有很大的差異，影響到紅棗品質，為滿足消費者對紅棗品質的需求，進行紅棗表面顏色的檢測和分級至關重要。馬翔等開發了一種基于嵌入式 STM32F407 處理器結合機器視覺技術的紅棗顏色檢測分級系統，首先通過CMOS 圖像傳感器獲取鮮棗圖像，經圖像預處理后，利用顏色閾值算法實現鮮棗顏色分級，經驗證表明該系統具有分級速度快、檢測識別精度高、制作成本低等優點，在紅棗顏色分級方面有較高的實用價值。孫中國等以表面顏色為生熟判別指標，建立了基于機器視覺技術的冬棗成熟度檢測系統，利用 HIS 模型中H 分量在冬棗表面圖像中含量的百分比進行生熟判別，實現了對冬棗的自動化分揀。詹映等通過對采集的紅棗圖像進行預處理后，提取紅棗的顏色特征參數為BP 神經網絡輸入層，實現紅棗品質分級。結果表明BP 人工神經網絡分級與人工分級的一致度達到了91.6%。上述研究表明，相比于其他特征檢測方法，顏色特征提取后往往被用于缺陷、紋理和成熟度的檢測，僅靠顏色特征往往難以直接實現外部品質的分級。

2.5 綜合外部品質檢測

依據單因素對紅棗檢測不足以全面實現紅棗品質檢測分級，綜合多種外部特征對紅棗進行檢測有利于提高檢測準確率。針對紅棗果形大小、表面質量和紋理等表面綜合信息，研究人員通常使用機器學習算法建立模型，集成各種模型進行外部品質檢測。鐘小華等提出了一種基于機器視覺技術的紅棗全表面信息無損分揀方法，依據果形大小、表面質量、紋理等表面信息分別建立對應模型，實現紅棗無損自動分級，系統驗證表明分級準確率達到90%以上，可以解決高速運輸狀態下無法在線呈現紅棗全表面信息的難點。GANBOLD 等提出一種基于圖像邊緣檢測的紅棗分級方法，通過圖像預處理、濾波及增強、梯度算法處理和自適應Canny算法實現紅棗大小、形狀、顏色、表面輪廓的檢測與分級，綜合準確率可達96.52%，已經可滿足紅棗分級的要求。但是在紅棗實際分級過程中，往往需要先篩選缺陷棗果，否則缺陷棗混入正常棗中，會影響紅棗的附加值。針對此問題李運志以大小、褶皺、缺陷作為分級指標，采用最小直線法擬合短軸的真實值與檢測的像素值的函數關系，建立大小分級模型。采用灰度共生矩陣提取紋理特征建立基于BP 神經網絡和SVM 的褶皺分級模型。提取病害區域與棗表面積的比作為閾值，建立基于SVM 的缺陷識別模型，實現駿棗外觀品質自動分級。其中缺陷識別準確率為95.79%，大小與褶皺分級準確率分別為95.65%和95.23%。可以滿足紅棗實際分級需求。但這種方法需要人工提取特征，費時費力。隨著深度學習技術的發展，可以從數據中自動學習特征，比傳統機器學習方法具有更強大的特征學習和特征表達能力。文懷興等以表面缺陷和紋理為分級指標，提出了一種基于深度殘差網絡對紅棗表面缺陷以紋理識別的分類算法，通過結合機器視覺與深度學習，實現紅棗在線檢測，研究結果表明，該分類方法準確率達96.11%，檢測效率約為120 個/min。上述研究表明，綜合多種外部特征融合檢測方法可以提高檢測準確率，但各指標需要建立不同的識別與分級模型，系統驗證需要綜合各種模型進行結果輸出。

3 結語與展望

在紅棗加工和流通過程中，紅棗品質檢測是不可缺少的一環，顏色、褶皺、大小、形狀和缺陷的種類，是紅棗最重要的外部感官質量屬性。快速、準確地對紅棗外部品質檢測能有效保障食品安全、提高企業生產效率。機器視覺有快速、準確、客觀和無損檢測等優點，已經被廣泛用于食品和農產品的質量檢測，以取代人工檢測。本文綜述了機器視覺系統分別在紅棗缺陷檢測、大小檢測、褶皺檢測、顏色檢測以及特征融合檢測中的應用。研究發現傳統的機器視覺系統是檢測顏色、紋理、尺寸、形狀和一些相對明顯缺陷的有力工具，但在檢測不明顯的缺陷方面效率較低。隨著人工智能技術的快速發展，深度學習算法在農產品檢測中得到越來越廣泛的應用。利用機器視覺結合深度學習對紅棗外部品質進行檢測與分級已成為熱點，但在紅棗外部品質實際檢測中，還需進一步完善和發展。

一個紅棗可能存在多種缺陷，有些缺陷部位往往難以被檢測到。目前深度學習中物體檢測技術可以實現目標的實時檢測與定位。因此，將物體檢測技術（Faster RCNN、SSD、YOLO 等）應用于紅棗外部品質檢測，可以實現紅棗全表面檢測，提高紅棗實時檢測效率。目前的機器視覺紅棗檢測設備往往只針對某一特定品種的紅棗進行檢測分級，對于其他品種的紅棗需要單獨開發檢測設備和軟件，相應地增加了檢測成本，因此有必要開發一種適用于不同種類紅棗的機器視覺檢測設備。結合機器視覺與多種光譜技術（近紅光光譜、高光譜成像技術和拉曼光譜等），開展對紅棗內外部品質指標綜合評價技術及裝備的研究，將成為紅棗品質無損檢測的研究熱點。