基于機器視覺技術的紅棗全表面信息無損分揀系統研究與實現

鐘小華

曹玉華1

張永清2

肖成軍1

(1. 廣東白云學院機電工程學院，廣東 廣州 510450；2. 廣東非思智能科技股份有限公司，廣東 廣州 510507)

基于機器視覺技術的紅棗全表面信息無損分揀系統研究與實現

鐘小華1

曹玉華1

張永清2

肖成軍1

(1. 廣東白云學院機電工程學院，廣東 廣州 510450；2. 廣東非思智能科技股份有限公司，廣東 廣州 510507)

設計了基于機器視覺技術相配套的紅棗全表面信息無損分揀系統，整機由紅棗自動喂料機構、紅棗排序機構、輸送及調整機構、分級執行機構、檢測及控制部分組成。該系統利用鏡面反射原理設計的紅棗表面信息采集機構，能同時采集紅棗正面、兩側面和底部圖像，完成紅棗全表面信息的獲取，解決了以往分揀系統無法在高速運輸狀態下在線呈現紅棗全表面信息的難點。基于視覺的無損分級軟件將實時處理采集到的圖像，分析與獲取紅棗的果形大小、表面質量、紋理等表面信息，并采用信息融合技術進行判別分級。試驗結果表明，本系統分級速度快，分級準確率達到90%以上，可較好滿足紅棗自動化快速檢測分級生產要求。

紅棗；分揀系統；全表面信息檢測；機器視覺；姿態調整

分級是紅棗貯藏、加工及流通等的一個關鍵技術環節，直接影響果農的經濟效益。目前中國的紅棗分級方法主要分為人工揀選和機械篩選兩大類。人工揀選紅棗存在勞動強度大、效率低、成本高、分級精度和衛生質量都難以保證等弊端；紅棗機械篩選分為基于紅棗尺寸大小的機械式分級設備，以及基于機器視覺的紅棗綜合指標智能化分級設備。機械式分級設備主要集中為滾筒式[1]和滾杠式分級設備[2]，結構簡單，效率高，但分級方式單一、易串級、精度低。基于機器視覺的紅棗分級設備是中國近幾年研發出的針對紅棗的顏色、紋理、大小、形狀，以及視覺缺陷等信息進行無損分級的設備，分級精度高、速度快，有廣闊的市場前景。雖然基于機器視覺技術的紅棗分級設備在分級的方法[3]、算法[4]以及相關的機械裝置[5]等方面已取得了較多成果，但絕大部分的研究成果只依據紅棗的某個單一參數，如紅棗的果型或者紋理信息進行紅棗分級，紅棗全表面信息實時在線檢測分級目前仍處于研究階段，其中能夠實現紅棗全表面信息呈現的配套機械裝置是制約視覺紅棗分級發展的難點之一。王松磊等[6]設計出采用搓動旋轉輸送系統輸送紅棗，并在輸送的同時攝像機連續采集翻轉紅棗的圖像，對采集的圖像分析后進行分級。但由于紅棗果型、表面情況等原因，不能保證紅棗在輸送中跟隨搓動旋轉機構旋轉。羅華平等[7]通過專利提出一種紅棗翻轉機構方案，可分兩次實現紅棗的雙面檢測，但這種機構很難進行在線高效率的分揀。田緒順等[8]采用仰拍攝像機采集從一次輸送機構拋射到二次輸送機構紅棗底面的圖像，而二次攝像頭采集落在吸振功能較好二次輸送機構紅棗正面的圖像，但經拋射后的紅棗落在二次輸送機構后會發生彈跳和翻轉，同時仰拍攝像機容易積塵，影響后期檢測精度。

本研究以新疆干制和田玉棗(含水率低于25%)為研究對象，設計了一種基于機器視覺技術，能實現紅棗快速喂料排序，在高速輸送過程中實時在線檢測紅棗全表面圖像信息，可根據紅棗的果形大小、表面質量、紋理等表面信息進行無損自動分級的新型分級系統。

1 分揀系統的總體構建

紅棗分揀系統主要由自動喂料機構、紅棗排序機構、輸送及調整機構、上檢測系統、下檢測系統、分級執行機構幾部分構成，其結構示意圖見圖1。

1. 料斗 2. 喂料輸送機構 3. 下料導向板 4. 紅棗擋板 5. 紅棗排序皮帶 6. 紅棗下料口 7. 紅棗檢測電眼 8. 紅棗輸送及調整單元 9. 左右面圖像反射鏡 10. 上檢測系統 11. 紅棗夾送單元 12. 下檢測系統 13. 分級排出口圖1 整機結構示意圖Figure 1 Schematic diagram of the whole machine

紅棗分級系統經過喂料輸送機構進行上料，保證有序上料率≥95%，接著排序機構對紅棗進行有效的排序，然后上檢測系統對經調整機構調整好姿態的紅棗進行上側、左側、右側的表面圖像采集，下檢測系統采集紅棗的底部信息圖像。系統視覺無損分級軟件將采集到的圖像實時處理分析紅棗的果形大小、表面質量、紋理等表面信息，最后利用信息融合技術分析紅棗外部綜合品質等級。計算機同時控制氣動式分級執行機構，當紅棗運送至相應等級通道時，噴氣嘴把紅棗送入分級通道完成分級。

1.1 輸送及調整機構

如圖2所示，輸送及調整機構由一對相對擺放并呈一定速差(V2≠V3)的差速皮帶及輸送皮帶構成。當紅棗進入輸送及調整機構時，若紅棗的長徑方向與輸送方向不一致，則會在差速皮帶作用下旋轉直至基本與兩側皮帶平行的穩定狀態。

1. 差速皮帶1 2. 差速皮帶2 3. 輸送皮帶圖2 紅棗輸送及調整機構圖Figure 2 Diagram of conveying and adjusting mechanism

1.2 上下圖像檢測機構

上檢測機構由工業CCD、環形光源、與水平方向成夾角45°的鏡子組成，其結構示意圖見圖3。當紅棗經過時，工業相機會抓取紅棗正面的圖像及鏡子中反射的紅棗兩側圖像，并輸送給圖像處理系統。

1. 左反射鏡 2. 環形光源 3. 攝像機 4. 紅棗 5. 紅棗輸送帶 6. 右反射鏡圖3 上檢測機構示意圖Figure 3 Schematic diagram of the upper surface inspection mechanism

下檢測機構(見圖4)采用呈一定角度(可調)的皮帶夾住紅棗的兩側邊，工業攝像機采集鏡面反射的紅棗底部圖像，保證高速分級速度的同時可避免工業相機朝上易積灰塵的缺點，同時紅棗鏡面采用吹氣裝置保持鏡面的潔凈。

1. 夾送皮帶 2. 反射鏡 3. 攝像頭圖4 下檢測機構示意圖Figure 4 Schematic diagram of the under surface inspection mechanism

2 紅棗全表面圖像采集處理系統

如圖5所示，紅棗全表面圖像采集系統采用雙攝像頭對紅棗進行多表面圖像信息的采集。圖像處理軟件首先對攝像頭采集到的圖像進行預處理，包括采用二值法可去除背景，減少冗余數據，中值法+小波變換去除噪聲；接著采用凹點搜索法分析紅棗的果形；采用灰度共生矩陣得到紅棗的紋理參數；采用RGB+HSI模型分析紅棗顏色得到紅棗是否腐爛、破損的信息；然后根據得到的果型參數、紋理參數、顏色參數，應用信息融合技術進行紅棗的分級，最后向分級執行機構發出分級命令控制氣動分級執行機構進行分級。

圖5 紅棗全表面圖像采集及處理框圖Figure 5 Full surface image acquisition and processing block diagram

2.1 紅棗大小和果形分析

2.1.1 紅棗大小檢測 紅棗的大小分級主要按照紅棗的長徑分級[9-10]，分級標準見表1。

表1 干制紅棗分級標準Table 1 Grading standard of dried jujube

本系統將預處理后的4個級別分別為50個紅棗二值圖采用OpenCV最小外接矩形函數cvMinAreaRect2得到紅棗的長徑和短徑數據，用游標卡尺測得紅棗長徑的真實值，得到的紅棗長徑真實值和像素值見表2。利用最小二乘法直線擬合的紅棗圖像長徑像素尺寸值與實測長徑值關系來判定紅棗大小等級，擬合函數為f= 89.225x-15.306，R2=0.972 7。

表2 紅棗的長徑真實值和像素值Table 2 The true value and pixel value of long diameter of jujube

(1)

(2)

式中：

Di(N)——某點的方向編碼差;

N——曲線上的點xi的前驅點個數；

圖6 凹點深度圖Figure 6 Schematic diagram of concave point search

圖7為正常棗與畸形棗的邊界凹點搜索結果，可以看出，正常棗在定位的過程中得到的凹點并不是真正意義上的點(葫蘆形棗與正常棗搜索結果類似)，而畸形點定位得到的凹點為垂直方向上的凹點，很好地區分了正常棗跟畸形棗。凹點搜索法可以很好地定位紅棗的最大凹點位置。經試驗分析當紅棗圖像邊界的最大凹點深度小于閾值(閾值由試驗統計確定)，該棗為正常棗或者葫蘆形棗；當紅棗圖像邊界的最大凹點深度大于閾值，該棗為畸形棗。

圖7 紅棗邊界凹點搜索結果Figure 7 The results of the boundary point search

2.2 紋理分析

紋理是紅棗外部品質的重要特征，紋理多的紅棗果肉少重量輕糖分低，俗稱“皮皮棗”[13]，紅棗紋理特征的提取直接影響后續紅棗品質分級的質量，按紋理相似性對相同尺寸大小的紅棗進行分級，對保證紅棗品質的一致性意義重大。紋理特征提取方法有：灰共生矩陣(GLCM)、Tamura紋理特征、自回歸紋理模型、小波變換等。本系統采用灰度共生矩陣來提取南疆紅棗的紋理特征。

紅棗表面褶皺在其灰度圖實質是像素的灰度級的大小及空間的分布不同。灰度共生矩陣常用的特征參數有4個[14]：能量、對比度、相關性、熵。在圖像中任意取一點(x,y)及偏離它的一點(x+a,y+b)(其中a，b為整數，人為定義)構成點對。設該點對的灰度值為(i,j)，再令點(x,y)在整幅圖像上移動，則會得到不同的(i,j)值。設圖像的最大灰度級為L，則i與j的組合共有L×L種。對于整幅圖像，統計出每一種(i,j)值出現的次數，然后排列成一個方陣，再用(i,j)出現的總次數將他們歸一化為出現的概率P(i,j)，由此產生的矩陣為灰度共生矩陣。

(1) 能量(Energy)：是灰度共生矩陣各元素值的平方和，反映圖像灰度分布均勻程度和紋理粗細度。能量值大表明當前紋理是一種規則變化較為穩定的紋理。由式(3)得出紅棗紋理粗細度。

(3)

式中：

i,j——分別表示兩個像素的灰度；

(2) 熵(Entropy)：圖像包含信息量的隨機性度量，表明圖像灰度分布的復雜程度，熵值越大，圖像越復雜。由式(4)計算紅棗紋理的復雜程度。

(4)

(3) 對比度：矩陣的值是圖像分布和圖像局部變化的度量，反映圖像的清晰度和紋理的溝紋深淺。對比值越大，溝紋越深。由式(5)計算紅棗溝紋的深淺度。

(5)

(4) 相關性(Correlation)：圖像中局部灰度相關性的度量。當矩陣元素值均勻相等時，相關值就大。由式(6)計算紅棗顏色的均勻性，其中式(7)～(10)為式(6)參數。

(6)

(7)

(8)

(9)

(10)

式中：

μx——灰度共生矩陣元素在x方向的均值；

μy——灰度共生矩陣元素在y方向的均值；

σx——灰度共生矩陣元素在x方向上的方差；

σy——灰度共生矩陣元素在y方向上的方差。

人工挑選不同紋理等級的2組紅棗分別各50顆，經試驗分析，由于紅棗的褶皺條紋通常為沿長徑方向分布，不同紋理的紅棗在沿45°或135°方向統計的能量、熵、對比度、相關性的數值差異性較大，因此本研究統一采用135°方向分析紅棗紋理。

表3為部分紅棗紋理共生矩陣參數。由表3可知，兩組紅棗的相關性差異不大，因各級紅棗圖像都表現為紅色，顏色差異不大。兩組紅棗的能量、熵、對比度有一定的差異性，能很好地反映紅棗的紋理特征。

2.3 損傷腐爛分析

破損、黑斑和裂紋是紅棗常見缺陷，嚴重影響了紅棗的品質。相機采集的圖像為RGB模型，便于計算機處理，但不符合人對顏色的直接感覺。HSI顏色模型包含色相(Hue)、飽和度(Saturation)和亮度(Intensity)，紅棗圖像的HSI顏色模型可以很好地分析紅棗的缺陷特征，見圖8。

表3 135°方向統計的紅棗紋理共生矩陣參數Table 3 Parameters statistics of jujube texture co- occurrence matrices in 135° direction

圖8 紅棗缺陷特征提取Figure 8 Defect features extraction of jujube

缺陷區域面積與最后分割紅棗面積的比值是判斷缺陷有無和嚴重等級的重要參數。隨機選擇100個缺陷棗和400個非缺陷棗作為訓練樣本，50個缺陷棗和50個非缺陷棗作為測試樣本。統計缺陷面積比，當病害面積比值為0.09±0.01時，對缺陷棗和非病害棗的正確識別率都在90%以上，見表4。

3 結論

(1) 本試驗以新疆和田玉棗為對象，設計了能實現紅棗快速喂料排序，在高速輸送過程中實時在線檢測紅棗全表面圖像信息，無損自動分級的新型紅棗分揀系統。本系統全表面信息的采集機構結構設計緊湊，可用在其他小型果品的無損分揀。

(2) 紅棗全表面圖像處理系統在得到果型、紋理、顏色參數后應用信息融合技術能夠有效分揀紅棗，其中凹點搜索法分析紅棗的果形可以實現畸形果的檢測；灰度共生矩陣得到紅棗的紋理參數可以實現同樣大小尺寸紅棗的紋理分級；RGB+HSI模型分析紅棗顏色得到紅棗是否腐爛、裂紋的信息，能有效地剔除壞棗、裂棗。

表4 紅棗缺陷識別結果Table 4 Results of defect features extraction

[1] 白依凡, 賀曉光, 何建國, 等. 紅棗自動分級機的研究進展[J]. 寧夏工程技術, 2016(1): 88-92.

[2] 馬少輝. 柵條滾筒式紅棗分級機改進與試驗研究[J]. 中國農機化, 2012(3): 96-98.

[3] 羅雪寧, 彭云發, 代希君, 等. 基于MATLAB的紅棗圖像處理研究[J]. 農機化研究, 2015(3): 183-186.

[4] 趙杰文, 劉少鵬, 鄒小波, 等. 基于支持向量機的缺陷紅棗機器視覺識別[J]. 農業機械學報, 2008(3): 113-115, 147.

[5] 劉艷麗, 杜鴻運, 王世璞. 紅棗高速在線分級檢測系統研發[J]. 中國農機化學報, 2015(5): 142-144.

[6] 王松磊, 劉民法, 何建國, 等. 紅棗自動快速無損檢測分級機研究[J]. 農業機械學報, 2014(9): 79-83, 95.

[7] 羅華平, 徐賁, 郭玲, 等. 果品分級篩選裝置: 中國, 200920277329.7[P]. 2009-12-28.

[8] 田緒順, 李景彬, 坎雜, 等. 基于機器視覺的紅棗雙面檢測分級裝置設計[J]. 食品與機械, 2012, 28(5): 138-140.

[9] 李景彬, 鄧向武, 坎雜, 等. 基于機器視覺的干制紅棗大小分級方法研究[J]. 農機化研究, 2014(2): 55-59.

[10] 肖愛玲, 潘斌. 基于標記的極半徑極值紅棗形狀識別方法[J]. 農機化研究, 2015(7): 61-65.

[11] 謝忠紅, 姬長英, 郭小清, 等. 基于凹點搜索的重疊果實定位檢測算法研究[J]. 農業機械學報, 2011(12): 191-196.

[12] 朱煜, 江林佳, 肖玉玲. 材料圖像目標粘連點定位與分割方法研究[J]. 南京理工大學學報: 自然科學版, 2008(1): 110-113.

[13] 詹映. 基于機器視覺南疆紅棗顏色分級方法研究[D]. 阿拉爾市: 塔里木大學, 2015: 11-12.

[14] 胡小鋒, 趙輝. VisualC++/MATLAB圖像處理與識別實用案例精選[M]. 北京: 人民郵電出版社, 2004: 131-133.

Research and implementation of the non-destructive sorting system for full surface information of jujube based on machine vision technology

ZHONGXiao-hua1

CAOYu-hua1

ZHANGYong-qing2

XIAOCheng-jun1

(1.SchoolofElectromechanicalEngineering,GuangdongBaiyunUniversity,Guangzhou,Guangdong510450,China; 2.GuangdongFaceIntelligenceTechnologyCo.,Ltd,Guangzhou,Guangdong510507,China)

Based on machine vision technology, a non-destructive sorting system for full surface information of jujube is designed. The whole machine consists of several parts, including automatic feeding mechanism, sorting mechanism, conveying and attitude adjustment mechanism, grading actuator, detecting and controlling part. Based on theory of mirror reflection principle, an inspection mechanism that can provide the full surface information to the Image processing software is designed to capture a top image, a bottom image and two side images of jujube at the same time, then the problem that the previous sorting system cannot acquire a whole surface information of the red jujube in the condition of high speed transportation is solved. The grading software is designed to process the acquired images in real time, and obtains the surface information such as fruit shape, surface quality and texture. Finally, information fusion technology is used to sort the red jujube with the surface information. The test result shows that the sorting speed of this system is fast, and the sorting accuracy is more than 90%. It can meet the production requirements of detecting and sorting jujube rapidly in an automated way.

jujube; sorting system; full surface information detec-tion; machine vision; attitude adjustment

廣東省智能制造應用型人才協調育人基地(編號：粵高教函[2016]31號)

鐘小華，女，廣東白云學院助教，碩士。

曹玉華(1958—)，女，廣東白云學院教授，博士。 E-mail:yh.cao@baiyunu.edu.cn

2017—02—15

10.13652/j.issn.1003-5788.2017.05.024