水果表面全真圖像采集技術研究進展

劉 婷，張紹英，王葉群

(中國農業大學 工學院，北京 100083)

水果表面全真圖像采集技術研究進展

劉 婷，張紹英，王葉群

(中國農業大學 工學院，北京 100083)

水果表面信息既反映外觀和結構特征，在一定程度上還反映內在品質，常作為機器視覺分級的依據，獲取水果表面全真信息是保障機器視覺分級效果的基礎和關鍵。為此，對水果表面信息特點及成像要求、現有水果表面信息采集方法、技術原理及采集信息質量進行了分析，并針對水果的生物學特性和分級作業要求，對表面信息采集環節亟待解決的信息缺失和失真問題提出了進一步的建議和設想。

水果分選；機器視覺；表面圖像

0 引言

水果銷售及加工前的分選不僅能夠提高水果商品價值，更有助于從源頭控制食品安全[1]。根據生長、貯運過程特有的生物學規律，水果表面圖像中既包含有外觀信息，同時還反映內部品質，故水果表面圖像常作為機器視覺分級的依據。利用特定光學成像及機器視覺技術進行的水果分級，可兼顧辨識水果的幾何、物理及生化特性差異，應用前景廣闊。

1 水果表面信息特點及對成像的要求

水果生長過程中，外部環境干涉和內部發育狀態會在水果表面留下特殊的印記；而隨后的貯運過程中，受外力損傷、生物污染及自身采后生理變化過程的影響，進一步導致表面形態的整體或局部的質地和形狀變化。大多數情況下，品質缺陷反映應為質地和形狀局部變化，具體表現為異色缺陷斑塊或損傷缺陷斑塊。缺陷斑塊通常會以不規則形狀散布在水果的表面上，有些可通過可見光環境下的直接成像發現，有些則可利用特定波長激發光的成像獲得。由此可見，機器視覺分級過程實質上是利用特定成像條件發現缺陷斑塊的過程。

作為大宗農產品，水果資源總量大、個體多樣，基于表面成像進行的機器視覺分選需要逐個甄別，獲取個體表面圖像力求實時、快速。由于缺陷斑塊在水果表面隨機分布的特性，要求成像覆蓋水果的全部表面。根據圖像進行分析時，常以缺陷斑塊的幾何閾值進行判斷，圖像中應真實體現缺陷斑塊形狀、尺寸。利用機器視覺進行水果分級時，圖像采集應兼顧快速、全面、準確。

2 水果表面全真采像技術的研究及應用

基于表面成像的機器視覺分選作業效果主要受兩方面因素制約：一是全面、準確地獲得水果表面圖像；二是對表面圖像所包含的信息進行科學、正確的解讀和判斷。前者主要受制于相機與水果相對位置、相機與水果相對運動、輔助成像條件的配置，后者則仰仗表面信息與品質指標的關聯規律、特征信號挖掘轉換及圖像處理算法。

現有基于機器視覺技術的水果外觀品質檢測[2-6]相關研究多集中在圖像處理算法和數據-指標關系建模算法[7]。其中，圖像處理算法包括濾波去噪、圖像分割和特征提取等[8-11]。數據-指標關系建模則大多采用非線性算法，如二次多項式擬合、偏最小二乘回歸、模糊聚類和神經網絡等[12-15]。目前，水果表面信息采集主要采用多機位固定成像、旋轉多次成像及面鏡反射固定成像等方法進行，獲取的表面信息多存在缺失和失真。

大多數水果表面呈曲面，快速獲得其表面全部、真實影像具有一定難度，而表面信息的缺失及失真將直接影響運算、判斷和分級的準確性。因此，對水果表面的全真信息采集技術研究也成為保障機器視覺分級效果的基礎和關鍵。

2.1 水果靜止成像

水果靜止成像是指以固定機位對靜止水果進行的成像，分為水果靜置成像和水果間歇運動靜止成像兩種情況。水果靜止成像系統一般包括相機、光源和水果承托裝置，配置要求低，明顯優勢是成像質量高，但處理能力低，故多用于試驗平臺。

2.1.1 單機位靜止采像

Blasco等(2003)[16]將相機布置于水果正上方，利用真空果杯吸附固定水果后，首先調整水果軸線與CCD相機光軸成一定夾角后采集第1幅圖像；然后，使水果沿其軸線分兩次各轉過120°，采集第2、3幅圖像；最后，二次吸附固定水果，對吸盤遮蓋區域進行補充成像，從而用4幅圖像(見圖1)獲得高重復率的全部表面信息。

圖1 Blasco等采用的水果定向檢測系統Fig.1 Detection system of fruits orientation from Blasco

Niigaki等(2009)[17]將水果放置在間歇定軸旋轉的轉臺上，CCD相機固定在蘋果側上方，光軸與蘋果形心相交，多次釆集蘋果不同方位的圖像，如圖2所示。

圖2 Niigaki等采用的水果表面圖像采集裝置Fig.2 Acquisition device of fruit surface image in Niigaki’s study

高云(2010)[18]則將相機水平布置于繞鉛垂軸間歇旋轉的水果托盤側面進行單機位多次采像，來獲取水果全部表面信息。

朱蓓(2013)[19]將水果固定在水平軸心旋轉臺的正中心位置，相機布置于水果正上方且光軸與旋轉臺軸心垂直相交，通過水果在繞水平軸轉過不同角度時，相機在“單幀采集”的模式下，多次采集水果的靜態圖像來獲得水果的全表面圖像信息。

上述方法盡管可利用運動間歇實現單幅靜止采像，得到的圖像品質較高；但受制于定軸旋轉、承托裝置遮擋及固定單機位視野局限，采集到的多幅圖像合并信息仍不能保證對蘋果表面的全覆蓋，且單個水果表面信息采集耗時長、效率低，不宜用于大規模分選。

2.1.2 多機位靜止采像

Shiraishi等(2011)[20]提出一種采用6個相機同時獲取處于靜止狀態的橢球形果蔬的全部表面圖像的方法，如圖3所示。當單個果蔬被送至采像工位，間歇輸送停止，水果周圍的LED光源點亮，3對兩兩垂直分別布置于3個垂直方向的CCD相機同時采像，用6幅圖像反應果蔬的表面信息。

圖3 Shiraishi等采用的圖像采集裝置Fig.4 Acquisition device of fruit surface image from Shiraishi

采用多幅靜止圖像從不同角度反映水果弧形表面的信息，盡管理論上所采集的多幅圖像可實現對全部表面的覆蓋；但由于圖像數量有限，當需要對失真要求較高時，剔除圖像中的高誤差邊緣區域后，剩余的有效采集區域常不能覆蓋水果的全部表面，易產生表面圖象信息的缺失，且失真度較高。

2.1.3 光學輔助裝置靜止采像

李慶中等(2002)[21]利用光學輔助系統和兩個不同相機進行了獲取水果全部表面信息的嘗試。在水果的正上方安裝1個雙CCD相機，彩色CCD用于采集水果的彩色圖像信息，黑白CCD則采集近紅外波段的圖像信息。水果利用無底果杯傳輸，在水果的下方安裝1個黑白CCD相機采集水果下表面的圖像信息。為了盡可能多地獲取水果的全表面圖像信息，在水果的兩側分別安裝一面平面鏡，則處于水果正上方的雙CCD相機可以同時獲取水果的3幅圖像，從而兩CCD相機可獲取水果的多表面圖像信息。由于平面鏡中水果圖像存在的畸變及圖像背景混亂，后續運算中除進行幾何修正外，還需要設計不同的背景分割算法，增加了運算量。

Reese等(2008,2009)[22-23]嘗試利用鏡子克服采像過程中區域缺失的問題，如圖4所示。研究發現：在置于兩條平行纜線上的蘋果兩側放置兩凸面鏡時，可以獲取蘋果接近100%的表面圖像。尤其是當蘋果軸線恰與兩纜線所在平面垂直，或蘋果軸線與兩纜線平行時，獲取蘋果表面圖像信息最多。

圖4 Reese等采用平面鏡和凹面鏡的獲取圖像Fig.4 Images acquired using flat or concave mirrors from Reese

由于光學輔助成像多用面鏡反射原理獲取背向相機一側的圖像，不僅圖像背景混亂，還易產生面鏡中圖像畸變嚴重的問題，需附加校正運算，進一步提高了算法的復雜程度，降低了運算速度。

2.2 水果運動成像

水果運動成像是指以固定機位對運動過程中的水果的成像，包括對受控運轉和自由運動兩種過程中的水果進行成像兩種情況。水果運動成像一般由光源、過程運動調控系統或初始運動調整系統和相機組成，水果運動調整、調控系統復雜，要求相機感光靈敏度高，其明顯優勢是圖象采集效率高，處理能力低，故廣泛應用于實際生產。

2.2.1 運動控制成像

運動控制成像是指采取強制措施控制水果的運動狀態后，對受控運動過程中的水果進行成像的采像方法。運動控制成像突出的優勢為可有效控制獲取圖像對水果表面的全面覆蓋，但圖像處理時仍需進行無效影響分割。

為了改善靜止成像中水果表面信息缺失和失真問題，目前常用的方法是利用旋轉托輥帶動水果平動和翻滾，在水果運動過程中用單機位、多次成像采集多個位置的表面圖像信息[24-30]。

謝國俊等(2007)[31]將水果放置于連續平動的傳送帶上的托盤中，3個CCD相機布置在與水果運動方向垂直的豎直面內。其中，1只相機位于傳送帶的上方，光軸與水果形心的運動軌跡垂直相交；另兩只CCD相機分別布置于傳送帶兩側，光軸與傳送帶的上方CCD相機的光軸交于水果形心，交角均為60°，3個CCD相機具有一定的重疊采集區域。當水果形心與相機3光軸所在平面重合時，3個CCD相機同時在不同的方位上采集水果表面的大部分信息。

Troop等(2005)[32-34]首先利用蘋果對稱軸線將蘋果定位于輸送鏈的托盤上(見圖5)，托盤內環可自由旋轉，每個托盤一側布置兩個與蘋果軸線平行的豎直塑料托輪；當蘋果進入采像工位時，由于托盤翻轉帶動托輪及蘋果在與輸送鏈運動方向垂直的平面內傾斜45°并使蘋果軸線與相機光軸垂直；此時蘋果繼續向前輸送時，與托輪之間的摩擦帶動蘋果沿自身軸線按設定的角速度轉動360°，蘋果每旋轉30°相機采像一次，用12幅圖像獲取蘋果的全表面信息。

圖5 Troop等采用的水果定向機械裝置Fig.5 Mechanism for fruits orientation in Troop’s study

Kondo (2010)[35]在檢測橘子的外部特征時，利用在不同方位布置的6只固定CCD相機，即可使橘子平動過程中產生滾轉的特殊輸送帶來檢測橘子表面信息。在第1個采像工位，4只相機在傳輸帶兩側兩兩相對、交叉布置于水平面，從4個方向檢測橘子的側面信息。第2、3個采像工位，各有1只相機垂直布置于傳輸帶正上方，由第2采像工位轉換至第3采像工位過程中，橘子沿水平軸旋轉180°，用于采集第1采像工位為覆蓋的頂部和底部信息，用順序獲取的6幅圖像反映橘子的全部表面信息。

李偉等(2006)[36]利用特殊輸送鏈控制蘋果作平動加滾轉運動，CDD相機固定于圖像采集區的上方。蘋果經過采集區域時， CDD相機以適當時間間隔采集3幅圖像，即可覆蓋蘋果90%以上表面信息。

鄒小波等(2010)[37]利用3個相互獨立的成像系統進行蘋果表面信息采集。3個成像系統所屬3相機布置在采像工位的上方；3相機光軸均位于蘋果運動方向的鉛垂面內，且與采像工位的蘋果的形心相交；3相機光軸間具有一定夾角。蘋果在輸送鏈承托下進入采像區域受托輥驅動開始旋轉，到達采像工位后同時觸發3只相機，通過與運動參數的匹配，3只相機完成3次同步采像，用9幅圖像全面反映蘋果表面圖像信息。

上述幾種水果運動控制方法有利于獲取水果的全表面信息，但仍然存在不同程度的漏采，且其圖像質量欠佳。同時，多次采像造成的冗余信息加重了運算負荷。

2.2.2 運動干預成像

運動干預成像是指采取強制措施調整水果的初始運動狀態后解除干預，對在重力場中自由運動過程中的水果進行成像的采像方法。運動干預成像的突出優勢是可獲得“無背景”圖像，簡化了圖像分割，可有效提高分析、運算速度，但需進行水果的初始運動狀態及運動軌跡和成像系統的精準配置。

Raytec Vision SpA公司研發的Raynbow系列分選設備中，采用了對拋落過程中自由運動物料進行空中成像技術。物料在離開輸送帶轉入自由下落過程中，布置于拋物線軌跡一側(或兩側)相機對下落物料進行多次、多角度采像。由于飛行過程瞬間成像，可得到無背景圖像，在配備可高速成像高像素相機及高速運算系統時，可用于大規模的分選作業。

該方法的優勢在于如下：對自由運動物體多次、瞬間成像可快速獲得巨量樣本的信息，如能對自由運動物體初始運動狀態進行主動調整，使之適應獲得物料表面全真信息的要求，將為依據水果表面信息進行分選作業提供全面、精準的信息來源。

3 存在的問題

1)對已有研究和技術分析可知：受制于水果曲面形狀，無論是靜止采像或運動采像，均存在不同原因導致的不同程度表面信息的漏采和失真。采用多相機、多工位或多圖幅采像，盡管可解決表面信息的漏采問題，但在有限的圖像中真實反映任意表面區域的圖像信息，尤其是獲取大量個體的低失真度的表面信息十分困難。

2)在大批量分選作業中，當要求高精度分選時，即便能夠不計代價地獲取水果表面的全真信息，海量的數據及運算量還將產生很高的數據分析、判斷系統硬件配置費用，使分選設備性價比下降，與現有的人工分選相比無優勢可言。

4 展望

隨著對食品安全要求的提升，對水果分級精度的要求勢必越來越高，研究作為大宗農產品的水果表面全真信息的快速采集技術，有助于水果分級技術水平的提高，將成為今后一個重點研究方向。

對于以不破壞整體性、不改變外觀為前提的水果分級作業，以表面信息為分析判斷基礎和定級依據，在目前及今后仍不失為一種行之有效的作業方法。針對水果資源特點及分選要求，快速獲得巨量個體的全面、真實的表面信息，是保證分選效果的基礎和保障。

鑒于水果外表面復雜的幾何、物理特性，全面、精確獲取其表面信息技術難度高，盡管投入了高速度的數據采集、傳輸及運算系統，開發了數學校正、圖像識別算法，大多對問題的解決事倍功半。依據表面信息進行水果分級作業效果的提高，一方面應針對不同水果的生物特性、質量要求、作業要求，合理規劃表面信息采集方法及流程，粗精分流，提升效率和準確性；另一方面，解決水果表面圖像采集及分選應考慮多種技術集成的應用研究，應重點開發或集成針對空間自由運動物體的快速、高保真曲面立體(掃描)成像的技術和裝備，采用機械、光學及運算相結合的水果運動調整、光環境配置、圖像合成及模糊速算技術，兼顧水果的幾何特征和生物特性，同時簡化采集圖像的背景信息，從根本上解決水果分級作業中復雜表面全真信息的來源問題。

[1] 趙卓,于冷.質量分級促進農業現代化的理論與現實:國外文獻綜述[J].西北農林科技大學學報:社會科學版,2009(4):29-34.

[2] 劉國敏,鄒猛,劉木華,等. 臍橙外部品質計算機視覺檢測技術初步研究[J].中國農業科技導報, 2008,10(4):100-104.

[3] 梁偉杰,鄧繼忠,張泰嶺.梨果面壞損區域的計算機視覺檢測方法[J].農業機械學報, 2005,36(7):101-103.

[4] Brosnan T, Sun D W. Inspection and grading of agricultural and food products by computer vision systems-a review[J]. Computers & Electronics in Agriculture,2002,36(2-3):193-213.

[5] 劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].無錫：江南大學,2012.

[6] 韓偉,曾慶山.基于計算機視覺的水果直徑檢測方法的研究[J].中國農機化,2011(5):108-111.

[7] 黃偉鋒,唐宇,姚鑫,等.基于可見光波段成像的水果品質檢測方法研究進展[J].仲愷農業工程學院學報, 2016(1):67-71.

[8] 王曉虹,韋英華.結合Ridgelet 變換與Wiener濾波的蘋果圖像去噪算法[J].江蘇農業科學,2013,41(10):373-375.

[9] 王福杰,饒秀勤,應義斌.蘋果圖像的背景分割與目標提取[J].農業機械學報,2013,44(1):196-199,210.

[10] 郭艾俠,鄒湘軍,朱夢思,等.基于探索性分析的荔枝果及結果母枝顏色特征分析與識別[J].農業工程學報,2013,29(4):191-198.

[11] 宋懷波,張衛園,張欣欣,等.基于模糊集理論的蘋果表面陰影去除方法[J].農業工程學報,2014,30(3):135-140.

[12] 陳浩磊,陳厚彬,劉財興.桂味荔枝果頂形狀與種核質量的關系研究[J].西南大學學報：自然科學版,2012,34(4):20-26.

[13] 熊俊濤,鄒湘軍,陳麗娟,等.基于機器視覺的自然環境中成熟荔枝識別[J].農業機械學報,2011,42(9):162-166.

[14] 全燕鳴,黎淑梅,成喜春,等.基于機器視覺的果肉多類型異物識別方法[J].農業工程學報,2011,27(3):162-166.

[15] 梁明,孟大偉.多特征圖像融合的蘋果分級方法應用研究[J].計算機仿真,2012,29(7):256-259.

[16] Blasco J, Aleixos N, Moltó E. Machine Vision System for Automatic Quality Grading of Fruit[J].Biosystems Engineering, 2003, 85(4):415-423.

[17] Niigaki H, Fukui K. Classification of Similar 3D Objects with Different Types of Features from Multi-view Images[Z].Tokyo: PSVIT, 2009, 5414:1046-1057.

[18] 高云,李盼,周明,等.一種水果圖像獲取裝置:中國，G01B11/08(2006．01)I[P]．2011-06-22．

[19] 朱蓓.蘋果全表面圖像信息獲取方法的研究[D].杭州：浙江大學, 2013.

[20] Shiraishi Y, Takeda F. Proposal of whole surface inspection system by simultaneous six-image capture of prolate spheroid-shaped fruit and vegetables[Z].Kuala Lumpur:IEEE, 2011:1-5.

[21] Li Q,Wang M,Gu W.Computer vision based system for apple surface defect detection[J].Computers and Electronics in Agriculture,2002,36(2-3):215-223．

[22] Reese, D Y, Lefcourt, A M, Kim, M S,et al. Whole surface image reconstruction for machine vision inspection of fruit[Z].Boston, Mass: SPIE, 2007, 6761.

[23] Reese D, Lefcourt A M, Kim M S, et al. Using parabolic mirrors for complete imaging of apple surfaces[J]. Bioresource Technology, 2009,100(19):4499-4506.

[24] Xu L M, Zhao Y C, Li D L. Automated strawberry grading system based on image processing[J].Computers & Electronics in Agriculture, 2010, 71(1):S32-S39.

[25] Sun T,Huang K Xu H,et a1.Research advances in nondestructive determination of internal quality in watermelon/melon：A review[J]．Journal of Food Engineering，2010，100(4)：569-577.

[26] Al Ohali Y.Computer vision based date fruit grading system:Design and implementation[J].Journal of King Sand University-Computer and Information Sciences,2011,23(1):29-36．

[27] Al-Mallahi A,Kataoka T,Okamoto H,et a1.An image processing algorithm for detecting in-line potato tubers without singulation [J].Computers and Electronics in Agriculture,2010,70(1):239-244.

[28] Elmasry G, Cubero S, Moltó E, et al. In-line sorting of irregular potatoes by using automated computer-based machine vision system[J]. Journal of Food Engineering, 2012,112(1-2):60-68.

[29] Unay D,Gosselin B,Kleynen O,et a1.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212．

[30] Sun T,Huang K, Xu H,et a1.Research advances in nondestructive determination of internal quality in watermelon/melon:A review[J].Journal of Food Engineering,2010,100(4):569-577.

[31] 謝國俊,曹其新,劉建政,等.基于多方位視覺的果實形狀特征的提取研究[J].農業工程學報,2007,23(7): 127-132.

[32] Throop J A, D J Aneshansley, W C Anger,et al.Conveyor design for apple orientation[Z].Las Vegas :ASAE. 2003a, 036123.

[33] Throop, J. A., D. J. Aneshansley, W. C. Anger, D. L. Peterson. Quality evaluation of apples based on surface defects-an inspection station design[Z].Las Vegas :ASAE, 2003b, 036161.

[34] Bennedsen B S,Peterson D L,Tabb A.Identifying defects in images of rotating apples[J].Computers & Electronics in Agriculture, 2005, 48(2):92-102.

[35] Kondo N.Automation on fruit and vegetable grading system and food traceability[J]. Trends in Food Science & Technology, 2010, 21(3):145-152.

[36] 李偉,康晴晴.基于機器視覺的蘋果表面紋理檢測方法[J].吉林大學學報：工學版,2008,23(5):1111-1113.

[37] Zou X B, Zhao J W, Li Y X, et al. In-line detection of apple defects using three color cameras system[J].Computers & Electronics in Agriculture, 2010, 70(1):129-134.

Research Progress of the Whole and Precise Image Acquisition Technology of Fruit Surface

Liu Ting, Zhang Shaoying, Wang Yequn

(College of Engineering, China Agricultural University, Beijing 100083, China)

Fruit surface information reflects both the appearance and the structure, to some extent, also reflects internal quality. It’s often used as a basis for classification based on machine vision. It’s the basic and key to acquire the full and precise information to guarantee the effects of fruit surface grading based on the machine vision. This paper presents a analysis on the characteristics of the fruit surface and requirements for imaging, the existing methods of acquiring the fruit surface information,principles and the quality of the collected information. And based on the biological characteristics of the fruits and classification requirements, some further suggestions and ideas of missing and distortion unsolved are suggested.

fruit grading; machine vision; surface image

2016-12-06

國家重點研發計劃項目(2016YFD0400305)

劉 婷(1991-),女，四川綿陽人，博士研究生，(E-mail) liuting_6542@163.com。

張紹英(1961-)，男，河北辛集人，教授，博士生導師，(E-mail)cauzsy@cau.edu.cn。

S233.74

A

1003-188X(2018)02-0001-06