計算機視覺技術在紅富士蘋果自動分級系統中的應用

錢中華

(周口職業技術學院，河南 周口 466000)

0 引言

水果的品質分為外觀品質和內部品質，其中外觀品質是水果內部品質的外在體現，也是分級的主要依據。外觀品質包括大小、形狀、顏色和表面缺陷，優良品質主要體現為個體較大、性狀規則、顏色鮮艷、著色均勻和缺陷面積少。針對外觀品質進行分級是水果在上市銷售之前的一個操作環節，對水果的銷售價格和種植前景有著重要的影響。

傳統的水果分級依靠人工操作和判定，沒有較高的技術要求，在人力資源豐富的條件下較為適用；但是，各人對分級標準的理解和把握不同，分級結果受到較多主觀因素的影響，缺少客觀性和準確性[1]。同時，人工長期作業會引起專注力降低和情緒的波動，影響到分級的精度，且作業效率受到體能的限制而無法進一步提高[2]。隨著我國社會的發展和人口年齡結構的改變，人工分級的生產成本開始凸顯，因而建立高效的自動化分級技術體系勢在必行。目前的機械式分級方法，因分級速度較快，會損傷水果表皮，且考察的外觀特征種類有限，未能得到大范圍的應用。

隨著計算機和圖像處理技術的發展，計算機視覺應運而生，并在國民經濟和社會發展的各個領域得到應用。計算機視覺是利用拍攝設備代替人眼獲取圖像，然后用電腦對目標物體進行識別、追蹤和檢測[3]。計算機視覺在農業領域主要應用于農產品品質檢測、收獲機器人、精準農業和生物生長狀態的監控中，且農產品的分級是計算機視覺應用于農業的一個重要方面[4]。

目前，計算機視覺技術已經被引入了許多種水果的自動分級中，包括蘋果、臍橙、柑橘、馬鈴薯、葡萄、芒果和檳榔等[5-12]。此外，人們還對基于計算機視覺的水果分級相關算法和識別特征進行了研究，提出了遺傳神經、神經網絡等精細的分析模式，研究水果外觀特征也由大小和形狀發展到顏色和紋理等，極大地提高了分級的精度。該技術利用拍攝設備代替了人眼的觀察，利用計算機軟件分析代替了人的主觀判斷和評價，且不會受到情緒波動和精神狀態的影響，因此分級結果更加準確客觀。但是，基于計算機視覺的水果分級還面臨一些問題和改進的空間，如針對單一特征的分析不能真實評價水果的等級，建立反映水果全面特征的分級模型又增加了運算的復雜程度，影響水果分級的實時性。另外，對水果圖像的獲取要從靜態拍攝向動態攝影轉變，以實現分級的自動化。

蘋果是我國產量最大和最受歡迎的水果，2016年我國的蘋果產能達到4 300萬t，占世界總量的55%，且質量高于其它國家。近10年來，我國的蘋果產量一直穩步增長，消費量也在持續增加。但是，我國蘋果的分級技術和水平不高，影響了出口量和在國際市場上的競爭力，因此加強蘋果分級相關技術的研究，提升分級自動化水平具有重要的意義[13]。

蘋果外觀品質中的大小、形狀和表面缺陷特征表現直觀，比較容易通過人工判別進行分級，而其顏色和著色度為數量性狀，通過人工準確評價的難度相對較大，適合利用計算機視覺技術進行分級。蘋果生長過程中會依次顯現出綠、黃、紅3種顏色，分別是由葉綠素(綠色)、類黃酮(黃色)、胡蘿卜素(紅色)和花青素(紅色)表現出來[14]。目前，體現蘋果優良顏色品質的花青素組成成分和特性已經研究清楚，為基于計算機視覺的顏色分級奠定了基礎。

我國種植的蘋果最著名的是紅富士晚熟品種，其味道好、耐儲藏，具有很高的營養價值和經濟價值。紅富士蘋果原產日本，1966年被引入中國，該系列的蘋果幾十年來在我國的蘋果生產和消費中一直占有重要的地位，具有極高的研究應用價值。本文利用計算機視覺檢測紅富士蘋果的表面顏色和著色面積，并模擬蘋果在自動分級流水線上的運動狀態，開發了一個自動分級系統，并,通過試驗進行驗證，以便為我國蘋果產業的技術升級提供支撐。

1 系統設計原理及結構

1.1 設計原理

選擇蘋果外觀品質中人工判別難度較大的顏色特征作為分級依據，將拍攝箱內的蘋果按照一定的角速度旋轉，模擬其在自動分級流水線上的運動狀態。利用攝像頭代替人眼拍攝獲得蘋果的原始圖像，轉換為數碼格式后導入計算機中通過圖像處理軟件進行灰度化和二值化處理，識別出反映蘋果品質等級的顏色特征并計算所占蘋果輪廓的面積，最后根據設定的參數實現對蘋果的分級。

1.2 系統組成

自動分級系統主要由拍攝箱和計算機這兩大硬件，以及計算機中安裝的圖像處理軟件組成。拍攝箱是尺寸為0.6m×0.5m×0.7m的長方體，內壁涂成黑色以減少反光，4個功率15W的白熾燈分別安裝在內部的4個角上。樣品臺用于放置蘋果樣品，經過改裝后使其繞中心勻速轉動，自傳角速度設定為1.5。在拍攝箱內壁的4個面上分別放置4個羅技C930型小型攝像頭，拍攝形成蘋果的4幅圖像，最終的分析結果取其4個數值的平均值。A/D轉換器為AD6673型，將攝像頭獲取的模擬信號轉換為數碼信號后導入計算機。自動分級系統組成如圖1所示。

電腦主機為戴爾XPS8910型，配置Intel i7處理器、GTX1070型顯卡和16G內存，體積較小、兼容性強、快速穩定。用于圖像分析的計算機視覺軟件為MatLab工具箱，可以快速地處理分析各種類型的圖像，能夠滿足實時自動分級系統的要求。

圖1 自動分級系統的組成Fig.1 The structure of automatic grading system

2 圖像分析

拍攝圖像時蘋果處于轉動的狀態，因此獲得的圖像存在一定的噪音，會影響圖像的質量和后續分析處理的準確性。本文采用3×3的中值濾波法對噪音進行去除，得到不同等級蘋果的代表性圖片，如圖2所示。

(a) 一等品 (b) 二等品 圖2 蘋果的原始圖像Fig.2 Original image of apple

根據蘋果圖像受光照強度影響的情況，首先選用HSL模型的顏色空間，以色調H、飽和度S和亮度L作為分量來對圖像進行處理，增加對比度，減少亮度，得到在HSL顏色空間下對L分量進行灰度化的圖像，如圖3所示。

原始圖片中的背景為黑色，蘋果為紅色和黃色。對此，首先利用這些部分之間顏色或亮度的明顯差異將蘋果輪廓從背景中分離出來。在HSL模型中，亮度L不會受到其它顏色因素的影響，還可以減少光照變化引起的差異。因此，采用以亮度L為分量的閾值分割法從圖像中提取蘋果的輪廓，以便進行果實大小和形狀的計算分析，如圖4所示。

(a) 一等品 (b)二等品 圖3 蘋果的灰度化圖像Fig.3 Gray image of apple

(a) 一等品 (b) 二等品 圖4 蘋果的輪廓圖像Fig.4 Outline image of apple

蘋果表面同時出現紅色和黃色，其中黃色為背景，紅色則反映蘋果的品質，其所占面積比例是分級的主要依據，須要將其從背景中提取出來。首先，建立圖像的RGB模型，然后根據R分量的中值濾波，通過Otsu算法得到分割閾值，形成二值化圖像，將兩種顏色的區域分開，并計算所占面積比例,如圖5所示。

(a) 一等品 (b) 二等品 圖5 蘋果的顏色分割Fig.5 Color segmentation of apple

3 試驗結果與分析

3.1 試驗設計

按照新鮮蘋果分級的GB10651-89標準，以鮮紅或濃紅色的著色面積70%、50%、25%為界限，將蘋果劃分為優等品、一等品、二等品和等外品。利用人工方法分級，選擇上述4個等級的成熟新鮮紅富士蘋果各25個，果徑60～80cm，顏色和著色度各異，排除畸形果和缺陷果。將100個蘋果按等級分組，依次用本自動分級系統檢驗，比較兩種方法分級結果的差異。

3.2 試驗結果和分析

對于單個蘋果，自動分級系統從拍攝圖像到輸出結果的耗時為0.2s，因此其作業速度為5個/s，能夠滿足流水線實時分級的要求。兩種方法分級的結果比較(見表1)：以人工分級結果為標準，則基于計算機視覺的自動分級對4個等級蘋果的分級準確率都較高，分別為92%、88%、84%、88%，平均為88%，每組中僅有個別蘋果被誤判入相鄰的等級。

表1 兩種分級方法的比較Table 1 Comparison of the two grading method

4 結論

設計了一種基于計算機視覺的紅富士蘋果自動分級系統，通過轉動模擬蘋果在分級流水線上的運動狀態，獲取蘋果在拍攝箱中的圖像。利用計算機軟件對原始圖像依次進行去噪、灰度化、輪廓提取和顏色特征提取等處理，依據顏色和著色度實現了對紅富士蘋果的自動分級。在準確性驗證試驗中，自動分級系統的作業速度為5個/s，分級結果與人工比較的準確率高達88%，具有實際推廣應用的前景。

[1] 何東健，楊青，薛少平，等.果實表面顏色計算機視覺分級技術研究[J].農業工程學報，1998,14(3):202-205.

[2] 李慶中，汪懋華.基于計算機視覺的蘋果自動分級系統硬件開發[J].農業機械學報，2000,31(2):56-59.

[3] 闕玲麗.計算機視覺信息處理技術在蘋果自動分級中的應用[J].農機化研究，2017, 39(5):246-248.

[4] 李慶中，汪懋華.基于計算機視覺的水果實時分級技術發展與展望[J].農業機械學報，1999,30(6):1-7.

[5] 籍保平，吳文才.計算機視覺蘋果分級系統[J].農業機械學報，2000,31(6):118-121.

[6] 馮斌，汪懋華.基于顏色分形的水果計算機視覺分級技術[J].農業工程學報，2002,18(2):141-144.

[7] 黎靜，薛龍，劉木華，等.基于計算機視覺的臍橙分級系統研究[J].江西農業大學學報，2006,28(2):304-307.

[8] 張俊雄，荀一，李偉，等.基于計算機視覺的柑橘自動化分級[J].江蘇大學學報：自然科學版，2007,28(2):100-103.

[9] 鄭冠楠，譚豫之，張俊雄，等.基于計算機視覺的馬鈴薯自動檢測分級[J].農業機械學報，2009,40(4):166-168.

[10] 陳英，廖濤，林初靠，等.基于計算機視覺的葡萄檢測分級系統[J].農業機械學報，2011,41(3):169-172.

[11] 李國進，董第永，陳雙.基于計算機視覺的芒果檢測與分級研究[J].農機化研究，2015,37(10):13-18.

[12] 許月明，蔡健榮，龔瑩輝.基于計算機視覺的檳榔分級研究[J].食品與機械，2016,32(8):91-94.

[13] 李聰，高海燕，袁超.基于計算機視覺的蘋果自動分級方法研究[J].計算機仿真，2012,29(9):293-296.

[14] 閆忠業，伊凱，李作軒，等.蘋果果皮色素類物質含量變化及其相互關系的研究[J].沈陽農業大學學報，2006,37(6): 821-825.