基于圖像處理的蘋(píng)果大小分級(jí)研究

杜云 鄭羽綸 張效瑋

摘 要：為了實(shí)現(xiàn)蘋(píng)果的智能分揀，在GB/T 10651-2008《鮮蘋(píng)果》的標(biāo)準(zhǔn)下，采用圖像處理方法對(duì)分揀系統(tǒng)中的蘋(píng)果大小進(jìn)行分級(jí)。首先，針對(duì)同一種類(lèi)的蘋(píng)果，對(duì)攝取到的蘋(píng)果表面圖像進(jìn)行圖像預(yù)處理，得到平滑且無(wú)噪聲影響的蘋(píng)果二值圖;然后，通過(guò)尋找每個(gè)蘋(píng)果5幅表面圖像中最小外接矩形長(zhǎng)寬比最接近1的蘋(píng)果圖像，依此作為獲取蘋(píng)果最大橫截面直徑的重要依據(jù);最后，通過(guò)尋找蘋(píng)果圖像質(zhì)心，將質(zhì)心與目標(biāo)像素點(diǎn)的最大距離作為半徑，用最小外接圓的方法得到蘋(píng)果的最大橫截面直徑。實(shí)驗(yàn)研究表明：選取的30個(gè)紅富士蘋(píng)果，最終得到系統(tǒng)分級(jí)正確率為93.3%，系統(tǒng)的平均分級(jí)時(shí)間在1.5 s以?xún)?nèi)，滿(mǎn)足實(shí)際蘋(píng)果分級(jí)的需要。所提出的方法可為按照行業(yè)標(biāo)準(zhǔn)對(duì)蘋(píng)果進(jìn)行大小分級(jí)提供參考。

關(guān)鍵詞：圖像處理;最小外接矩形;最小外接圓;蘋(píng)果;分級(jí)

中圖分類(lèi)號(hào)：TP391?文獻(xiàn)標(biāo)志碼：A

doi： 10.7535/hbgykj.2019yx06007

文章編號(hào)：1008-1534（2019）06-0410-05

Abstract：In order to realize intelligent sorting of apples， under the Chinese standard GB/T10651-2008 Fresh Apples， image process method is used for apple size grading in sorting system. Firstly， the surface images of the same kind of apples are taken and preprocessed， and a smooth and noise-free binary is obtained. Then the image with the smallest circumscribed rectangle aspect ratio closest to 1 in the five images is searched， which serves as an important basis for obtaining the largest cross section of the apple. Finally， by searching apple image centroid， the maximum distance between the centroid and the target pixel is searched， which serves as a radius. The maximum diameter of the apple is obtained by the method of the smallest circumscribed circle. The experimental research shows that for the 30 Fuji apples selected in this experiment， the accuracy rate of system classification is 93.3%， the average grading time is less than 1.5 s， which meets the needs of actual apple grading. The study can provide reference for automatic sorting of apples by size under the industry standard.

Keywords：image processing; the minimum enclosing rectangle; the minimum circumscribed circle; apple; grading

中國(guó)蘋(píng)果產(chǎn)銷(xiāo)量居世界首位[1]，傳統(tǒng)的蘋(píng)果分級(jí)由人工完成，長(zhǎng)期以來(lái)，其劣勢(shì)逐漸顯現(xiàn)[2]。因此，智能分揀是當(dāng)今蘋(píng)果分級(jí)的主要任務(wù)，而大小又是蘋(píng)果分級(jí)的重要參考指標(biāo)。國(guó)內(nèi)外專(zhuān)家做了許多基于圖像處理的蘋(píng)果大小分級(jí)研究，其中PAULUS等[3]提出以表面積、直徑和體積作為蘋(píng)果大小分級(jí)的指標(biāo)。應(yīng)義斌等[4]通過(guò)尋找柑橘的最小外接矩形的最大橫徑數(shù)來(lái)求取柑橘的大小，隨之也被應(yīng)用到了蘋(píng)果大小的檢測(cè)中。馮斌等[5]通過(guò)果梗側(cè)外形確定軸向，取垂直軸向的最大寬度作為水果大小。

陳艷軍等[6]通過(guò)比較3幅蘋(píng)果圖像的最大直徑來(lái)確定蘋(píng)果實(shí)際大小，還通過(guò)多元線性回歸原理找到3個(gè)最大直徑與蘋(píng)果實(shí)際大小的擬合關(guān)系。除此之外，蘋(píng)果大小檢測(cè)還有當(dāng)量直徑法、投影面積法和平均半徑法等[7]。而根據(jù)鮮蘋(píng)果分級(jí)標(biāo)準(zhǔn)[8]，需選取蘋(píng)果最大橫截面直徑作為測(cè)量依據(jù)。因此，本文選取垂直拍攝果徑面的圖像作為獲取最大橫截面直徑的參考，再利用最小外接圓得到蘋(píng)果的直徑，最后依據(jù)分級(jí)標(biāo)準(zhǔn)判斷大小等級(jí)。

1?蘋(píng)果分揀系統(tǒng)

蘋(píng)果分揀系統(tǒng)主要由水果輸送裝置、圖像采集系統(tǒng)、圖像處理系統(tǒng)和分揀系統(tǒng)組成[9]。其中水果輸送裝置選用市場(chǎng)上廣泛應(yīng)用的滾子式輸送結(jié)構(gòu)，如圖1所示。其主要工作原理是：整個(gè)裝置由一條循環(huán)輸送鏈帶動(dòng)，摩擦表面的滾子由于摩擦作用繞滾子軸轉(zhuǎn)動(dòng)并前進(jìn)，而相鄰的2個(gè)滾子之間有一“凹型槽”，蘋(píng)果正好處于“凹型槽”上，隨著滾子翻轉(zhuǎn)滾動(dòng)并向前輸送[10]，蘋(píng)果的所有表面都會(huì)被相機(jī)獲取，這也保證了蘋(píng)果采集的完整性。水果輸送過(guò)程中的實(shí)際狀態(tài)如圖2所示。將相機(jī)采集到的圖像傳送到處理系統(tǒng)進(jìn)行分析，獲得蘋(píng)果等級(jí)結(jié)果，然后控制模塊將指令傳遞到分級(jí)執(zhí)行機(jī)構(gòu)，使蘋(píng)果在對(duì)應(yīng)分類(lèi)級(jí)別的位置落下，從而實(shí)現(xiàn)分級(jí)[11]。

2?蘋(píng)果圖像預(yù)處理

2.1?圖像采集

根據(jù)蘋(píng)果在輸送中的實(shí)際運(yùn)動(dòng)狀態(tài)以及相機(jī)攝取到的多姿態(tài)蘋(píng)果圖像，在實(shí)際操作中發(fā)現(xiàn)，5幅圖像就能包含蘋(píng)果的所有表面，因此將獲取到的每個(gè)蘋(píng)果的5幅圖像作為研究對(duì)象，如圖3所示。

2.2?圖像二值化

將采集到的蘋(píng)果彩色圖像進(jìn)行二值化處理，得到像素值為0的黑色背景和像素值為1的目標(biāo)圖像[12]。具體方法為先將彩色圖像進(jìn)行灰度化處理，利用如下語(yǔ)句實(shí)現(xiàn)：

其次，利用Qtsu圖像分割將灰度圖轉(zhuǎn)換成二值圖，通過(guò)計(jì)算方差尋找最合適的灰度級(jí)作為閾值，使劃分區(qū)域的兩部分差別最大，Qtsu法的語(yǔ)句實(shí)現(xiàn)如下：

2.3?形態(tài)學(xué)去噪

圖像二值化后，目標(biāo)區(qū)域可能會(huì)有小的孔洞出現(xiàn)，因此用圖像形態(tài)學(xué)進(jìn)行去噪處理，填補(bǔ)小孔洞，細(xì)化邊緣[13]。使用圓形結(jié)構(gòu)進(jìn)行形態(tài)學(xué)閉操作處理，語(yǔ)句實(shí)現(xiàn)如下：

對(duì)于采集到果梗面或有缺陷的圖像，上述操作后還會(huì)有較大孔洞出現(xiàn)，因此使用imfill函數(shù)填充較大孔洞，語(yǔ)句實(shí)現(xiàn)如下。

圖像預(yù)處理結(jié)果如圖4所示。

3?最小外接圓分級(jí)

3.1?果徑面的確定

鮮蘋(píng)果分級(jí)標(biāo)準(zhǔn)規(guī)定，取蘋(píng)果最大橫截面直徑作為蘋(píng)果大小等級(jí)的判斷標(biāo)準(zhǔn)。通過(guò)觀察可以發(fā)現(xiàn)，由于蘋(píng)果是立體圖形，蘋(píng)果以正立形式（果梗上置）放置時(shí)，獲取到的蘋(píng)果主視圖圖像的最大直徑不一定是蘋(píng)果的最大橫截面直徑，而此時(shí)的俯視圖，也就是垂直于果徑拍攝的圖像，它的最大直徑可以作為大小等級(jí)劃分的重要依據(jù)。進(jìn)一步觀察發(fā)現(xiàn)，對(duì)于大多數(shù)蘋(píng)果，尤其是形狀不規(guī)則的蘋(píng)果而言，垂直于果徑拍攝的圖像比其他姿態(tài)時(shí)的圖像更加接近于圓形[14]。因此，可以利用圖像最小外接矩形長(zhǎng)寬比這一指標(biāo)來(lái)尋找最接近圓形的圖像[15]。而且長(zhǎng)寬比數(shù)值越接近于1，圖形越接近于圓，所以可用式（1）來(lái)求取圖像最小外接矩形長(zhǎng)寬比與1的差值，差值最小的圖像即為所確定的果徑面的圖像。

3.2?最小外接圓圓心確定

確定好果徑面后，就要對(duì)果徑面求取它的最大直徑，將其作為蘋(píng)果的實(shí)際大小，本文用最小外接圓法求取直徑。首先就要確定最小外接圓的圓心，將蘋(píng)果圖像的質(zhì)心作為最小外接圓的圓心，計(jì)算蘋(píng)果二值圖目標(biāo)區(qū)域的總像素?cái)?shù)，記作s，質(zhì)心坐標(biāo)可以通過(guò)求取二值圖目標(biāo)像素的平均像素點(diǎn)獲得[16]，如式（2）和式（3）所示。

3.3?最小外接圓半徑確定

確定好最小外接圓圓心后，通過(guò)尋找圖像坐標(biāo)與圓心坐標(biāo)的距離，距離值最大的即為最小外接圓半徑。首先，設(shè)初始半徑為2個(gè)像素點(diǎn)，再遍歷各個(gè)像素點(diǎn)，利用兩點(diǎn)間距離公式，如式（4）所示，計(jì)算此時(shí)像素點(diǎn)與圓心的距離，如果大于當(dāng)前半徑，則此距離作為新的半徑，最終迭代更新得到最小外接圓半徑。

最終在二值圖的基礎(chǔ)上，根據(jù)圓心和半徑畫(huà)出圖像的最小外接圓，如圖5所示。

3.4?圖像標(biāo)定

系統(tǒng)通過(guò)最小外接圓法得到蘋(píng)果直徑的單位為像素，而蘋(píng)果實(shí)際直徑單位是毫米，因此需要進(jìn)行單位轉(zhuǎn)換。具體方法：選取一標(biāo)準(zhǔn)形狀的球體，利用圖像采集系統(tǒng)進(jìn)行球體的圖像采集，然后運(yùn)用計(jì)算機(jī)繪圖軟件，如Photoshop進(jìn)行球體直徑的測(cè)量，得到的球體直徑為d像素，而球體的實(shí)際直徑為D mm，則系統(tǒng)的標(biāo)定系數(shù)k如式（5）所示：

用標(biāo)定系數(shù)k與系統(tǒng)測(cè)量的蘋(píng)果直徑進(jìn)行轉(zhuǎn)換，就可以得到實(shí)際的蘋(píng)果直徑。

4?蘋(píng)果分級(jí)結(jié)果分析

4.1?單一蘋(píng)果果徑面的選取與測(cè)量

將一個(gè)蘋(píng)果樣本在光箱中進(jìn)行不同姿態(tài)拍攝，獲取5幅圖像（保證提取到所有表面圖像），經(jīng)過(guò)圖像處理與分析后，選擇5幅圖像中最小外接矩形長(zhǎng)寬比最接近于1的圖像，也就是垂直于果徑拍攝的圖像作為果徑面，如表1所示。由表1可知5幅圖像中最小外接矩形長(zhǎng)寬比與1差值最小的是0.015，因此選擇圖像5作為果徑面。然后用最小外接圓方法測(cè)量圖像5的直徑大小，通過(guò)圖像標(biāo)定，最終系統(tǒng)測(cè)量蘋(píng)果樣本的大小為79.05 mm，而用游標(biāo)卡尺測(cè)量出實(shí)際大小為77.82 mm，兩尺寸相差不大，絕對(duì)誤差為1.23 mm。

4.2?蘋(píng)果大小分級(jí)結(jié)果

采用同樣的方法，隨機(jī)選取30個(gè)同一品種的紅富士蘋(píng)果作為研究對(duì)象，依次測(cè)量蘋(píng)果的直徑，參考《鮮蘋(píng)果》分級(jí)標(biāo)準(zhǔn)和實(shí)際選取的蘋(píng)果果徑大小，將各級(jí)之間的分割閾值確定為85，80，75 3個(gè)閾值，其中蘋(píng)果直徑大于85 mm的為一級(jí)果，80～85 mm的為二級(jí)果，75～<80 mm的為三級(jí)果，小于75 mm的為四級(jí)果。實(shí)驗(yàn)中，首先用游標(biāo)卡尺分別測(cè)量30個(gè)蘋(píng)果的實(shí)際果徑大小，并編號(hào)標(biāo)記;其次，按照編號(hào)依次獲取每個(gè)蘋(píng)果的5幅圖像;最后，系統(tǒng)確定果徑面并測(cè)量直徑大小，與蘋(píng)果實(shí)際直徑進(jìn)行對(duì)比，分出等級(jí)，如表2所示。

實(shí)驗(yàn)結(jié)果顯示，在對(duì)30個(gè)蘋(píng)果進(jìn)行大小分級(jí)后，有28個(gè)蘋(píng)果分級(jí)正確，2個(gè)蘋(píng)果分級(jí)錯(cuò)誤。因此，使用本方法最終得到的蘋(píng)果大小分級(jí)準(zhǔn)確率為93.3%。

5?結(jié)?語(yǔ)

本文對(duì)蘋(píng)果大小分級(jí)問(wèn)題進(jìn)行了研究，首先對(duì)獲取到的蘋(píng)果表面圖像進(jìn)行預(yù)處理，得到二值化圖像，然后將垂直果徑的拍攝面圖像作為尋找蘋(píng)果最大橫截面直徑的重要依據(jù)，其中通過(guò)對(duì)相機(jī)獲取到的每個(gè)蘋(píng)果的5幅表面圖像進(jìn)行最小外接矩形長(zhǎng)寬比的比較，將比值最接近于1的圖像作為最終的果徑面。得到果徑面后，采用最小外接圓法得到蘋(píng)果的直徑，并將單位轉(zhuǎn)換成毫米，實(shí)驗(yàn)選取30個(gè)紅富士蘋(píng)果進(jìn)行實(shí)驗(yàn)驗(yàn)證，最終分級(jí)準(zhǔn)確率為93.3%，系統(tǒng)平均分級(jí)時(shí)間在1.5 s以?xún)?nèi)，滿(mǎn)足實(shí)際蘋(píng)果分級(jí)的需要。但在蘋(píng)果每個(gè)表面都近似圓形的情況下，就會(huì)影響果徑面的選擇，進(jìn)而導(dǎo)致蘋(píng)果大小分級(jí)錯(cuò)誤。針對(duì)這種情況，如何選取果徑面是下一步研究的重點(diǎn)。

參考文獻(xiàn)/References：

[1]龐桂娟，張復(fù)宏，宋曉麗.我國(guó)蘋(píng)果產(chǎn)業(yè)轉(zhuǎn)型升級(jí)路徑與對(duì)策[J].合作經(jīng)濟(jì)與科技，2018（23）：22-25.

[2]李彥峰，王春耀，王躍東，等.基于虛擬儀器視覺(jué)系統(tǒng)蘋(píng)果圖像采集裝置的研究[J].農(nóng)機(jī)化研究，2014，36（4）：183-186.

LI Yanfeng， WANG Chunyao， WANG Yuedong， et al. Study of apple image acquisition device based on vision system of virtual instrument[J]. Journal of Agricultural Mechanization Research， 2014，36（4）：183-186.

[3]PAULUS I， de BUSSCHER R， SCHREVENS E. Use of image analysis to investigate human quality classification of apples[J]. Journal of Agricultural Engineering Research， 1997， 68（4）：341-353.

[4]應(yīng)義斌，成芳，馬俊福.基于最小矩形法的柑桔橫徑實(shí)時(shí)檢測(cè)方法研究[J].生物數(shù)學(xué)學(xué)報(bào)，2004，19（3）：352-356.

YING Yibin， CHENG Fang， MA Junfu. Real-time size inspection of citrus with minimum enclosing rectangle method[J]. Journal of Biomathematics， 2004，19（3）： 352-356.

[5]馮斌，汪懋華.基于計(jì)算機(jī)視覺(jué)的水果大小檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2003，34（1）： 73-75.

FENG Bin， WANG Maohua. Detecting method of fruit size based on computer vision[J]. Transactions of the Chinese Society of Agricultural Machinery， 2003，34（1）： 73-75.

[6]陳艷軍，張俊雄，李偉，等.基于機(jī)器視覺(jué)的蘋(píng)果最大橫切面直徑分級(jí)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2012，28（2）：284-288.

CHEN Yanjun， ZHANG Junxiong， LI Wei， et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（2）： 284-288.

[7]楊習(xí)文.基于機(jī)器視覺(jué)的蘋(píng)果尺寸分級(jí)技術(shù)研究[D].武漢：武漢輕工大學(xué)，2015.

YANG Xiwen. Research of Apple Size Classification Technology Based on Machine Vision[D].?Wuhan： Wuhan Polytechnic University， 2015.

[8]GB/T 10651—2008，鮮蘋(píng)果[S].

[9]安愛(ài)琴，余澤通，王宏強(qiáng).基于機(jī)器視覺(jué)的蘋(píng)果大小自動(dòng)分級(jí)方法[J].農(nóng)機(jī)化研究，2008（4）：163-166.

AN Aiqin， YU Zetong， WANG Hongqiang. The method of automatic apple hierarchy based on machine vision[J]. Journal of Agricultural Mechanization Research， 2008（4）： 163-166.

[10]魏新華，周杏鵬，李法德，等.水果機(jī)器視覺(jué)分選機(jī)滾子式輸送翻轉(zhuǎn)機(jī)構(gòu)優(yōu)化設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2007，38（9）：98-102.

WEI Xinhua， ZHOU Xingpeng， LI Fade， et al. Optimum design of fruits roller conveyor of machine vision grader[J]. Transactions of the Chinese Society for Agricultural Machinery， 2007，38（9）：98-102.

[11]張方明，應(yīng)義斌.水果分級(jí)機(jī)器人關(guān)鍵技術(shù)的研究和發(fā)展[J].機(jī)器人技術(shù)與應(yīng)用，2004（1）：33-37.

[12]杜云，曹世佳，賈科進(jìn)，等.基于圖像處理的大蒜蒜種品質(zhì)無(wú)損分級(jí)方法研究[J].河北工業(yè)科技，2018，35（5）：317-321.

DU Yun， CAO Shijia， JIA Kejin， et al. Research on nondestructive classification of garlic seed quality based on image processing[J]. Hebei Journal of Industrial Science and Technology， 2018， 35（5）： 317-321.

[13]王一丁.數(shù)字圖像處理與實(shí)戰(zhàn)[M].北京：人民郵電出版社，2013.

[14]劉新庭，匡迎春，陳熵，等.基于最小外接?圓直徑的蘋(píng)果分級(jí)研究[J].中國(guó)農(nóng)學(xué)通報(bào)，2015，31（20）：239-243.

LIU Xinting， KUANG Yingchun， CHEN Shang， et al. Research on apple grading based on the minimum circumscribed circle diameter[J]. Chinese Agricultural Science Bulletin， 2015， 31（20）： 239-243.

[15]黃星奕，魏海麗，趙杰文.實(shí)時(shí)在線檢測(cè)蘋(píng)果果形的一種計(jì)算方法[J].食品與機(jī)械，2006，22（1）：27-29.

HUANG Xingyi， WEI Haili， ZHAO Jiewen. A computation method of real time inspection of apple shape[J]. Food & Machinery， 2006，22（1）：27-29.

[16]郭輝.基于機(jī)器視覺(jué)的蜜柚品質(zhì)檢測(cè)方法研究[D].北京：中國(guó)農(nóng)業(yè)大學(xué)，2015.

GUO Hui. Research of?Pummelo Quality Detection Method Based on Machine Vision [D]. Beijing： China Agricultural University， 2015.