基于圖像分割的葡萄果粒粒徑快速測量技術

葉　浩，詹國敏，吳　亮，張華濤，李中偉

(1.華中科技大學 材料成形與模具技術國家重點實驗室，湖北 武漢 430000;2.新疆北疆果蔬發展有限責任公司，新疆 博樂 833400)

?

基于圖像分割的葡萄果粒粒徑快速測量技術

葉浩1，詹國敏1，吳亮2，張華濤2，李中偉1

(1.華中科技大學 材料成形與模具技術國家重點實驗室，湖北 武漢 430000;2.新疆北疆果蔬發展有限責任公司，新疆 博樂 833400)

隨著我國現代農業的發展，對農產品檢測技術的要求越來越高。在葡萄采收分類過程中，葡萄果粒粒徑大小是影響葡萄果品質量等級的重要因素。通過采用視覺測量方法，利用工業相機采集成穗葡萄樣品圖像，結合圖像分割技術和圖形擬合技術處理樣品圖片，獲得葡萄果粒的尺寸信息，從而實現葡萄果粒粒徑的自動等級分類。該方法與人工檢測相比，具有檢測效率高、檢測穩定性好和檢測客觀性強等優勢。

圖形擬合；圖像分割；視覺測量

目前，國內市場上對各類單體水果的分級技術較為成熟，但對成穗葡萄的分級技術一直沒有取得突破，其分級技術在國內相關領域尚屬空白。對于葡萄外觀分級技術研發和分級標準制定，我國都落后于歐美等發達國家，這導致我國在葡萄采購時不能做到優質優價，阻礙了葡萄商品質的提高，制約了整個葡萄產業的可持續發展和相關產業的轉型升級。開發符合我國國情,快速、準確和可靠性強的葡萄分級智能裝置及系統已迫在眉睫[1]。

通過對我國葡萄主產區新疆等地調研可知，目前我國葡萄等級分類主要依靠人工檢測完成。檢測效率低，檢測穩定性差，檢測質量難以保證。本文采用視覺測量方法，利用基于ELSD算法的圖形分割技術，成功實現對葡萄果粒的分割，將分割后的圖像數據進行圖像擬合，以獲取葡萄果粒粒徑的像素長度，最后通過像素尺寸轉換到實際尺寸計算出所需的分類參數信息，實現對成穗葡萄等級的自動分類檢測。

1　葡萄果粒粒徑檢測原理

1.1圖像分割

圖像分割是圖像處理領域中的關鍵問題之一[2-3]，本文檢測的對象是成穗的葡萄，檢測對象形狀不規則，并且葡萄果粒間色澤差別小、相互重疊，這些特點使得利用傳統圖像分割方法難以正確提取葡萄果粒的輪廓，為圖像分割帶來了很大挑戰。為此，本文采用基于ELSD(Ellipse and Line Segment Detector)圖像的分割算法[4]，即橢圓和線段檢測器。總體步驟包括搜索候選對象和驗證候選對象。

1.1.1搜索候選對象

圖像中葡萄果粒邊緣與其他區域的灰度值存在一定差異，利用該差異能提取出葡萄果粒邊緣。本文采用的算法是將葡萄果粒邊緣細分成若干個長度較小的線段，然后對線段進行拼合，組成更長的直線段或圓弧。

在選取直線段的過程中，使用搜索方式來尋找候選對象。例如，該算法從一個種子像素開始向四周搜索，通過迭代過程將具有相同梯度方向的像素點連接聚集起來，形成一個矩形像素區[5](圖見1)。

圖1　直線段選取

基于對直線段搜索的結果，該算法以直線段的2個端點作為種子像素點，交替進行像素區域生長和像素區域連接過程，以獲取圓弧對象。在像素區域生長過程中，像素梯度相同的像素點將聚集到一起；在像素區域連接過程中，相鄰的像素區域將實現拼接。通過圓弧段的連續性和凸面性等約束條件，得到符合應用場景的圓弧對象(見圖2)。

圖2　弧線段的選取

1.1.2驗證候選對象

對于直線段對象，利用直線段法線方向與像素梯度方向的夾角作為驗證參數；對于圓弧段對象，利用圓弧上某點外法線方向與該點像素梯度方向間的夾角作為驗證參數，滿足式1或式2為有效對象。

Angle(▽x(p),dir⊥(s))≤σπ

(1)

Angle(▽x(p),dir⊥(tan(p)))≤σπ

(2)

式中，▽x(p)是圖像x中像素點p的梯度方向；dir⊥是直線段s的法線方向；σ是精度要求；dir⊥(tana(p))是圓弧上p點的法線方向。式1和式2的幾何模型分別如圖3a和圖3b所示。

圖3　對象模型

對于離散性較高的像素點難以通過搜索對象提取，若將這類像素點忽略，會帶來較大的測量誤差。該算法利用Desolneux等[6]根據不相容原理推導出的模型，對離散的像素點進行處理。利用該模型可以推導出誤差函數NFA(Number of Fault Alarm)。直線段、圓弧和橢圓弧對象的表達式如下：

(3)

NAFcircle=(mn)3B(l,k,σ)≤1

(4)

NAFellipes=(mn)4B(l,k,σ)≤1

(5)

若離散性較高的像素點集滿足上述某個表達式，則該點集所構成的形狀具有相應幾何外形，其幾何模型如圖4所示。

圖4　幾何模型

利用不相容模型對驗證有效的對象進行模型匹配，即為有效對象匹配一個最符合其特征的幾何模型，并計算相應的幾何參數。該算法有3種幾何模型，分別是直線段、圓弧和橢圓弧。最終計算得到一系列的直線段、圓弧和橢圓弧[7]。

1.2圖像擬合

對該算法處理后的數據進行過濾處理，濾除葡萄根莖和懸掛葡萄裝置等輪廓的幾何信息，消除該類垃圾數據對分級結果的干擾。本文通過設置一系列過濾參數(如弧的軸長、圓弧角度)，達到良好的過濾效果。

在圖像分割過程中，葡萄果粒輪廓被分成多個圓弧段，給葡萄果粒幾何尺寸的提取造成了困難。圓弧長度與葡萄果粒真實形態成正相關，圓弧中心點間距與圓弧的同源性成反相關。本文通過設置一系列聚類參數(如圓弧中心點間距、圓弧長度)，提取出與葡萄果粒幾何形狀相似度最高的圓弧，并濾除其他圓弧。

利用提取出的圓弧擬合出橢圓，再提取橢圓的短軸獲取葡萄果粒分類參數，并將擬合出的橢圓顯示在檢測窗口中，實現檢測過程可視化，以保證檢測過程公正性。

1.3距離轉換

圖像擬合出的分類參數是像素尺度上的，并非葡萄果粒實際尺寸。葡萄分類檢測過程中采用的是葡萄果粒實際尺寸，因此要將圖像擬合出的分類參數轉化為實際尺寸，為葡萄果粒分類提供有效的分類依據[8]。

本文介紹的分類技術是利用工業相機作為圖像采集模塊的輸入設備，其采用的基本原理是小孔成像(見圖5)。

圖5　成像原理圖

如圖5所示，光路通過相機鏡頭照射在相機感光芯片上，根據相機相關參數計算出每個像素所對應的距離，將橢圓擬合出的葡萄果粒像素尺寸轉化為成像平面上的實際尺寸。根據小孔成像原理，通過像素尺寸與實際尺寸間的關系得到分級參數的實際尺寸，其數學表達式如下：

(6)

式中，dp是像素尺寸；μ是單位像素尺寸；s是測量系統物距；f是測量系統焦距；da是所測葡萄果粒實際尺寸。

2　試驗驗證

2.1硬件和軟件平臺

為驗證所提出檢測葡萄果粒粒徑的方法，設計了硬件和軟件平臺，以保證驗證試驗順利地實施。

2.1.1硬件平臺

本文采用鋁合金型材作為整個試驗裝置的骨架，各根型材間通過螺栓聯接，以方便裝卸。檢測裝置為長方體，在檢測裝置兩端搭載工業相機和檢測光源。裝置中部布置了3個光源，以保障檢測時裝置中良好的光照環境。裝置頂部裝有滑桿，滑桿上裝有吊鉤，以便于懸掛測試葡萄，調節測試系統物距。裝置四周裝有反光板，為檢測過程創造相對封閉的環境，避免環境光的影響。試驗裝置示意圖如圖6所示。

圖6　檢測裝置示意圖

2.1.2軟件平臺

本文基于QT平臺搭建軟件交互界面，利用C++編程語言來完成整個軟件編寫。整個軟件界面由菜單欄、工具欄和多個子窗口構成，其中包括顯示圖片的4個子窗口，分別顯示原始圖片、過濾處理后的圖片、聚類處理后的圖片和最終的檢測結果。圖片顯示窗口的右邊是參數設置窗口和檢測結果顯示窗口，檢測人員能在此設置各類檢測參數，查看檢測結果。各功能窗口如圖7中矩形框所示。

圖7　軟件界面圖

2.2驗證結果與分析

對測試的葡萄樣品分別利用人工測試方法和本文論述的方法進行測試，分析果粒識別和粒徑提取情況，測試葡萄原始圖片與最終檢測圖片分別如圖8a和圖8b所示，其中，圖8b中的十字為擬合圖形圓心，矩形框標記了測量誤差。葡萄果粒檢測分級結果見表1。 與人工檢測對比的檢測誤差圖如圖9所示。

圖8　檢測效果

序號直徑/mm人工檢測系統檢測誤差是否提取127.6127.47-0.14是225.5825.42-0.16是327.9229.061.14是428.1428.370.23是528.4928.650.16是626.7027.971.27是724.5023.86-0.64是825.3725.930.56是929.4830.150.67是1024.9124.72-0.20是1128.9529.130.17是1227.2326.30-0.93是1329.9829.06-0.92是1424.4724.550.08是1526.6627.230.58是1624.6424.710.07是1729.7729.24-0.53是1824.0324.180.15是1928.6528.58-0.07是2028.9027.36-1.55是2129.2128.86-0.35是2224.5123.07-1.44是2326.4027.070.67是2425.5624.85-0.71是2528.8028.880.08是2626.5926.15-0.44是平均值(絕對)27.0427.030.53最大值1.55顆粒準確率100%分級準確一級一級是

圖9　葡萄果粒檢測誤差圖

由表1和圖9可以看出，采用本文所論述的葡萄果粒分級系統檢測穗狀葡萄精確度好、效率高。其中，顆粒提取成功率為100%，尺寸檢測平均絕對誤差為0.53 mm，最大誤差為1.55 mm，分級準確。

分析誤差較大的顆粒，發現錯誤主要集中在弧度比較短，葡萄顆粒及背景和葡萄顆粒間邊緣灰度值差距不明顯、梯度小的區域(如圖8中矩形框所示)。可以通過重新設置弧度最短過濾閾值和改變光源布設方法來進行改進。

3　結語

本文論述了基于機器視覺的葡萄等級自動分級系統，該系統檢測精度好，效率高，質量穩定，解決了傳統人工檢測過程中檢測效率低和檢測精度差等問題。與國外類似檢測設備相比，該檢測系統生產成本低，易于在我國推廣，有利于促進葡萄行業的健康快速發展。

[1] Brosnan T, Sun D W. Inspection and grading of agricultural and food products by computer vision systems-a review[J].Comp and Electr in Agr,2002,36:193.

[2] Gonzalez R C，Woods R E. 數字圖像處理[M]. 阮秋琦,阮字智,譯.2版.北京：電子工業出版社，2011.

[3] 孫希婕，胡威偉.基于均值漂移的紅外艦船圖像分割算法[J].新技術新工藝，2014(5)：16-18.

[4] Pǎtrǎuccan V, Gurdjos P, von Gioi R G. A parameterless line segment and elliptical arc detector with enhanced ellipse fitting[C]//Proceeding of the 12th European Conforence on Computer Vision.2012,2:572-585.

[5] Rafael Grompone von Gioi, Jérémie Jakubowicz, Jean-Michel Morel, et al. LSD: A fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(4):4.

[6] Desolneux A， Moisan L， Morel J M. From gestalt theory to image analysis: A probabilistic approach[M].Berlin: Springer, 2008.

[7] Duda R O, Hart P E, Stork D G. Pattern classification [M]. 2nd.edition. New York:John Wiley & Sons, 2001.

[8] 張廣軍.機器視覺[M].北京:科學出版社,2005.

責任編輯馬彤

Rapid Measuring Technology for the Size of Grape based on Image Segmentation

YE Hao1， ZHAN Guomin1, WU Liang2, ZHANG Huatao2, LI Zhongwei1

(1.Huazhong University of Science and Technology State Key Laboratory of Processing and Die & Mould Technology,Wuhan 430000, China;2.Xinjiang Beijiang Fruit and Vegetable Industry Development Co., Ltd., Bole 833400, China)

With the booming development of modern agriculture, there is more of a requirement to the agricultural products. During the picking process, the size of the grape is the crucial factor for the grape quality. Through the vision measuring technology, this rapid measuring technique applies industries camera adopt image of grape to test, combining image segmentation and fitting technology to process the picture, for getting the size of grape to achieve grape classifying. Compared with the traditional way, this method gets many advantages, such as high efficiency, high stability, and high quality.

image fitting, image segmentation, vision measurement

TN 202

A

葉浩 (1991-)，男，碩士研究生，主要從事三維測量等方面的研究。

2016-01-08