基于改進的C-V模型的東北松子外部品質等級檢測研究

仇遜超,曹　軍

(東北林業大學機電工程學院,黑龍江哈爾濱 150040)

?

基于改進的C-V模型的東北松子外部品質等級檢測研究

仇遜超,曹軍*

(東北林業大學機電工程學院,黑龍江哈爾濱 150040)

提出了東北松子外部品質的無損等級劃分方法。利用CCD相機獲取松子圖像,采用改進的C-V模型實現松子輪廓特征的提取;利用數學形態學的方法,提取松子的果長、橫徑特征參數,并與實際測量值間構建數學模型;根據提取出的特征參數,建立松子外部品質綜合等級評定標準。實驗結果表明,采用本文方法能夠實現同時對多個東北松子外部品質的等級劃分,且劃分的平均準確率為97.2%。

東北松子,改進的C-V模型,多目標等級劃分

我國是松子產量大國,又以東北的紅松子最為著名,目前東北紅松子已銷往多個國家和地區,為我國帶來的經濟效益十分可觀[1]。然而,松子只有經過產后商品化處理,才能創造更大的經濟價值,品質分級作為商品化處理的第一個步驟,起到至關重要的作用[2]。

隨著計算機技術的不斷發展,農副產品的分級技術逐漸向自動化和可視化方向發展。研究人員將人工智能的方法應用到農副產品的等級劃分中,通過提取果實大小、缺陷、顏色等數字特征,并對特征參數進行進一步的智能分析,實現了良好的分級結果[3-9]。在堅果類方面,研究人員已實現了基于機器視覺的山核桃等級劃分[10],然而目前對于松子的外部品質等級劃分仍多采用人工分選或機械振動篩選的方法實現。人工分級不僅需要大量的勞動力,且勞動強度大,分級結果會受到主觀經驗的影響;振動篩選雖在分級效率方面有所提高,但由于較大的級差,使得分級的精準度不高[11],且在分級過程中會對松子產生一定程度的碰撞磕傷。本研究將偏微分方程的方法應用到松子果實的分級中,利用改進的多水平集C-V模型實現多目標松子輪廓的提取,根據提取到的輪廓信息,進一步獲得松子的果長、橫徑等特征參數,根據特征參數,進而構建出松子外部品質綜合等級評定模型。本研究不僅要實現對單個松子的外部品質等級劃分,還要實現同時對多個松子的外部品質等級劃分,使分級效率有所提升的同時,還為東北松子的外部品質無損等級劃分提供新的方法和思路。

1　材料與方法

1.1材料與設備

實驗裝置的硬件系統如圖1所示,由松下WV-CP484/CH高清攝像頭,精工SSV02812GNB 2.8～12 mm鏡頭,嘉恒OK_MC10A-E圖像采集卡以及一臺thinkpad t430 PC機組成。

圖1　圖像采集系統Fig.1　Image collection system注：1.CCD相機;2.遮光罩;3.松子果實;4.載物臺;5.光源;6.PC。

其中遮光罩內壁表有一層反光熱貼膜,載物臺背景為淺灰色絨布。設定圖像尺寸的標準為516×516。生的東北松子樣品由東寧縣北域良人貿易有限公司提供。

1.2實驗方法

1.2.1相機標定由于CCD相機的鏡頭是一塊光學透鏡,因此采集到的投影圖像會呈現鏡頭畸變的現象,多數情況下,透鏡的徑向畸變起主要作用,并且在相機標定的過程中引入過多的非線性參數會導致解的不穩定[12],因此,本文僅對鏡頭的徑向畸變進行考慮。畸變模型可以通過多項式的形式表達出來,且畸變系數k1對徑向畸變起主要作用[13],因此,本文僅考慮前兩個畸變系數k1、k2,則徑向畸變模型如式1所示。

xd=x·[1+k1(x2+y2)2+k2(x2+y2)4]

yd=y·[1+k1(x2+y2)2+k2(x2+y2)4]K

式(1)

式中(x,y)表示實際圖像點(畸變)投影坐標,(xd,yd)表示線性模型的圖像點(非畸變)理想坐標,ki表示畸變系數。

本文采用張正友標定法[14]實現對相機參數的標定,從而實現投影圖像的徑向畸變的修正,圖2所示為經過標定后的東北松子果實圖像。

圖2　東北松子修正圖像Fig.2　Modification image of northeastern pine nuts

1.2.2多目標松子輪廓的提取根據松子果實目標與背景間的平均灰度的不同,利用閉合曲線,可以實現圖像內部區域和外部區域的劃分,使在曲線內部和外部的灰度平均值反應出目標與背景間的灰度平均值的區別,則該閉合曲線就可以看做為松子果實的輪廓[15]。多水平集C-V模型的能量泛函如式2所示[16]。

式(2)

式中ci為松子目標和背景的平均灰度值,n為不同分割區域的個數,m為水平集的個數,H(Φi)為引入的Heaviside函數,xl為各區域的特征函數,u(x,y)為關于圖像的嵌入函數。

由于初始化的嵌入函數u0(x,y)是距離函數,在經過少量的迭代后會發生背離,就需要對其再次進行初始化,因此,在多水平集C-V模型的能量泛函中引入一個控制單元,用以提高松子輪廓的提取效率:

式(3)

則改進的多水平集C-V模型為:

En(c1,c2,…cn,Φ1,Φ2,…Φn)

=En(c1,c2,…cn,Φ1,Φ2,…Φn)+P(u)

式(4)

圖3a所示為定義的多個水平集的初始圓閉合曲線,圖3b所示為采用多水平集C-V模型獲得的多個松子果實對象的輪廓,并將輪廓結果疊加到原始灰度圖像上,便于觀察提取到的松子輪廓信息的準確性。

圖3　東北松子輪廓提取圖像Fig.3　Contour extraction image of northeastern pine nuts

1.2.3特征參數的提取計算機想要完成對松子果實的外部品質等級劃分,就必須實現從采集到的圖像中獲取所需的特征參數。如圖4所示,從形狀上看,松子果頂尖、果底寬,呈倒卵狀三角形。松子果實上、下果頂間的距離稱為“果長”;垂直于果長方向,松子的最大寬度距離稱為“橫徑”,通過松子的果長和橫徑能夠比較全面、準確的表征松子果實的特征。因此,本文采用數學形態學的方法對松子果實的果長、橫徑等特征進行提取,從而實現松子果實的等級劃分。

圖4　特征參數描述Fig.4　Description of feature parameters

松子特征參數提取的具體步驟為:

(1)松子果實果長的確定:根據提取出的松子輪廓信息,計算松子輪廓上兩點之間的最大距離,進而實現松子果長特征的提取,兩點之間的距離計算公式為:

式(5)

式中(x1,y1)、(x2,y2)為松子輪廓上的兩點坐標,果長提取結果如圖5a所示。

(2)松子果實最大脫蒲橫徑的確定:以松子果長的一個端點為起點,另一個端點為終點,進行遍歷,過這些遍歷點作垂直于果長直線的垂線,并對垂線與松子輪廓相交的點的坐標進行求取,根據遍歷及交點的坐標計算垂線的長度,則垂線長度的最大值即為松子果實的最大脫蒲橫徑。橫徑提取結果如圖5b所示。

圖5　特征參數的求解Fig.5　Solution of feature parameters

1.2.4算法描述東北松子外部品質無損等級檢測的流程圖如圖6所示,等級檢測部分分為輪廓提取、特征提取、等級判定及結果顯示,整個系統在Matlab 7.10.0軟件上實現。

圖6　算法流程圖Fig.6　The flow diagram of algorithm

2　結果與分析

采用以上所介紹的方法,進行松子輪廓的提取,并根據提取出的輪廓信息,進一步提取松子的果長、橫徑特征參數;利用游標卡尺,多次反復測量獲取松子的實際果長、橫徑測量值,建立松子數字特征參數與實際測量值之間的線性關系,用于驗證采用本文方法提取到的松子特征參數的可靠性,并為松子的外部品質無損等級劃分提供依據。圖7所示為松子多目標果長、橫徑特征參數的提取結果。

圖7　多松子目標特征參數的提取Fig.7　Extraction of multiple pine’s feature parameters

需要說明的是,在對多個松子果實進行外部品質等級劃分的過程中,計算機的判別順序是從左向右,從下向上依次給出的,即如圖7b所標注的順序,進行結果的顯示。

選取各形態東北松子91粒,用于數學模型的建立,利用實際測量值和機器測量值進行一元線性回歸,則松子果長的回歸方程為:y=0.1580x+0.4900,松子橫徑的回歸方程為:y=0.1577x+0.1130。圖8a所示為松子果長機測值和實測值的對應關系,圖8b所示為松子橫徑機測值和實測值的對應關系。

圖8　機測值和實測值的對應關系Fig.8　The correspondences between the values of the machine measurement and that of the measured

將機測值與實測值進行對比,以評價預測值的精準度M,則精準度M的計算公式為:

式(6)

式中Dr為實測值,Df為機測值,則果長和橫徑的平均機測精準度分別為98.4824%和97.7218%。

需要說明的是,松子外部品質等級劃分是一個比較模糊的概念,目前尚無一個明顯的界限,為此本文依據消費者的選購規律,結合松子的果長、橫徑來進行東北松子的等級劃分,劃分標準如表1所示。

表1　東北松子的外部品質建議分級標準

根據松子的果長、橫徑對松子的外部品質進行三個等級的劃分,即一等品、二等品和等外品,果長和橫徑在綜合等級評定標準中分別占55%和45%的權重,綜合等級劃分的計算公式為:

W=0.55D果長+0.45D橫徑K

式(7)

式中W綜合等級評分,建議一等品得分大于13.3,二等品得分在10.25～13.3之間;三等品得分小于10.25。

為了驗證本文方法等級劃分的準確性及可靠性,任意選取2000粒松子并進行標記,采用傳統的機械振動篩選,得一等品:543粒,二等品:1272粒,等外品:185粒;采用本文方法進行等級劃分,得一等品:527粒,二等品:1295粒,等外品:178粒。分級結果基本一致,準確率分別為:97.1%、98.2%、96.2%,平均準確率為97.2%。分級結果存在差異的原因是,本文分級方法對松子果實的綜合特性進行了考慮,而傳統的機械振動篩選僅依賴松子的單一方向果徑進行劃分,本文的分級結果更符合消費者的視覺習慣和心理需求。對單個松子果實進行外部品質等級劃分所需要的時間平均為0.78 s,同時對7個松子果實進行外部品質等級劃分所需要的時間平均為4.42 s;對一個松子進行單獨的外部品質等級劃分與將該松子放入其它6個松子中同時進行外部品質等級劃分的結果是一樣的,由此表明,采用本文方法可以實現同時對多個松子的外部品質等級劃分,在保證了分級的準確性的同時,提高了松子等級劃分的效率。

3　結論

本文采用改進的C-V模型獲取松子果實的輪廓信息,根據提取到的松子果長、橫徑數字特征,對東北松子的外部品質等級進行無損劃分,實驗結果表明:采用改進的多水平集C-V模型能夠實現同時對多個松子果實目標輪廓的提取;通過對松子形狀的分析,結合數學形態學的方法,實現了對松子果長和最大脫蒲橫徑的數字特征參數的提取,并且對機器測量值和實際測量值進行一元線性回歸,分別構建了松子的果長和最大脫蒲橫徑的數學模型;采用本文方法可以同時實現對多個松子的外部品質等級劃分,與對松子進行單獨的等級劃分相比,在分級效率上有所提高;采用本文提出的東北松子外部品質綜合等級評定的建議標準,對東北松子進行等級劃分,分級結果的平均準確率在97%以上,分級結果是可靠的,并且更加符合購買者的視覺習慣。

本文的進一步研究方向是,將松子出仁率、脂肪和蛋白質等含量標準融入到等級劃分中,以更全面的實現東北松子內部品質和外部品質的檢測。

[1]陳寶,南江,王星,等.松子的開發與利用[J].現代農業科學,2010,1(20):160.

[2]張道東.基于機器視覺技術的蜜桔、臍橙外部品質在線檢測分級研究[D].杭州：浙江大學,2011.

[3]Sergio C,Nuria A,Enrique M,et al.Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food and Bioprocess Technology,2011,4(5):487-504.

[4]Devrim U,Bernard G,Olivier K,et al.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212.

[5]Muhammad M,Peeyush S.Detecting rottenness caused by Penicillium genus fungi in citrus fruits using machine learning techniques[J].Computers and Electronics in Agriculture,2012,39(1):780-785.

[6]饒秀勤,應義斌.水果按表面顏色分級的方法[J].浙江大學學報(工學版),2009,43(5):869-871.

[7]Yudong Z,Lenan W.Classification of Fruits Using Computer Vision and a Multiclass Support Vector Machine[J].Sensors,2012,12(9):12489-12505.

[8]Krishna K P.A.Kar S N,Jha M A.Machine vision system:a tool for quality inspection of food and agricultural products[J].Food Science and Technology,2012,49(2):123-141.

[9]Lorente D,Aleixos N,Gomez-Sanchis J,et al.Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment[J].Food and Bioprocess Technology,2012,5(4):1121-1142.

[10]劉建軍,姚立健,彭樟林.基于機器視覺的山核桃等級檢

測技術[J].浙江農業學報,2010,22(6):854-858.

[11]葛亮,陳紅,任金海,等.機器視覺在香菇品質分級中的應用[J].中國食用菌,2011,30(1):8-9.

[12]山海濤,郝向陽,馬淑宇,等.影像畸變對基本矩陣估計精度的影響分析[J].測繪科學技術學報,2010,27(1):50-53.

[13]馬廣彬,章文毅,陳甫.圖像幾何畸變精校正研究[J].計算機工程與應用,2007,43(9):45-48.

[14]Zhang Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]王大凱,侯榆青,彭進業. 圖像處理的偏微分方程方法[M].北京:科學出版社,2008:103-105.

[16]Chan T,Vese L. Active contour without edges[J]. IEEE Image Processing,2001,10(2):266-277.

A research of the external quality grading detection for northeastern pine nuts based on improved C-V model

QIU Xun-chao,CAO Jun*

(School of Mechanic and Electronic Engineering,Northeast Forestry University,Harbin 150040,China)

A nondestructive gradation method has been introduced for the external quality of northeastern pine nuts in this paper.Images of pine nuts were got by a CCD camera with improved C-V model to extract contour features.Feature parameters of pine nuts’ length and width were extracted by the method of mathematical morphology,and according to those and the measured values the mathematical model was established,and a comprehensive evaluation standard for the external quality of pine nuts grade was established too.The results were demonstrated that the external quality of multiple northeastern pine nuts could be graded simultaneously by the method in this paper with the accuracy of 97.2%.

northeastern pine nuts;improved C-V model;multiple targets classification

2015-11-16

仇遜超(1986-),女,在讀博士研究生,研究方向:農、林業機械化工程研究,E-mail:ldqiuxunchao@126.com。

曹軍(1956-),男,博士,教授,研究方向:傳感技術與智能測控技術、機電一體化,E-mail:ldcaojun@126.com。

國家自然科學基金(31270757)。

TS255.6

A

1002-0306(2016)11-0289-05

10.13386/j.issn1002-0306.2016.11.051