丁筱玲++吳玉紅++周田田++左潤國++郭言國++趙立新



摘要:旨在設計一種基于機器視覺技術對雞翅質量智能識別的方法,實現對雞翅質量的預測。運用機器視覺技術采集140根雞翅的俯視和側視圖像建立圖像庫,并對庫中圖像進行灰度化、形態學運算等處理;分別提取雞翅俯視圖和側視圖的面積、輪廓周長、長軸、短軸特征,并采用相機標定方法計算出實際各項特征值,分別建立雞翅實際質量和樣本實際特征值之間的一元線性、冪指數及多元混合預測模型。試驗結果顯示,采用多元混合預測模型效果最佳,相關系數達到0.971 7,估計誤差方差為0.505 5;運用檢驗數據對該預測模型進行驗證,得到預測雞翅質量與實際雞翅質量的絕對誤差均值為0.265 6 g,相對誤差均值為0.57%。試驗結果表明,基于機器視覺技術的雞翅質量預測方法可行,可應用于雞翅質量分級。
關鍵詞:機器視覺技術;質量預測;預測模型;雞翅
中圖分類號: TP391.4文獻標志碼: A
文章編號:1002-1302(2017)09-0208-05
近年,我國雞肉產量持續增長,總產量居世界前三,雞肉已成為我國僅次于豬肉的第二大肉類消費品。肉雞加工廠出售雞肉時,可整雞出售,亦可將其分割成雞脯肉、雞雜、雞胗、雞血、翅尖、翅中、翅根、雞爪、雞腿、雞架、半邊雞等出售,并根據不同需求按照各類別的重量或品質進行分級。目前,雞翅分級普遍采用人工分級,這種分級方法工作效率低,且易受人工主觀鑒別因素影響造成較大誤差,難以滿足生產需要[1]。隨著計算機技術的發展,機器視覺技術日臻成熟,已成為當今自動化企業不可或缺的產品,廣泛應用在制藥、食品、金屬加工等方面[2-7]。為提升產品質量,提高生產效率,利用機器視覺技術代替人工檢測的方法是未來發展的必然趨勢。由于機器視覺系統處理精度高、獲取信息量大、自動處理及集成控制信息簡單等[8-9],因此,在自動化生產過程中,人們將機器視覺系統廣泛應用于質量控制和成品檢驗等領域[10]。目前國內外將機器視覺技術運用到生產線上的產品多種多樣,比如番茄質量檢測、芒果重量檢測、雞蛋品質檢測、蘋果大小分級、淡水魚質量分級等。本研究主要是利用機器視覺技術對雞翅圖像進行批量采集、處理,提取有效特征并對特征進行分析,建立雞翅質量預測模型,為探究雞翅質量自動分級新方法提供理論依據。
1材料與方法
1.1研究材料
該研究采用雞翅的翅中為研究對象,探究一種雞翅質量自動分級新方法。在超市隨機挑選42~55 g質量區間的翅中140根,為易于對圖像庫進行管理,首先對購買回來的雞翅進行編號,并將其隨機分成2組,一組作為原樣本用于對質量預測模型建模,另一組作為檢驗樣本用于對預測模型檢測。
1.2研究方案
該質量預測系統主要分為硬件和軟件兩部分。硬件部分主要有試驗采集支架、采集平臺、CCD工業相機、計算機等。試驗采集支架是為了固定采集距離。工業相機選用高清500萬像素、USB 2.0帶緩存的彩色CCD工業相機。計算機使用Windows 7操作系統,運行速度快,存儲能力強。為更好地顯現目標顏色,試驗采集平臺選取黑色橡膠為采集背景。軟件部分采用Matlab 8.1.0編程,分為圖像采集模塊、圖像預處理模塊和特征提取模塊。研究技術路線如圖1所示。
1.3圖像采集系統
由于雞翅翅中部分呈扁平狀,單獨采集翅中的俯視或側視圖像特征不能反映其與翅中質量的關系,比如一組雞翅俯視圖翅中面積小,但側視圖翅中面積大,另一組雞翅俯視圖翅中面積大,但側視圖翅中面積小,兩者質量就極可能相似,故本研究采集雞翅俯視圖及側視圖圖像。
采集140根雞翅圖像,使用CCD相機在2盞白熾燈中間靜態取像,采集雞翅俯視圖和側視圖時保持相機與雞翅的距離均為20 cm,對應保存并建立圖像采集庫。圖像采集部分如圖2所示,CCD工業相機通過USB與計算機相連,方便取像。
1.4圖像處理
1.4.1圖像灰度化處理
為減少計算量及提高處理速度,將彩色圖像轉換為只含亮度信息的灰度圖像。灰度化處理方法有最大值法、分量法、加權平均值法和平均值法。本試驗采用加權平均值法,根據三基色的相對光譜能量分布和轉換過程中人的感覺等賦予R、G、B不同的權值[11]。灰度值輸出為Y
通道的亮度信息,表達為:
式中:r、g、b依次為0.299、0.587、0.114[12]。
雞翅圖像灰度化后的處理如圖3所示。從圖3可以看出,雞翅俯視圖像的灰度直方圖中有明顯雙峰,可采用雙峰法進行目標圖像與背景的分割,而側視圖像灰度直方圖的雙峰不是特別明顯,需要結合最大類間方差法進行多次測試,方可得到最佳閾值。
1.4.2圖像二值化與形態學去噪
圖像二值化就是將背景信息濾除,保留目標信息的過程。為便于將目標圖像從多值灰度圖中提取出來,需設定一閾值θ,將灰度圖像中多個數值分成兩部分。其計算公式為:
式中:F(x,y)為二值化后圖像數據,f(x,y)是灰度圖像數據,x和y為灰度圖像中每點的橫縱坐標。閾值θ可通過雙峰法、迭代法、最大類間方差法等獲得[13-14]。因雞翅俯視圖像的灰度直方圖有明顯雙峰,故雞翅俯視圖二值化可通過雙峰法獲取;而側視圖灰度直方圖中雙峰不明顯,運用迭代法獲取閾值也會有很大困難,故雞翅側視圖二值化通過最大類間方差法獲得。
灰度圖像二值化后,二值圖像中難免有一些噪聲點,本研究采用形態學的開運算平滑目標圖像的輪廓,消弱狹窄部分并去掉細的突出[15]。二值化后圖像如圖4所示。從圖4可以看出,二值化后的噪聲點經形態學運算后被消除,為下一步特征提取提供保障。
1.5特征提取
提取俯視圖二值化圖像的面積S1、輪廓周長L1、長軸D1、短軸d1及側視圖二值化圖像的面積S2、輪廓周長L2、長軸D2、短軸d2特征。首先對二值化圖像作最小外接矩形處理,后運用MATLAB自帶的regionprops計算各項特征參數值,并將提取的特征參數存入Excel中。擁有最小外接矩形的二值化圖像如圖5所示,分別是雞翅俯視圖和側視圖的最小外接矩形圖像。
由于特征參數信息是通過圖片信息獲取,故所得的8個特征參數值都是以像素為單位。為了確定物理尺寸和像素間的換算關系,需要通過標定模板建立相機成像的幾何模型[16]。本試驗采用棋盤格系列標定模板,在相同條件下對其進行圖像處理,計算物理尺寸和像素間的比例系數。由物理尺寸和像素值的比值得到標定結果為:雞翅面積系數為1346 3×10-5cm2,周長系數為0.003 5 cm,長短軸系數為0003 2 cm。標定結果如表1所示,分別對應面積Area、周長Perimeter、長軸Major Axis Length、短軸Minor Axis Length。部分樣本數據如表2所示,每一行代表一個樣本。
2結果與分析
2.1預測模型建立
以8個特征參數值為自變量,雞翅實際質量為因變量,分別建立一元線性、冪指數、多元線性[17-18]和多元混合函數預測模型:一元線性函數模型為y=a+bxi,冪指數函數模型為 y=axib,多元線性函數模型為y=a+∑ 8i=1 bixi,多元混合函數模型為y=a+∑ 8i=1 bixi+∑ 8i=1 cixi2。其中y為雞翅實際質量,a、b、bi、ci(i=1,2,…,8)為系數,xi(i=1,2,…,8)為8個特征參數值。
另外,經過對自變量分析,因變量有可能對同一根雞翅2組圖像的面積之和(S=S1+S2)、周長之和(L=L1+L2)、長軸之和(D=D1+D2)、短軸之和(d=d1+d2)存在一定的關系,故可作關于因變量與新的特征參數S、L、D、d之間的函數模型。分別建立一元線性、冪指數、多元線性、多元交叉函數預測模型:一元線性函數模型為y=a+bXi,冪指數函數模型為y=aXib,多元線性函數模型為y=a+∑ 4i=1 biXi,多元混合函數模型為y=a+∑ 4i=1 biXi+∑ 4i=1 ciXi2和y=a+∑ 4i=1 biXi+∑ 4i=1 ciXi2+∑ 3i=1 XiXi+1+∑[DD(]2i=1[DD)]XiXi+2+∑ 1i=1 XiXi+3。其中y為雞翅實際質量,a、b、bi、ci(i=1,2,3,4)為系數,Xi(i=1,2,3,4)為新特征參數值。分別用以上模型進行目標函數與特征參數之間的擬合,以相關系數R2和誤差方差S2為評價指標,建立雞翅質量預測模型,預測模型的統計結果如表3、表4所示。
以8個特征參數為自變量建立多元線性及多元混合模型分別為:y=22.717 4+0.249 7S1+0.065 2L1+1.702 9D1-2.755 9d1+0.217 6S2-0.073 2L2+1.979 9D2-2.779 9d2和y=-47.395 0-0.230 5S1+0.255 6L1+23.713 9D1-8436 5d1+0.597 9S2-0.533 5L2+1.458 5D2-0.263 4d2+0.007 0S12-0.004 6L12-1.383 5D12+0.672 4d12-0005 2S22+0.005 7L22+0.021 1D22-0.247 3d22。其中S1、L1、D1、d1、S2、L2、D2、d2分別為雞翅俯視圖和側視圖的投影面積[CM(25]、周長、長軸、短軸。兩模型相關系數分別為 0.952 1、 0.960 7,誤差方差分別為0.816 7、0.714 0。
以4個新特征參數為自變量建立多元線性及多元混合模型分別為:y=23.371 5+0.236 3S-0.090 7L+2.089 4D-2752 8d和y=24.782 0+1.549 5S+1.771 1L-10.962 9D+0.024 0d-0.010 7S2-0.017 1L2+0.381 3D2-0.048 1d2及y=19.814 1-6.528 9S+1.639 8L-0.554 5D+46.241 2d-0.007 3S2+0.130 7L2+2.226 8D2-12.105 7d2-0.085 5SL-0.301 8SD+2.227 1Sd-0.797 5LD+0.329 0Ld-1.111 9Dd。其中S、L、D、d分別為雞翅俯視圖和側視圖的投影面積之和、周長之和、長軸之和、短軸之和。三模型相關系數分別為0.947 9、0.959 8、0.971 7,誤差方差分別為0.863 0、0.686 4、0.505 5。
從表3、表4可以看出,目標函數與4個新特征參數進行擬合比與8個特征參數函數擬合的相關系數明顯提高,說明雞翅實際質量與同一根雞翅的2組圖像的面積之和(S=S1+S2)、周長之和(L=L1+L2)、長軸之和(D=D1+D2)、短軸之和(d=d1+d2)存在較高相關性。目標函數與8個特征參數進行函數擬合時無論是一元線性還是冪指數擬合都對側視圖長軸參數有較高的相關性,分別為0.900 0、0.901 9。目標函數與4個新特征參數進行函數擬合時一元線性和冪指數擬合對俯視圖和側視圖長軸之和的參數有較高的相關性,分別為0.931 1、0.925 4。
通過比較與綜合分析可知,采用4個新特征參數(俯視和側視圖像的面積之和S、周長之和L、長軸之和D、短軸之和d)與因變量(實際雞翅質量y)進行擬合的多元混合函數y=a+∑4i=1biXi+∑4i=1ciXi2+∑3i=1XiXi+1+∑2i=1XiXi+2+∑1i=1XiXi+3相對于其他模型有較高的相關系數及較低的誤差方差,故將它選為最優雞翅質量預測模型。
2.2預測模型驗證
采集70根雞翅檢驗樣本圖像,并對其進行以上相關圖像處理得到像素特征值,并將其轉換成實際物理量后對預測模型進行驗證,部分驗證結果如表5所示。預測模型驗證相關圖如圖6所示。由質量預測圖能明顯看出實際質量與預測質量之間的差距。由誤差曲線圖可看出相對誤差在0%附近浮動,而絕對誤差最大小于1 g。經過對檢測數據中誤差的計算,得到單根雞翅預測質量與實際雞翅質量的最大絕對誤差和最大相對誤差分別為0.981 3 g、1.85%,其均值分別為0265 6 g、0.57%。
3討論
由試驗結果可知,采用多元混合預測模型能取得較好的預測結果,但與實際質量仍存在一定偏差,通過對誤差的分析,可能存在以下3個問題:一是由于受試驗條件限制,采集雞翅俯視圖像時,底部黑色橡膠背景有一點反光,影響閾值分割及參數值,從而影響預測精度;二是不同雞翅品種密度等差異引起預測誤差;三是提出的預測模型有限。為提高預測模型精度,可尋找不反光背景進行背景替換,增加樣本多樣性、樣本數量,建立更加復雜的預測模型。
4結論
(1)本研究同時采集雞翅俯視圖和側視圖,并對其進行圖像處理獲取有效特征參數,然后建立特征參數與實際質量之間的擬合模型。
(2)試驗分析原自變量(S1、L1、D1、d1、S2、L2、D2、d2)之間的關系,建立新的自變量(S、L、D、d)與目標函數之間的預測模型,其多元混合擬合相關系數為0.971 7。
(3)由試驗結果可知,通過機器視覺技術可以準確預測雞翅質量。今后研究中可將MATLAB語言進一步轉換成 VC++ 語言應用于在線質量分級。
參考文獻:
[1]王福娟. 機器視覺技術在農產品分級分選中的應用[J]. 農機化研究,2011,33(5):249-252.
[2]楊立,趙杰文,鄒小波. 基于機器視覺的軟膠囊重量在線分選研究[J]. 食品工業,2008(5):64-66.
[3]Baigvand M,Banakar A,Minaei S,et al. Machine vision system for grading of dried figs[J]. Computers and Electronics in Agriculture,2015,119:158-165.
[4]Omid M,Soltani M,Dehrouyeh M H,et al. An expert egg grading system based on machine vision and artificial intelligence techniques[J]. Journal of Food Engineering,2013,118(1):70-77.
[5]Hong H M,Yang X L,You Z H,et al. Visual quality detection of aquatic products using machine vision[J]. Aquacultural Engineering,2014,63:62-71.
[6]胡曉彤,董瑩瑩. 基于機器視覺的金屬罐內壁缺陷檢測[J]. 天津科技大學學報,2014,29(3):63-67.
[7]段能全,劉剛,王俊元. 基于機器視覺的刀具幾何參數測量技術[J]. 機械設計與制造,2008(10):217-219.
[8]Shafiee S,Minaei S,Moghadam-Charkari N,et al. Honey characterization using computer vision system and artificial neural networks[J]. Food Chemistry,2014,159:143-150.
[9]夏永泉,JO Kang-hyun,甘勇,等. 計算機視覺在智能交通系統中的應用研究綜述(英文)[J]. 鄭州輕工業學院學報(自然科學版),2014,29(6):52-60.
[10]曾文艷,王亞剛,蔣念,等. 基于機器視覺的香煙小包裝外觀質量檢測系統[J]. 信息技術,2014(1):46-49.
[11]Yang X,Ling Y,Li S,et,al.Graying for images with color-discrete characteristic[J]. Optik-International Journal for Light and Electron Optics,2011,122(18):1633-1637. [HJ1.5mm]
[12]張銘鈞,李煊,王玉甲. 基于灰度化權值調整的水下彩色圖像分割[J]. 哈爾濱工程大學學報,2015,36(5):707-713.
[13]張志強,牛智有,趙思明,等. 視覺技術的淡水魚質量分級[J]. 農業工程學報,2011,27(2):350-354.
[14]Issac A,M. Partha S M,Dutta M K. An adaptive threshold based image processing technique for improved glaucoma detection and classification[J]. Computer Methods and Programs in Biomedicine,2015,122(2):229-244.
[15]Arco J E,Górriz J M,Ramírez J,et al.Digital image analysis for automatic enumeration of malaria parasites using morphological operations[J]. Expert Systems with Applications,2015,42(6):3041-3047.
[16]何微,牛智有,李曉金. 基于外部特征信息的番茄果實質量預測模型[J]. 華中農業大學學報,2013,32(6):144-148.
[17]Andrada M F,Vega-Hissi E G,Estrada M R,et al. Application of K-means clustering,linear discriminant analysis and multivariate linear regression for the development of a predictive QSAR model on 5-lipoxygenase inhibitors[J]. Chemometrics and Intelligent Laboratory Systems,2015,143:122-129.
[18]He Z,Zhou H,Wang J,et al. A unified framework for contrast research of the latent variable multivariate regression methods[J]. Chemometrics and Intelligent Laboratory Systems,2015,143:136-145.