基于機(jī)器視覺(jué)的雞胴體原發(fā)性皮炎快速檢測(cè)

吳江春，王虎虎，徐幸蓮

（南京農(nóng)業(yè)大學(xué)食品科技學(xué)院，肉品質(zhì)量控制與新資源創(chuàng)制全國(guó)重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210095）

雞肉營(yíng)養(yǎng)價(jià)值豐富，含有多種易被人體吸收的蛋白質(zhì)和氨基酸，同時(shí)具有低脂肪、低能量和低膽固醇的優(yōu)勢(shì)。我國(guó)是雞肉生產(chǎn)和消費(fèi)大國(guó)，在新冠肺炎疫情與禽流感的影響下，2021年全球肉雞產(chǎn)量增速下調(diào)，我國(guó)肉雞產(chǎn)量仍有小幅上升，據(jù)預(yù)測(cè)，2022年我國(guó)肉雞供需仍將延續(xù)增長(zhǎng)趨勢(shì)[1]。日益增長(zhǎng)的需求量要求肉雞市場(chǎng)有足夠的供應(yīng)量。目前我國(guó)肉雞產(chǎn)業(yè)向著集中屠宰、冰鮮上市的生產(chǎn)方式轉(zhuǎn)型升級(jí)，大型屠宰線(xiàn)在屠宰過(guò)程中基本實(shí)現(xiàn)了機(jī)械化[2-3]。如圖1所示，在肉雞屠宰工藝流程中，殘次品挑選是保證產(chǎn)品品質(zhì)的重要環(huán)節(jié)，但該環(huán)節(jié)對(duì)勞動(dòng)力的依賴(lài)度高。

圖1 肉雞屠宰工藝流程Fig.1 Flow chart of broiler slaughtering

據(jù)調(diào)研，某大型肉雞屠宰廠(chǎng)一天屠宰的雞胴體缺陷率為3%～6%。在所有缺陷雞胴體中，原發(fā)性皮炎雞胴體占比約為7.4%，原發(fā)性皮炎是雞胴體質(zhì)檢的一個(gè)重要指標(biāo)。雞胴體原發(fā)性皮炎是指雞胴體表面可見(jiàn)、分散不均勻的一種缺陷類(lèi)型，在外觀上表現(xiàn)為粗糙、紅或黑的皮炎與結(jié)痂，由外傷、理化性、細(xì)菌和外寄生蟲(chóng)以及感光過(guò)敏性刺激等因素造成[4]。質(zhì)檢人員將雞胴體表面發(fā)炎、結(jié)痂面積達(dá)3 cm2以上且無(wú)法修復(fù)的雞胴體分為皮炎品。雞胴體表面皮炎分布分散、面積占比小，且不同個(gè)體皮炎嚴(yán)重程度各不相同，因此人工識(shí)別存在速率慢、效率低、主觀性強(qiáng)等不足。此外，長(zhǎng)時(shí)間、高強(qiáng)度的用眼會(huì)導(dǎo)致視覺(jué)疲勞，降低識(shí)別準(zhǔn)確率，給工廠(chǎng)帶來(lái)?yè)p失。

機(jī)器視覺(jué)技術(shù)是近年興起的一項(xiàng)技術(shù)，廣泛用于工業(yè)、農(nóng)業(yè)、食品等領(lǐng)域。在禽類(lèi)養(yǎng)殖、屠宰和加工過(guò)程中，機(jī)器視覺(jué)技術(shù)可用于禽類(lèi)飼養(yǎng)環(huán)境的監(jiān)控[5]、形態(tài)與行為的診斷[6-7]、出欄體質(zhì)量的控制[8-9]，可用于冰鮮類(lèi)產(chǎn)品的分割與品質(zhì)控制過(guò)程，如雞胴體的分割與掏膛[10-11]、質(zhì)量預(yù)測(cè)[12-13]、淤血識(shí)別[14]、表面污染物檢測(cè)[15-16]與雞胸肉的木質(zhì)化程度判定[17]。此外，在副食品加工中，機(jī)器視覺(jué)技術(shù)可用于熏雞腿顏色的識(shí)別[18]。但冰鮮雞質(zhì)檢所研究的產(chǎn)品缺陷類(lèi)型以淤血、木質(zhì)化、新鮮度為主，并未涉及雞胴體表面的原發(fā)性皮炎檢測(cè)。因此，為利用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)肉雞屠宰后道質(zhì)檢端皮炎雞胴體的快速檢測(cè)，本研究利用機(jī)器視覺(jué)裝置采集及雞胴體表面圖像，根據(jù)皮炎的顏色、紋理特征和面積大小，提取相關(guān)特征值構(gòu)建皮炎檢測(cè)模型，以期為肉雞胴體的皮炎檢測(cè)提供技術(shù)參考。

1 材料與方法

1.1 材料

本研究的實(shí)驗(yàn)對(duì)象為肉雞胴體，所有雞胴體圖像均采集于某大型肉雞屠宰線(xiàn)。選取生產(chǎn)線(xiàn)上經(jīng)人工質(zhì)檢的皮炎與正常雞胴體，用機(jī)器視覺(jué)裝置采集其3 個(gè)方位的視圖，共采集316 只雞胴體（皮炎、正常各158 只），獲得948 張樣本圖片。經(jīng)質(zhì)檢員判定，158 只皮炎雞胴體樣本皮膚發(fā)炎、結(jié)痂面積均大于3 cm2，且無(wú)法修復(fù)。皮炎和正常雞胴體的代表性樣本如圖2所示。

圖2 代表性皮炎樣本（A）和正常樣本（B）Fig.2 Representative dermatitis samples (A) and qualified samples (B)

1.2 圖像采集裝置

光源、相機(jī)、工控機(jī)等設(shè)備是機(jī)器視覺(jué)系統(tǒng)的重要組成部分[19-20]。雞胴體原發(fā)性皮炎主要分布在背部和兩側(cè)區(qū)域，本研究用含3 個(gè)相機(jī)的機(jī)器視覺(jué)裝置采集雞胴體后側(cè)、左側(cè)和右側(cè)3 個(gè)方位的視圖，各組成的選型均基于屠宰線(xiàn)的實(shí)際需求，安裝連接方法參考趙正東等[21]的研究，光源、相機(jī)和工控機(jī)的參數(shù)如表1所示。

表1 機(jī)器視覺(jué)裝置各組成的參數(shù)Table 1 Parameters of each component of machine vision system

相機(jī)支架與胴體支架的安裝方位如圖3所示，雞胴體以背部朝向相機(jī)1，倒掛在胴體支架上，各個(gè)相機(jī)的中軸線(xiàn)夾角為120°，相機(jī)鏡頭光心與雞胴體表面的距離固定為50 cm，3 個(gè)相機(jī)覆蓋的視野可完整獲取雞胴體表面信息。

如圖4所示，該裝置運(yùn)用于肉雞屠宰廠(chǎng)后道質(zhì)檢端。相機(jī)的最小曝光時(shí)間為26 μs，快于肉雞495 mm/s的平均運(yùn)動(dòng)速率。該裝置可以成功捕獲清晰、無(wú)拖影的雞胴體圖像，并通過(guò)模型識(shí)別后在輸出端進(jìn)行分開(kāi)運(yùn)輸?shù)牟僮鳎瑢?shí)現(xiàn)雞胴體原發(fā)性皮炎的靜態(tài)檢測(cè)。

圖4 機(jī)器視覺(jué)裝置的安裝效果Fig.4 Installation diagram of machine vision device

1.3 雞胴體皮炎檢測(cè)

1.3.1 圖像的預(yù)處理

在授精前需要做好相關(guān)的飼養(yǎng)管理，輸精后的飼養(yǎng)管理也尤為重要。如在輸精后5～8 min時(shí)，可為母牛注射一定劑量的催產(chǎn)素，可使受胎率提高25%。在輸精后當(dāng)天也可以注射50萬(wàn)U的維生素A，這對(duì)提高母牛的受胎率也有很大幫助。有些母牛自身體質(zhì)較差，受胎率不高，這時(shí)也可以人工注射一些激素完善母牛的各項(xiàng)機(jī)能，較為常見(jiàn)的是注射新斯的明注射液，可有效提升母牛的卵巢機(jī)能，提高母牛配種后受孕率[3]。

從工廠(chǎng)采集的原始圖像存在干擾信息，因此需對(duì)圖像預(yù)處理，以減少噪聲，改善圖像的質(zhì)量，增加特征識(shí)別的準(zhǔn)確性[22]。本研究采用加權(quán)平均值法將原始RGB圖轉(zhuǎn)換成灰度圖，經(jīng)二維中值濾波處理后采用迭代閾值法分割出雞胴體區(qū)域，將雞胴體二值圖與原始RGB圖點(diǎn)乘，獲得去除背景的雞胴體圖。

不同皮炎雞胴體的皮炎面積各不相同，且分布不集中，整體識(shí)別存在難度。因此采用提取雞胴體局部皮炎信息的方式，如圖5所示，將皮炎雞胴體的去背景圖用網(wǎng)格（單個(gè)網(wǎng)格邊長(zhǎng)為128 像素）劃分成若干區(qū)域，從中篩選出顏色斑駁、紋理粗糙且黑色背景面積占比小的皮炎皮膚圖片；同理，劃分正常雞胴體去背景圖像，從中篩選出顏色均勻、表面光滑且黑色背景面積占比小的正常皮膚圖片。對(duì)所有雞胴體樣本進(jìn)行分割和篩選后共獲得1537 張樣本圖片（皮炎皮膚762 張，正常皮膚775 張），在此基礎(chǔ)上提取特征值和建模。

圖5 皮炎皮膚（A）與正常皮膚（B）圖片篩選流程Fig.5 Dermatitic skin (A) and normal skin (B) image screening process

1.3.2 特征值的提取

如圖6所示，皮炎和正常皮膚在顏色和紋理上均有差異。皮炎樣本的皮膚為紅橙色或黑棕色；與正常皮膚相比，皮炎皮膚表面更粗糙、斑駁。故提取圖像的顏色特征、紋理特征以及皮炎面積作為皮炎檢測(cè)的特征值。

圖6 代表性皮炎（A）和正常（B）皮膚樣本Fig.6 Representative dermatitic skin sample (A) and normal skin sample (B)

1.3.21 顏色特征值的提取

顏色矩可用來(lái)表示圖像不同通道的顏色分布特征，由于顏色分布的信息主要存在顏色矩的低階矩中，本研究選取一、二、三階矩表示RGB圖像各分量圖的顏色分布[23-24]。其中一階矩為圖像顏色均值（μi），表示明暗程度；二階矩是圖像顏色的方差（σi），表示顏色分布的均勻性；三階矩是圖像顏色的斜度（si），表示顏色分布的對(duì)稱(chēng)性，計(jì)算公式如下所示。分別提取上述皮炎與正常皮膚圖像R、G、B通道的三階顏色矩，共9 個(gè)顏色特征，記為μ1、σ1、s1；μ2、σ2、s2；μ3、σ3、s3。

式中：N為圖像的像素個(gè)數(shù)；i為通道數(shù)；pi,j為第i個(gè)通道的第j個(gè)像素。

1.3.22 紋理特征值的提取

表2 灰度共生矩陣特征值的英文縮寫(xiě)對(duì)照Table 2 Abbreviations of gray-level co-occurrence matrix eigenvalues

1.3.23 皮炎面積的提取

圖像分割是根據(jù)圖像中目標(biāo)對(duì)象的特點(diǎn)，分割出感興趣區(qū)域的圖像處理方法[29]。如圖7所示，采用Otsu閾值分割法提取皮炎區(qū)域面積，將樣本圖片從RGB顏色空間轉(zhuǎn)換到HIS空間，提取S分量圖，用Matlab中的graythresh()函數(shù)計(jì)算分割閾值，記為T(mén)。如圖8所示，隨機(jī)選取皮炎和正常皮膚樣本各30 個(gè)，計(jì)算其閾值。發(fā)現(xiàn)皮炎與正常皮膚樣本圖片的分割閾值大致以0.20為分界線(xiàn)，當(dāng)S分量圖的分割閾值大于0.20時(shí)，則將其處理成二值圖，并計(jì)算皮炎面積，記為A1。A1為圖像中皮炎的像素個(gè)數(shù)，不是實(shí)際坐標(biāo)的皮炎面積，因此在采集雞胴體時(shí)還需對(duì)圖像進(jìn)行標(biāo)定[30-31]。本研究采用10 cm×10 cm的標(biāo)準(zhǔn)正方形標(biāo)定圖像，如圖9所示，經(jīng)計(jì)算得標(biāo)定系數(shù)為1594.29 像素/cm2。記實(shí)際皮炎面積為A，計(jì)算公式如下：

圖7 皮炎面積提取示意圖Fig.7 Schematic diagram of dermatitis area extraction

圖8 皮炎與正常樣本圖的分割閾值分布Fig.8 Segmentation threshold distribution of dermatitis versus normal sample maps

圖9 標(biāo)準(zhǔn)正方形標(biāo)定圖像[21]Fig.9 Standard square diagram for calibration

式中：A1為圖像中皮炎的像素個(gè)數(shù)。

1.3.3 模型的建立與驗(yàn)證

用主成分分析（principal component analysis，PCA）法對(duì)特征值降維，選取方差累計(jì)貢獻(xiàn)率在95%以上的PC，分別將特征值與PC導(dǎo)入線(xiàn)性判別分析（linear discriminant analysis，LDA）模型、二次判別分析（quadratic discriminant analysis，QDA）模型、隨機(jī)森林（random forest，RF）、支持向量機(jī)（support vector machines，SVM）、反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)模型。GoogLeNet模型則以皮炎與正常皮膚圖片為輸入數(shù)據(jù)。所有模型均在MATLAB R 2020b中建立和運(yùn)行，模型的訓(xùn)練集為1000 張皮膚圖片（皮炎與正常各500 張），測(cè)試集為537 張皮膚圖片（皮炎262 張、正常275 張），模型的分類(lèi)效果采用召回率、精確度、F1分?jǐn)?shù)、總準(zhǔn)確率和平均檢測(cè)速率表示。

上述模型均基于128 像素×128 像素的圖像建立，為檢測(cè)最終模型對(duì)整只雞胴體的分類(lèi)效果，隨機(jī)選取40 只雞胴體進(jìn)行驗(yàn)證（皮炎與正常各20 只）。以雞胴體后視圖為例，單側(cè)視圖檢測(cè)流程如圖10、11所示。僅當(dāng)后視圖與兩側(cè)視圖全判定為正常時(shí)，所檢測(cè)的雞胴體為正常，否則為皮炎。

圖10 雞胴體后視圖檢測(cè)過(guò)程Fig.10 Chicken carcass rear view inspection process

圖11 雞胴體單側(cè)視圖檢測(cè)流程圖Fig.11 Flow chart of chicken carcass single-side view inspection

2 結(jié)果與分析

2.1 特征值的PCA

特征值的PCA結(jié)果如圖12和表3所示，在PCA碎石圖中可以觀察到從第6個(gè)PC開(kāi)始，特征值的下降趨勢(shì)趨于平緩，但前6 個(gè)PC的方差累計(jì)貢獻(xiàn)率僅為87.92%，經(jīng)過(guò)綜合考慮選取方差累計(jì)貢獻(xiàn)率為96.29%的前10 個(gè)PC作為模型的輸入?yún)?shù)。

表3 PC方差貢獻(xiàn)率Table 3 Variance contribution of principal components

圖12 PCA碎石圖Fig.12 Principal component analysis scree plot

2.2 模型分類(lèi)結(jié)果

以特征值和PC為輸入?yún)?shù)的模型分類(lèi)效果如表4、5所示。在以特征值為輸入?yún)?shù)的模型中，QDA模型召回率最高，為90.08%；精確度、F1分?jǐn)?shù)和總準(zhǔn)確率最高的模型均為SVM，分別為90.38%、90.03%、90.32%。在以PC為輸入?yún)?shù)的模型中，RF模型的分類(lèi)效果優(yōu)于其他模型，皮炎樣本的召回率為88.93%，識(shí)別精度為89.30%，F(xiàn)1分?jǐn)?shù)為89.11%識(shí)別總準(zhǔn)確率為87.71%；通過(guò)比較不同輸入?yún)?shù)的模型可發(fā)現(xiàn)，經(jīng)PCA降維后，LDA、QDA、SVM模型總準(zhǔn)確率均有不同程度的下降。其原因是降維后數(shù)據(jù)是原始數(shù)據(jù)的近似表達(dá)，減少了原始數(shù)據(jù)特征，這與章振原[23]、劉廣昊[32]和王敏[33]等的研究一致。

表4 以特征值作為輸入?yún)?shù)的不同模型分類(lèi)效果Table 4 Classification performance of different models with eigenvalues as input parameters

表5 以PC作為輸入?yún)?shù)的不同模型分類(lèi)效果Table 5 Classification performance of different models with principal components as input parameters

如圖13所示，在GoogLeNet模型中，皮炎樣本的召回率為89.5%，識(shí)別精確度為90.6%，F(xiàn)1分?jǐn)?shù)為90.0%，模型識(shí)別總準(zhǔn)確率可達(dá)90.5%。

圖13 GoogLeNet混淆矩陣Fig.13 GoogLeNet Confusion matrix

模型的預(yù)測(cè)速率如圖14所示，其中以特征值為輸入?yún)?shù)的SVM模型預(yù)測(cè)速率最快，高達(dá)405895.69 張/s。GoogLeNet模型的預(yù)測(cè)速率為122.65 張/s，遠(yuǎn)低于其他模型，但其預(yù)測(cè)速率仍高于人工質(zhì)檢速率。

綜合比較模型分類(lèi)效果可發(fā)現(xiàn)，GoogLeNet模型對(duì)皮炎皮膚圖片的識(shí)別整體效果最好，因此利用該模型對(duì)40 只雞胴體樣本進(jìn)行驗(yàn)證。如表6所示，該模型對(duì)皮炎雞胴體的識(shí)別準(zhǔn)確率為100%，對(duì)正常雞胴體的識(shí)別準(zhǔn)確率為90%。部分樣本的檢測(cè)結(jié)果如表7所示，被誤分類(lèi)的正常雞胴體皮炎面積分別為3.3981、3.9270 cm2。

表6 GoogLeNet模型對(duì)整雞的分類(lèi)效果Table 6 Classification performance of GoogLeNet model for whole chicken carcasses

表7 部分雞胴體樣本檢測(cè)結(jié)果Table 7 Test results of selected chicken carcass samples

如圖15所示，在誤檢樣本中，樣本A與B側(cè)視圖翅膀上方均可觀察到如圖16所示的黃色小絨毛，這些絨毛被識(shí)別成皮炎，從而造成誤差。正確分類(lèi)的18 個(gè)正常雞胴體樣本中均有皮炎檢出，其中12 個(gè)樣本皮炎面積小于1 cm2，4 個(gè)樣本皮炎面積在1～2 cm2內(nèi)，2 個(gè)樣本皮炎面積在2～3 cm2內(nèi)。

圖15 正常雞胴體的誤檢樣本A（A）與樣本B（B）Fig.15 False examination samples A (A) and B (B) of normal chicken carcasses

3 結(jié)論

本研究利用機(jī)器視覺(jué)裝置采集肉雞屠宰線(xiàn)上316 只雞胴體的正視圖與兩側(cè)視圖，經(jīng)圖像預(yù)處理去除背景和干擾后，用邊長(zhǎng)為128 像素的網(wǎng)格劃分，并從皮炎雞胴體中篩選出皮炎皮膚圖片762 張，從正常雞胴體中篩選出正常皮膚圖片775 張。提取皮膚圖片的顏色矩、不同方向灰度共生矩陣特征的均值與方差、Tamura紋理特征以及皮炎分割閾值和面積共計(jì)24 個(gè)特征值，經(jīng)PCA降維后，用特征值與PC分別建立LDA、QDA、RF、SVM與BP神經(jīng)網(wǎng)絡(luò)模型。GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)模型則用篩選出的皮膚圖片建立。模型的分類(lèi)效果采用召回率、精確度、F1分?jǐn)?shù)、總準(zhǔn)確率和平均檢測(cè)速率判斷，經(jīng)過(guò)綜合分析發(fā)現(xiàn)所有模型中以GoogLeNet模型的分類(lèi)效果最好，皮炎樣本的召回率為89.5%，識(shí)別精確度為90.6%，F(xiàn)1分?jǐn)?shù)為90.0%，總準(zhǔn)確率可達(dá)90.5%，預(yù)測(cè)時(shí)間為122.65 張/s。在對(duì)整雞胴體圖像識(shí)別的驗(yàn)證實(shí)驗(yàn)中，GoogLeNet模型對(duì)皮炎雞胴體的識(shí)別準(zhǔn)確率為100%，正常雞胴體的識(shí)別準(zhǔn)確率為90%。該模型對(duì)雞胴體原發(fā)性皮炎有較好的識(shí)別能力，可為雞胴體原發(fā)性皮炎的快速識(shí)別與分類(lèi)提供技術(shù)參考。