計算機視覺用于豬肉新鮮度檢測的顏色特征優化選取

潘婧，錢建平，劉壽春，韓帥

1(上海海洋大學 信息學院，上海，201306) 2(國家農業信息化工程技術研究中心，北京，100097)

?

計算機視覺用于豬肉新鮮度檢測的顏色特征優化選取

潘婧1，2，錢建平2*，劉壽春2，韓帥2

1(上海海洋大學 信息學院，上海，201306) 2(國家農業信息化工程技術研究中心，北京，100097)

摘要在以計算機視覺為基礎，并利用神經網絡預測豬肉通脊新鮮度時，選擇合適的顏色特征參數和神經網絡模型是提高其預測準確性的關鍵之一。文中提出了一種豬肉新鮮度等級預測時顏色特征參數和神經網絡優化選取的方法，利用圖像處理的方法提取通脊表面的顏色特征參數，組合成RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*及HIS-L*a*b*五類特征參數組合，并利用BP(back propagation，BP)和SVM(support vector machine，SVM)神經網絡構造各類新鮮度等級預測模型。結果表明：SVM和BP的平均預測準確率分別為91.11%和84.44%，且rgb-HIS特征參數組合的BP與SVM預測模型的預測準確率最高，分別為88.89%和95.56%。因此，提取通脊表面r、g、b、H、I、S均值作為顏色特征向量，且選擇SVM神經網絡來構造新鮮度預測模型可顯著提高預測結果的準確性。

關鍵詞豬肉；新鮮度；顏色特征；BP；SVM；預測模型

肉品新鮮度是衡量其衛生質量的主要指標之一。精確的肉品新鮮度評定方法，不僅可以預估其相應的貨架期時間，也可確保食用者的飲食安全。傳統的新鮮度感官評價存在著主觀性強、效率低等缺陷[1]。然而，隨著20世紀后期計算機硬件的飛速發展以及應用軟件的不斷更新，推動了計算機視覺技術在肉類新鮮度相關色澤評價的應用上不斷發展與成熟，且近年來，相關學者研究表明，利用計算機視覺識別肉類新鮮度已達到可取代人工感官評價的程度[2]。LU等[3]以豬肉的肌肉像素點的RGB和HIS的平均值和標準差作為顏色特征參數，并利用偏最小二乘法、多元線性回歸以及BP神經網絡法建立了豬肉顏色等級的預測模型，模型的相關系數分別為0.52和0.75。CHEN等[4]以牛肉圖像中脂肪像素點RGBHIS的均值和標準差作為輸入參數，利用支持向量機(SVM)對牛肉脂肪顏色等級進行了預測，正確率為97.4%。姜沛宏等[5]應用神經網絡建立基于RGBHIS特征分量的牛肉新鮮度分級模型，模型判別正確率達90%以上。

利用計算機視覺技術進行肉品質量等級預測時，選擇合適的顏色特征參數和神經網絡模型是關鍵。目前較多學者只是憑經驗直接選定顏色特征參數和神經網絡模型，并沒有給出相應的數據證實該選取是其模型預測準確率最高時的最優選取[3-8]。本研究以豬肉通脊部位肉樣作為試驗對象，提取了12個常用的顏色特征參數R、G、B、H、I、S、L*、a*、b*、r、g、b的均值，組合成RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*這5類特征參數組合。將上述5類組合分別作為神經網絡的輸入參數進行通脊新鮮度等級的預測，神經網絡選擇的是常用的BP和SVM，最后根據預測準確率找到最佳的特征參數組合類，并找出其適合的神經網絡預測模型，以期為采用計算機視覺技術進行豬肉新鮮度評定時選取高精度、高適應度預測模型。

1材料與方法

1.1試驗材料

肉的顏色是由肌紅蛋白和血紅蛋白決定的，在放血充分的條件下，肉色主要是受肌肉內的肌紅蛋白狀態的影響[9]，故在進行肉品顏色評定時主要針對的是樣品中的肌肉顏色，在進行樣品顏色特征提取時，也僅對肌肉像素進行統計。此外，脂肪氧化和肉品的變色之間也存在著密切關系，由于脂肪氧化產生自由基破壞了肉中的色素，使肉變色，而肉變色后產生的Fe3+又是脂肪氧化的催化劑[10]，因此肌間脂肪的存在也會對肉色測定有一定的影響。

本試驗的豬肉樣本購自北京當地農貿市場，樣本選取時未考慮其品種、性別、遺傳因素、是否注水等宰前因素背景。被測部位選擇了幾乎不含肌間脂肪的通脊部位肉，可避免脂肪對肌肉顏色的干擾。買回的通脊肉先使用干凈的紙巾清潔表面的水分、污物及肉屑，之后利用無菌刀及時進行切片處理，其大小尺寸為6 cm×4 cm×2 cm(長×寬×高)，平均重量約為70 g。制作15個樣本放在潔凈托盤中，并立即使用食品保鮮膜封好存放于4℃的冰箱中。貯藏過程中，每隔1天進行1次圖像采集和人工感官評價，試驗周期為8 d。

1.2實驗裝置

圖像采集裝置由臺式計算機(DELL OptiPlex 760，2.66 GHz CPU，4GB RAM)、尼康(Nikon)D90數碼相機(圖像格式為jpg，圖像分辨率為3 216像素×2 136像素)自制光照室和光源組成，如圖1所示。光照室采用長方體封閉式光照室，尺寸為6 cm×4 cm×2 cm(長×寬×高)，載物臺高度為30 cm，光照室內壁涂成白色，頂端裝有40W環形熒光燈，以形成均勻照射的光源。光照室上方開有圓形小孔，用來放置數碼相機鏡頭進行圖片拍攝。采集好的圖像使用USB2.0/DC接口傳輸到PC機端，采用MATLAB 8.3軟件對采集的圖片進行處理。

圖1　圖像采集裝置Fig.1　Image acquisition device

1.3感官評定方法

建立一個由10人(均已接受專業培訓)組成的感官評定小組，參照文獻[11]的感官評分細則對試驗樣本進行新鮮度等級的評定。評分標準為10分制，經多次研究分析與市場調查，將4個屬性色澤、黏度、氣味和彈性的權重分別設為0.3、0.25、0.25、0.2，樣本的感官得分取自10人評分的平均值。感官評定時，得分在8分及以上的為新鮮等級，6～8分的為次新鮮肉，低于6分的為腐敗肉。評定結果：新鮮等級樣本45個、次新鮮等級42個和33個腐敗等級。評定小組的評定結果將作為本次實驗后續神經網絡預測時的新鮮度等級評定標準。任意選擇其中75個樣本作為的訓練集，其余作為測試集(表1)。

表1　實驗樣本信息表

1.4圖像預處理

將待測樣本置于載物臺上，開啟光源，調節攝像頭焦距和光照強度使得圖像足夠清晰，固定焦距和照明強度參數，使得研究中所攝取豬肉圖像具有相同的初始條件，保證所得評定結果的一致性。采集好的圖像通過數碼相機的USB2.0/DC接口傳輸到計算機中，圖片為jpg格式。為了提高效率，處理前將圖像尺寸統一調整為600像素×900像素，采集的樣本如圖2-(a)所示。

本次實驗采集到的圖像含有較少的噪聲干擾，這可能是由實驗中使用了統一的光源，圍光系統和背景導致。在對比了線性濾波，中值濾波和自適應濾波效果后，本研究最終選用了濾波效果較好的中值濾波，其在衰減噪聲的同時保持了圖像細節的清晰。圖2中通脊與白色背景的灰度級相差較大，故選擇最大類間方差自適應閾值法(OTSU)進行圖像背景分割[12]。分割后的二值圖像中含有一些內部空洞及邊緣噪聲，選用區域填充法和形態學開運算分別進行內部空洞的填充和邊緣平滑[13]。最后將分割出來的二值圖像與原RGB圖像3個通道相乘，即可得到只保留目標對象的彩色圖像，結果如圖2-(b)所示。

圖2　圖像處理結果Fig.2　Results of image processing

1.5顏色特征值的選取

相對于其他的視覺特征而言，顏色特征對視角、尺寸、方向的依賴性較小，表現出很強的魯棒性[14]。對于物體顏色的描述，目前存在著多種顏色模型。RGB是基于顯示設備的顏色模型，能夠準確地表示屏幕上色彩的組成。將RGB顏色空間歸一化可得到rg色度空間，歸一化公式為[15]：

(1)

根據公式可以推斷出RGB顏色系統的r，g，b只是比值而已，與光照強度變化無關，因此rg色度空間可避免光照對圖像顏色的影響。HIS是基于人對顏色心理感受的顏色模型, 比較符合人的視覺感受, 是計算機視覺技術中主要采用的顏色模型。CIEL*a*b*顏色模型針對顏色的顯示方式進行描述，具有很好的顏色認知屬性，與上述幾種顏色模型相比，該模型的色彩分布更加均勻[16]。HIS和CIEL*a*b*顏色空間均可由原始RGB顏色空間通過Matlab軟件編程轉換得到。

提取各顏色空間特征參數的均值，來定量描述通脊的顏色特征。均值的計算公式為：

(2)

其中：D為目標區域，i為像素點的水平坐標，j為像素點的垂直坐標，N為D區域內的總像素點數，y為R，G，B，H，I，S，L*，a*，b*，r，g，b。

因單一的顏色空間來表征顏色特征并不能很好地區分通脊新鮮度等級[8]，故本研究將上述顏色特征參數組合成5類：RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*，并將每一類都單獨神經網絡預測模型的輸入參數分析1次。

1.6神經網路預測模型的構建

1.6.1BP神經網絡設計

基于誤差反向傳播(back propagation)算法的多層前饋網絡(簡稱BP神經網絡)是目前應用較多的網絡之一，主要通過學習來實現輸入目標與輸出目標之間的非線性映射[17]。因本研究采用的BP神經網絡分為輸入層、隱含層和輸出層其結構圖如圖3所示(RGB-HIS組合作輸入為例)。BP神經網絡的輸入為每一類的6個顏色特征參數，感官評定小組的新鮮度等級評定值(新鮮，次新鮮和腐敗)作為輸出，故輸出層神經元個數為3個。隱含層神經元個數選擇的經驗公式為：

(3)

其中：n為輸入層神經元數目，m為輸出層神經元數目，a為1～10之間的整數，N為隱含層神經元個數。經多次反復試驗后，最終選擇在RGB-HIS、RGB-L*a*b*、rgb-HIS、rgb-L*a*b*和HIS-L*a*b*作為輸入時的隱含層節點數分別為：12，13，13，13，12。輸入層到隱含層采用tansig函數，隱含層到輸出層采用logsig函數。網絡訓練函數選擇trainscg，最大訓練循環次數為20 000，顯示間隔次數為50，誤差性能目標值為1e-3，學習系數為0.05。

圖3　BP網絡結構Fig.3　Network Structure of BP

1.6.2SVM神經網絡設計

支持向量機(support vector machine，SVM)在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢[18]。本研究采用臺灣大學林智仁教授等開發的LIBSVM工具箱，在MATLAB 8.3平臺下進行SVM模型的設計。每次選擇一類顏色特征參數作為SVM的數據集，評定小組的新鮮度等級評定值作為數據標簽(新鮮為1，次新鮮為2，腐敗為3)。從原始數據集中讀取訓練集和測試集的數據及其所對應的數據標簽，并對數據進行歸一化處理。核函數的選取是SVM的關鍵，目前最常用的核函數有線性核函數、多項式核函數、徑向基RBF核函數及S形核函數4種[19]。RBF核函數只需確定核寬度參數，避免了參數過多的復雜性，而且RBF核函數參數選擇的限制條件較少，具有更好的適用性，所以本研究最終選擇了RBF核函數，其函數形式為：

(4)

其中：xi∈x?Rn為輸入向量，σ為核寬度參數，K為核函數。研究表明[20]，核函數的參數g和誤差懲罰因子C是影響SVM性能的主要因素，故還需對C和g進行最佳參數尋優處理。本研究利用多種尋參方法進行尋優，經過反復的尋參測試，得到的每一類下的C和g的值如表2所示。

表2　SVM的C和g取值

2結果與分析

2.1BP神經網絡模型預測結果

將每一類訓練集的顏色特征向量進行歸一化處理后作為BP模型的輸入，感官小組評定結果(編號1～15為新鮮肉，16～30為次鮮肉，31～45為腐敗肉)作為BP目標輸出，根據設定的結構參數進行訓練，建立每個組合下的BP 神經網絡預測模型。。將每組的45個測試集輸入已訓練好的BP神經網絡模型中進行新鮮度等級的預測，將輸出值中的最大值置為1，其余置為0。[1 0 0]、[0 1 0]和[0 0 1]分別代表新鮮、次新鮮和腐敗。預測結果如圖4(a)～(e)所示。

圖4將預測錯誤的樣本編號均已標出，計算圖4中不同組合的預測準確率，結果如表3所示。從表3中可知，BP模型在五類特征參數組合下的平均預測準確率為87.112%，最低為84.44%，最高達到88.89%。故本研究建立的BP神經網絡預測模型對通脊新鮮度等級預測較準確，且選擇使用類3 rgb-HIS組合或類5 HIS-L*a*b*作為BP預測模型的輸入參數更為合適。

圖4　不同組合下的BP模型預測結果Fig.4　BP predicting results under different combination

類1類2類3類4類5預測準確率86.67%84.44%88.89%86.67%88.89%準確率統計最小值最大值平均值84.44%88.89%87.112%

2.2SVM神經網絡模型預測結果

對每組顏色特征向量進行歸一化處理后作為SVM模型訓練數據集，感官小組的新鮮度等級評定值(編號1～15為新鮮肉，16～30為次鮮肉，31～45為腐敗肉)作為數據集標簽，根據設定的結構參數進行訓練，建立每類的SVM神經網絡預測模型。再利用各自已訓練好的SVM模型對其測試集數據進行預測，得到的結果如圖5所示。

圖5將SVM預測錯誤的樣本編號均已標出。表4給出了圖5中各類組合的預測準確率。從表4中可知，SVM模型在五類特征參數組合下的平均預測準確率為93.78%，最低和最高預測準確率分別為91.11%和95.56%。說明本研究建立的SVM模型在通脊新鮮度等級預測時具有很高的預測準確率，且在使用SVM進行新鮮度預測時應優先選擇類1-RGB-HIS組合、類3 rgb-HIS組合或類5 HIS-L*a*b*作為輸入參數。

表4　SVM模型的預測準確率

2.3BP和SVM預測結果對比分析

表5列出了每一類組合使用2種不同預測模型時預測的錯誤樣本編號和預測準確率。從預測錯誤的樣本編號可看出每組使用SVM模型預測錯誤的樣本大部分在使用BP模型預測時也會出錯，這說明相比BP 模型，選擇使用SVM模型預測通脊新鮮度更合適。此外，綜合2種神經網絡的預測準確率可發現，不管選擇BP模型還是SVM模型，特征值rgb-HIS組合的預測準確率均為最高的，分別為88.89%和95.56%。故在進行通脊新鮮度等級時，選擇rgb-HIS顏色特征值組合作為神經網絡的輸入最為合適。

圖5　不同組合下的SVM模型預測結果Fig.5　SVM predicting results under different combination

顏色特征預測模型預測錯誤樣本編號準確率/%RGB-HISBP9,12,21,24,27,3086.67SVM9,2195.56RGB-L*a*b*BP9,12,17,21,30,41,4484.44SVM21,3095.56rgb-HISBP9,12,14,21,3088.89SVM17,2195.56rgb-L*a*b*BP17,18,24,27,30,3986.67SVM18,21,24,3091.11HIS-L*a*b*BP9,21,24,27,3088.89SVM9,21,24,3091.11

3結論

本文以豬肉通脊部位的肉樣作為研究對象，利用計算機視覺技術對其顏色特征進行量化處理。在顏色特征參數選擇時，通過實驗發現當BP模型的輸入參數為rgb-HIS或HIS-L*a*b*時其預測準確率最高為88.89%，而當使用SVM模型進行新鮮度等級預測時，選擇RGB-HIS、RGB-L*a*b*或rgb-HIS作為SVM預測輸入參數時，其準確率可達最高為95.56%。因此，選擇上述共同的顏色特征參數r、g、b、H、I、S作為神經網絡的輸入參數更合適。

在神經網絡模型選擇時，由于SVM的模型對5類組合預測的平均準確率為91.11%高于BP的平均準確率84.44%，故應優先選擇SVM神經網絡模型進行新鮮度等級的預測。綜上，在利用神經網絡預測通脊新鮮度等級時，提取通脊表面的r、g、b、H、I、S這6個顏色特征參數，且選擇SVM神經網絡共同參與到新鮮度等級預測模型的構建，此時的模型的預測準確率可以達到最高。

本次研究主要是根據豬肉顏色判定其新鮮度等級的，而放血充分情況下肌紅蛋白是決定肉色的主要因素，其氧化狀態直接影響肉色。因此，凡是可以影響到肌肉中抗氧化性的因素都有可能影響到肌紅蛋白氧化和肉色穩定性[21]。孫京新[22]通過實驗證實豬肉微粒體脂肪氧化產物，尤其是小分子不飽和氧化產物會促進氧合肌紅蛋白氧化。本研究所選用的是較為單一的只含肌肉通脊部位樣本，對于含有肌間脂肪的部位肉，其肌肉顏色變化可能會與本研究有一定差異，研究結果便可能會產生一定的偏差。后續會在保證豬種一致的基礎上，增加對含有肌間脂肪的豬肉樣本研究，消除脂肪存在給研究結果帶來的偏差。

影響豬肉呈色和色澤數據采集的準確性方面的因素還包括：肉樣是否注水、放血是否充分、宰后 pH 值變化情況、貯藏溫度、氧分壓、光照、微生物等[23]，這些因素都需要進一步探討。而關于這些因素的研究，對提高肉品色澤品質具有重要的理論和實踐指導意義。

參考文獻

[1]郭培源，曲世海，陳巖，等. 豬肉新鮮度的智能檢測方法[J]. 農業機械學報，2006，37(8)：78-81.

[2]KIM C J，LEE E S. Effects of quality grade on the chemical，physical and sensory characteristics of Hanwoo (Korean native cattle) beef[J]. Meat Science，2003，63(3)：397-405.

[3]LU J，TAN J，SHATADAL P，et al. Evaluation of pork color by using computer vision[J]. Meat Science，2000，56(1)：57-60.

[4]CHEN K，SUN X，QIN C，et al. Color grading of beef fat by using computer vision and support vector machine[J]. Computers and Electronics in Agriculture，2010，70(1)： 27-32.

[5]姜沛宏，張玉華，錢乃余，等. 基于機器視覺技術的肉新鮮度分級方法研究[J]. 食品科技，2015 (3):296-300.

[6]PANIGRAHI S，BALASUBRAMANIAN S，GU H，et al. Neural-network-integrated electronic nose system for identification of spoiled beef[J]. LWT-Food Science and Technology，2006，39(2)：135-145.

[7]SCHUTTE B R，BIJU N，KRANZLER G A，et al. Color video image analysis for augmenting beef carcass grading[J]. Animal Research Report，1998：32-36.

[8]陳坤杰，尹文慶. 機器視覺技術在分析牛肉顏色變化特征中的應用[J]. 食品科學，2008，29(9)：92-96.

[9]FAUSTMAN C，CASSENS R G. The biochemical basis for discoloration in fresh meat: a review[J]. Journal of Muscle Foods，1990，1(3)：217-243.

[10]袁先群. 肉類色澤變化機理研究進展[J]. 肉類研究，2010(9)：6-12，76.

[11]劉靜，管驍. 基于SVM方法的豬肉新鮮度分類問題研究[J]. 食品與發酵工業，2011，37(4)：221-225.

[12]楊丹，趙海濱，龍哲，等. MATLAB圖像處理實例詳解[M].北京：清華大學出版社，2013：235-239.

[13]逄濱，孫嘯，劉德營，等. 牛肉眼肌圖像在線采集和實時分割系統[J]. 農業機械學報，2013，(6)：189-193.

[14]杜鋒，雷鳴，閆志農. 顏色信息識別在食品工業中的應用[J]. 食品與發酵工業，2003，29(3)：80-83.

[15]徐貴力，毛罕平，李萍萍. 彩色圖像顏色和紋理特征提取的應用算法[J]. 計算機工程，2002，28(6)：25-27.

[16]陳坤杰，孫鑫，陸秋琰. 基于計算機視覺和神經網絡的牛肉顏色自動分[J].農業機械學報，2009，40(4)：173-178.

[17]張建友，柳敏，王嘉文，等. 基于因子分析及BP神經網絡的魚糜擠壓膨化產品工藝[J]. 食品與發酵工業，2014，40(1)：124-129.

[18]劉偉，王建平，劉長虹，等.基于粒子群尋優的支持向量機番茄紅素含量預測[J]. 農業機械學報，2012，43(4)：143-147，155.

[19]張超，盧偉，丁為民，等. 基于掃頻振動的禽蛋裂紋檢測方法[J]. 食品與發酵工業，2015，41(6)：181-186.

[20]VAPNIK V N.統計學習理論的本質[M]．北京：清華大學出版社，2000．

[21]李永鵬，韓玲，張麗，等. 宰后牛肉色澤穩定性及其影響因素[J]. 肉類研究，2012 (6)：38-41.

[22]孫京新. 冷卻豬肉肉色質量分析與評定及肉色穩定性研究[D].南京：南京農業大學，2004.

[23]唐孟甜，謝麗，戴瑞彤. 脂肪氧化產物丙二醛對牛肉色澤穩定性的影響[J]. 農產品加工：學刊，2011 (8)：4-8.

Optimized the color parameters in prediction of pork freshness by computer vision

PAN Jing1，2，QIAN Jian-ping2*，LIU Shou-chun2，HAN Shuai2

1 (Shanghai Ocean University College of Information，Shanghai 201306，China)2 (National Engineering Research Center for Information Technology in Agriculture，Beijing 100097，China)

ABSTRACTIt is very important to choose the appropriate color feature parameters and the neural network model when using neural network to predict the freshness of pork tenderloin by computer vision. The method of selecting optimal color feature parameters and neural network was discussed. First，color characteristics parameters were extracted by imagine and formed 5 kinds color combinations such as RGB-HIS，RGB-L*a*b*，rgb-HIS，rgb-L*a*b*and HIS-L*a*b*. Then the BP and SVM neural network were used to construct prediction model of all kinds of combinations. The result showed that the average prediction accuracy of SVM and BP was 91.11% and 84.44% respectively. Rgb-HIS and BP and SVM model had the highest prediction accuracy of 88.89% and 95.56% respectively. Therefore，extracting r，g，b，H，I，S from pork tenderloin as the color feature vectors and combined SVM neural network to construct the freshness prediction model can significantly improve the prediction accuracy.

Key wordspork; freshness; color features; BP; SVM; prediction model

DOI:10.13995/j.cnki.11-1802/ts.201606027

基金項目：“十二五”國家科技支撐計劃資助項目(No.2013BAD19B04)

收稿日期：2015-10-26，改回日期：2015-12-07

第一作者：碩士研究生(錢建平副研究員為通訊作者，E-mail：qianjp@nercita.org.cn)。