基于Caffe的豬肉新鮮度分級的設計與實現

邱洪濤　孫裴　侯金波　辜麗川　喬焰　焦俊

摘要：為了提高豬肉新鮮度檢測的實時性，提出了基于Caffe框架與ResNet殘差神經網絡的豬肉新鮮度分級的新方法。根據理化試驗結果將豬肉的新鮮度分為7級，并在理化試驗前拍攝對應的豬肉照片作為樣本進行網絡訓練。在網絡訓練完成后分別用同源和異源樣本圖片對系統分級準確率進行驗證，結果顯示系統分級的準確率均達到95%以上，說明該系統能夠很好地對豬肉新鮮度進行分級。與傳統的理化試驗檢測新鮮度的方法相比，在保證了分級準確率較高的同時，檢測過程簡單，實時性高、無損，是一種更高效的豬肉新鮮度分級方法。

關鍵詞：Caffe 框架;新鮮度;圖像識別;殘差神經網絡

中圖分類號：TS251.5+1

文獻標識碼：A

文章編號：1000-4440（2019）02-0461-08

豬肉的新鮮度對肉的安全、風味是至關重要的。常用的肉品新鮮度檢驗需要大量的專家技術人員，檢測工序復雜且不具備實時性。為此，研究者們也在嘗試改進傳統的檢測方法，使其操作簡單省時，節約檢測成本[1-2]。

近年來，計算機技術在圖像識別方面取得了較大成果，在食品新鮮度分級領域也有了較好的應用。2011年王彥闖等[3]運用改進的BP神經網絡算法建立豬肉新鮮度智能檢測的數學模型，通過檢測試驗構建樣本數據集，并對識別模型進行訓練測試，結果表明預測準確率大于90%，但試驗中主要檢測豬肉揮發的氨氣濃度等指標，實時性不高。2012年，肖珂等[4]以計算機視覺為基礎，通過對采集到的豬肉圖像使用聚類算法檢驗圖像特征與新鮮度的相關性，并計算出分類閾值用于新鮮度檢測，但該方法在分類閾值附近的肉品新鮮度分級不準確。2012年馬世榜等[5]利用可見紅外光譜檢測系統結合支持向量機分類方法，對牛肉新鮮度進行判別分類，所建支持向量機分類模型對訓練集和測試集的回判識別率和測試識別率分別為96.30%和100.00%，驗證集的識別率為88.89%，但采集過程中對操作員專業性要求高。2018年3月，蘭韜等[6]將深度學習的圖像識別方法應用于牛肉大理石紋的特征提取和分類上，將牛肉分為5個等級，評級正確率分別達到84.2%（1級）、89.4%（2級）、81.9%（3級）、84.1%（4級）、82.6%（5級），該試驗是運用深度學習的圖像識別方法對牛肉分級，由于豬肉與牛肉并不完全相同但有相似之處，對本研究有寶貴的借鑒之處。

本研究將深度學習的圖像識別方法運用在豬肉新鮮度分級上，設計了基于Caffe框架的豬肉新鮮度分級系統，通過修改近年來在圖像分類算法上優秀的ResNet殘差神經網絡使網絡更適合本次分級試驗，使得網絡的訓練時間短，準確率高，不用人工篩選訓練部位，網絡能對豬肉的新鮮度圖像進行分級，使得人們可以方便、準確地對豬肉新鮮度進行分級，便于人們在日常生活中判斷豬肉的新鮮度。

1 材料與方法

1.1 豬肉的生物學分類試驗

本次試驗作為樣本的豬肉來自肥西縣的土雜豬，采樣過程中隨機選取飼養環境和飼料均相同的同一批次、同一時間、現宰殺的土雜豬的后腿部位肉46份，每過一定時間從幾份樣本中取出一定數量的豬肉作理化試驗，測量出不同存放天數下豬肉微生物總量、大腸菌數量和pH值，通過測得的這些微生物總量和大腸菌數量以及pH值，對比國家標準，從生物學角度對這一批豬肉的新鮮度做一個分級7]。同時，在微生物計數與pH測試之前，拍攝每次做試驗前的豬肉樣本圖片，作為深度學習的訓練樣本圖片[8]。

待微生物計數試驗完成后，根據所測得結果，放置了24 h的豬肉，pH值5.6～6.2，稀釋度為1/10000條件下微生物菌群總量2.46～16.20 CFU/ml、大腸菌數量3.48～5.97 CFU/ml判斷為新鮮肉;放置了48 h的豬肉，pH值6.1～6.3，稀釋度為1/10000條件下微生物菌群總量16.20～28.40 CFU/ml大腸菌數量5.97～9.20 CFU/ml判斷為次鮮肉一級;放置了72 h的豬肉，稀釋度為1/10000條件下微生物菌群總量28.40～142.00CFU/ml、大腸菌數量9.20～28.00 CFU/ml，且pH值6.2～6.5判斷為次鮮肉二級;放置了96 h的豬肉，稀釋度為1/10000條件下微生物菌群總量142.00～370.00CFU/ml、大腸菌數量28.00～93.00 CFU/ml，且pH值6.4～6.7判斷為次鮮肉三級;放置了120 h的豬肉，pH值6.7～6.8，稀釋度為1/10000條件下微生物總量370.00～1040.00 CFU/ml、大腸菌數量93.00～240.00CFU/ ml判斷為腐敗肉一級;放置了144 h的豬肉，稀釋度為1/10000條件下微生物菌群總量1040.00～1420.00CFU/ml、大腸菌數量240.00～290.00 CFU/ml，且pH值6.8～7.0判斷為腐敗肉二：級;放置了168 h的豬肉，稀釋度為1/10000條件下微生物菌群總量1420.00～3070.00CFU/ml、大腸菌數量大于1100 CFU/ml，且pH值大于7.0判斷為腐敗肉三級。

依據國家肉品分類標準把豬肉樣本對應拍得的圖片（圖1）分為新鮮肉、次鮮肉一級、次鮮肉二級、次鮮肉三級，腐敗肉一級、腐敗肉二級、腐敗肉三級共7類，為后續劃分訓練集和測試集做準備。

1.2 樣本數據預處理

數據擴充：為保證數據相對平衡并增加數據量，采用多種圖像數據擴充方法，包括順時針旋轉、逆時針旋轉、水平鏡像翻轉垂直鏡像翻轉、隨機剪裁。

同時為了確保圖片清晰，我們選用高清攝像機，所拍照片大小為1920x1080，在試驗過程中我們發現雖然圖片較大，清晰，這對于人眼識別豬肉的顏色、紋理非常有利，但是過大的圖片尺寸對于計算機訓練網絡的運算量也較大，導致訓練速度會變慢，從而效率低下。因此我們對采集的樣本圖片進行等比例縮小從而不破壞圖片本身的尺寸比例，然后再利用傳統圖像算法識別出圖片中肉的位置，裁出所需要的部分，使圖片縮小。經過處理后的樣本圖片大小為400x300，內存為13kb左右，大大提高了訓練速率[9，12]。

2 結果與分析

2.1 Caffe框架與深度神經網絡

Caffe是為了應用于計算機視覺任務而開發的，是一種開源軟件框架，對比大多數深度學習框架，開源與運行速度快是明顯的優勢，使得本系統搭建系統方便，訓練時間較短[13]。

深度殘差網絡：在網絡中，網絡的深度增加隨之而來的是梯度消失、梯度彌散等問題，而淺層網絡的識別效果不是很好，因此我們需要解決在加深網絡的情況下又解決梯度的問題。深層網絡后面的網絡層如果是恒等映射，那么模型就退化為一個淺層網絡，但是直接讓一些層去擬合一個潛在的恒等映射函數H（x）=x比較困難，如果把網絡設計為H（x）=F（x）+x，就能轉換為學習一個殘差函數F（x）=H（x）-x，在一個淺層網絡基礎上疊加y=x的層，即恒等映射。

ResNet網絡結構如圖2、圖3所示：

將2個3x3的卷積層替換為1x1+3x3+1x1。新結構中的中間3x3的卷積層首先在一個降維1x1卷積層下減少了計算，然后在另一個1x1的卷積層下做還原，既保持了精度又減少了計算量，同時提供豐富的特征結合[14]。

經典的ResNet網絡有151層，但是，實際運用上并不是層數越多效果就越好，過多的層數不僅會消耗大量的時間，準確率并不一定高。為了使網絡能提取豐富的特征，對4個殘差塊進行反卷積得到該殘差塊卷積之前的特征，然后利用加權的方式把反卷積得到的特征融合，使得訓練中能獲取更多的特征，分級更加準確，最終網絡總層數共30層，共有23個卷積層，4個反卷積層，2個池化層，1個全鏈接層。

原始圖片為RBG圖像，是3個通道的原始數據，大小為224x224x3，在conv1中，填充是3，通道為3的卷積核，步長是2，64個卷積核，在卷積的時候，得到的特征圖大小為（224-7+6）/2+1≈112，獲得的最終特征圖是112x112，并且由于64個卷積核獲得了64個112x112特征圖，之后通過ReLU激活函數，數據源大小不變，再經過步長為2的池化層，卷積核大小為3x3，得到輸出特征大小為56x56x6415]。

在后面的卷積層中，圖片在每層的計算過程都與conv1一樣，不同之處在于之后的層數卷積核等參數設置不同，如在殘差塊中，res2a共有2個卷積層，卷積層的卷積核64個，res2b有3個卷積層，每個卷積層的卷積核都是128個，res3a有2個卷積層，每層卷積核128個，res3b有3個卷積層，卷積層的卷積核都是256個，rea4a有2個卷積層，每層卷積核256個，res4b有3個卷積層，每個卷積層的卷積核都是512個。1x1的卷積不改變圖片大小，經過3x3的卷積圖片大小縮小為之前1/2，則經過一個殘差塊圖片縮小為之前的1/4，經過3個殘差塊后變成原來的1/64，最后輸出變成1x1x7的預測結果。通過網絡學習后，得到的特征是具有辨別性的特征，試驗要區分豬肉的新鮮度，主要在于顏色特征。

圖4為原始ResNet網絡，圖5為修改過的Res-Net網絡。為了將丟失的特征還原，我們把res3a、res4a、res5a、res5b 4個殘差塊的輸出特征，增加了1個反卷積，通過反卷積得到卷積之前的特征，然后利用加權的方式把各特征融合，最后把融合的特征送到分類器進行分類。

2.2 基于Caffe的豬肉新鮮度分級試驗

2.2.1 訓練集與測試集使用Python語言編程給樣本圖片生成標簽，生成標簽程序打亂所有文件的次序，再根據訓練樣本：測試樣本：驗證樣本=95：4：1的比例生成本次分級試驗用的圖片標簽，選擇7個級別豬肉新鮮度樣本圖片再加上一個標簽為error的空白對照樣本，總共8個級別，每個級別約為2000張圖片。

生成LMDB數據庫時用到Caffe框架中convert_imageset.exe文件，用于將訓練數據和驗證數據轉換成Caffe可以處理的LMDB或levelDB的數據庫。生成數據庫時用convert_imageset文件設置參數，確定彩色圖片或灰度圖片，把標簽文件和圖片結合，利用convert_imageset文件生成LMDB數據庫。

2.2.2 網絡訓練網絡開始訓練后，可以通過觀察學習率、loss（損失函數）參數等指標去了解當前網絡訓練的效果。為了防止過擬合，給誤差函數添加1個權重衰減的懲罰項，它的值越大，則模型損失函數的值也就越大。

訓練過程中記錄迭代次數、學習率、loss參數，在網絡迭代到1000次的時候，訓練的loss達到0.005735，所以在迭代1000次時停止訓練[16]。畫出loss圖像（圖6）：

圖6可看出迭代次數100次之前loss值都在上下來回震蕩，但是總體是下降的，而且下降特別快，這要歸咎于試驗樣本在訓練之前先進行裁剪，然后利用傳統算法識別豬肉位置再次進行裁剪。隨后迭代100～400次，loss雖然還來回震蕩但是仍然呈下降趨勢，只是下降比較緩慢，在迭代400次以后loss基本趨于0.001～0.009。從圖6也可以看出試驗中隨機梯度下降中的batch size（批尺寸）設置比較合理，學習率的選擇也比較合理[17]。

在觀察loss曲線時會發現在訓練初期上下波動較大，特別不穩定，隨機梯度下降時候設定的batchsize不同會導致loss曲線上下波動。此次最初考慮到硬件問題設置訓練batchsize為16，后期試驗把batchsize改為32。因為batchsize設置比較小時，會導致訓練處的模型學習不穩定，如果把batchsize設定稍微大一些，訓練的loss值相對穩定。

2.2.3 訓練效果準確率的驗證是從樣本文件中隨機抽取1%比例的圖片用來驗證，其中驗證樣本與訓練樣本不重復。在驗證準確率的試驗中，我們采集了同源數據和其他數據進行驗證，分別進行了4次試驗：用原始的ResNet網絡和修改后的ResNet網絡分別訓練得到訓練模型，再分別用同源和異源圖片去測試訓練模型。訓練數據總計19951張圖片，同源驗證數據420張圖片，異源驗證數據362張圖片。

測試識別結果如下：基于原始網絡的同源數據驗證識別率96.43%，基于改進網絡的同源數據驗證識別率96.90%，基于原始網絡的異源數據驗證識別率93.90%，基于改進網絡的異源數據驗證識別率95.30%。試驗的識別率驗證程序如圖7～圖10。

本次試驗對網絡訓練迭代1000次生成的模型，文件進行測試，異源樣本測試圖片362張，分別用沒有修改的原始ResNet網絡和增加了反卷積的修改ResNet網絡測試，對比可以發現，修改的網絡準確率95.30%，比原始網絡的93.90%高了1.40個百分點。同源測試圖片420張，修改網絡測試準確率96.90%，比原始網絡準確率96.43%高了0.47個百分點。根據測試結果我們可以發現修改后的網絡在同源測試圖片測試精度非常高，而且在異源測試圖片的準確率也達到了95%以上，說明修改后訓練的網絡結構設計符合試驗的要求，試驗參數設置合理。

表1是異源樣本數據準確率驗證的結果，每一級的測試圖片在52張左右，共362張。在測試時記，錄下每一級測試失敗的圖片數量，并計算每級的準確率。表2是同源樣本數據的準確率驗證，每級測試圖片都是60張，共420張。

2.2.4 可視化分析

2.2.4 .1識別成功的圖片可視化分析用上述修改的網絡模型訓練樣本圖片迭代到100次，抽取模型中間3個卷積層作為可視化特征，查看在訓練網絡中每一層學習的特征。圖11是成功分級的一張樣本圖片。圖12～圖14是該圖片在網絡中部分卷積層的可視化結果：

通過可視化就可以看到提取到的特征忽視了背景，提取到了關鍵的信息。Conv1和res2a_branch2a學習到的特征基本上是顏色、邊緣等低層特征，而靠后的卷積層如res4b_branch2b開始稍微變得復雜，學習到的是紋理特征，比如上面的一些網格紋理，每一層學習到的內容不一樣。層與層之間進行比較，低層次卷積層在訓練過程中學習的特征較為簡單，比較容易收斂，由于卷積核個數較少，所以可視化圖片較大。高層次的卷積層學習到的特征較多，卷積核較多，可視化圖片較小[18]。

2.2.4 .2識別失敗的圖片可視化分析在測試結果中雖然準確率較高，但還是有許多分級失敗的圖片，找到這些圖片加以分析，圖15是兩張分級失敗的圖片。

對比圖11與圖15，可以發現在清晰度上兩張圖有顯著差距，分級失敗的圖片明顯模糊不清，再利用可視化觀察這些圖片在網絡訓練時學習到的特模糊圖像是由于圖像拍攝過程中相機的移動等原因造成的原圖片模糊，由于圖片本身是模糊的，在網絡中無法學習到好的特征來分級。由可視化過程可以看出這些分級失敗的圖片在卷積層沒有提取到明顯的特征，不能表征原圖的任何特征導致無法根據學習特征進行分類，最終導致不能成功分出是哪一個等級的肉品[19]。

3 討論

本研究提出了基于深度學習的豬肉新鮮度分級試驗，通過在網絡中增加對殘差塊的反卷積，獲取更多的學習特征。通過對比發現改進的網絡相較于原始網絡識別率有所提升且整個網絡對同源樣本和異源樣本都有較高的準確率，可以用來對豬肉新鮮度進行分級。在本試驗中也對分級失敗的圖片進行分析，為今后的改進提供了思路。同時，利用深度學習來識別豬肉新鮮度，比依靠肉眼識別更加準確、可靠，速度更快，節省了人力物力，具有較高的應用價值。

參考文獻：

[1]TOMOSHIGE S，0OST E，SHIMIZU A，et al.A conditional statistical shape model with integrated error estimation of the conditions：application to liver segmentation in non-contrast CT images[J].Medical Image Analysis，2014，18（1）：130-143.

[2]RAJWADE A，RANGARAJAN A，BANERJEE A.Image denoising using the higher order singular value decomposition[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2012，35（4）：849-862.

[3]王彥闖，劉敬彪，蔡強，等.基于BP神經網絡的豬肉新鮮度檢測方法[J].計算機應用與軟件，2011，28（9）：82-84.

[4]肖珂，段曉霞，高冠東.基于圖像特征的豬肉新鮮度無損檢測方法[J].河北農業大學學報，2012，35（4）：111-113.

[5]馬世榜，徐楊，彭彥昆，等.基于光譜技術的支持向量機判別牛肉新鮮度[J].食品安全質量檢測學報，2012，3（6）：603-607.

[6]蘭韜，初僑，劉文，等.基于深度學習的牛肉大理石紋智能分級研究[J].食品安全質量檢測學報，2018，9（5）：1059-1064.

[7]JIAOJ，MA H，QIAO Y，et al.Design of farm environmental monitoring system based on the internet of things[J].Advance Journal of Food Science & Technology，2014，6（3）：368-373.

[8]高雅，焦俊，孟珠李，等.基于HE和MSR的玉米病蟲害圖像預處理[J].合肥學院學報（綜合版），2016，33（4）：47-53.

[9]孫永海，趙錫維，鮮于建川.基于計算機視覺的冷卻牛肉新鮮度評價方法[J].農業機械學報，2004，35（1）：104-107.

[10]郭培源.曲世海.豬肉新鮮度的智能檢測方法[J].農業機械學報，2006，37（8）：78-81.

[11]龔丁喜，曹長榮.基于卷積神經網絡的植物葉片分類[J].計算機與現代化，2014（4）：12-15

[12]潘婧，錢建平，劉壽春，等.計算機視覺用于豬肉新鮮度檢測的顏色特征優化選取[J].食品與發酵工業，2016，42（6）：153-158.

[13]魏正.基于Caffe平臺深度學習的人臉識別研究與實現[D].西安：西安電子科技大學，2015.

[14]歐先鋒，向燦群，郭龍源，等.基于Caffe深度學習框架的車牌數字字符識別算法研究[J].四川大學學報（自然科學版），2017，54（5）：971-977.

[15]楊曉旭，高巍，顧題.基于卷積神經網絡Caffe框架的圖像分類[J].電子技術與軟件工程，2017（24）：73-73.

[16]焦俊，張水明，杜玉林，等.物聯網技術在農田環境監測中的應用[J].中國農學通報，2014，30（20）：290-295.

[17]倪力，張政云，焦俊，等.基于可穿戴設備的山羊行為分類[J].山東農業大學學報（自然科學版），2018，49（2）：235-239.

[18]秦豐，劉東霞，孫炳達，等.基于深度學習和支持向量機的4種苜蓿葉部病害圖像識別[J].中國農業大學學報，2017，22（7）：123-133.

[19]朱啟兵，肖盼，黃敏，等.基于特征融合的豬肉新鮮度高光譜圖像檢測[J].食品與生物技術學報，2015，34（3）：246-252.