基于深度學習的牛肉大理石花紋等級手機評價系統

趙鑫龍，彭彥昆，李永玉，王亞麗，趙 苗

·農產品加工工程·

基于深度學習的牛肉大理石花紋等級手機評價系統

趙鑫龍，彭彥昆※，李永玉，王亞麗，趙 苗

（中國農業大學工學院，國家農產品加工技術裝備研發分中心，北京 100083）

大理石花紋是影響牛肉品質等級的重要指標，目前中國牛肉加工企業對大理石花紋的評價是由專業分級人員參照標準圖譜完成，具有主觀性強、耗費人工的缺點。針對上述問題，該研究提出了基于深度學習的智能分級方法，設計一種具有4層卷積的神經網絡結構，實現了大理石花紋特征的自動提取，并基于智能手機開發了牛肉大理石花紋檢測軟件。該研究共采集樣本圖像1 800張，按3:1:1分為校正集、驗證集和測試集。為進一步驗證模型，將該方法與傳統機器視覺方法進行了比較，提取了牛肉大理石花紋的大、中、小脂肪顆粒個數，脂肪總面積和脂肪分布均勻度5個參數，并建立了多元線性回歸模型。試驗結果表明，該研究所用方法大理石花紋檢測準確率更高，驗證集檢測正確率為97.67%。最后編寫了手機軟件，將模型移植入Android手機，在手機平臺上調用模型進行大理石花紋檢測。試驗表明，該軟件對測試集樣本的檢測準確率為95.56%，單張檢測時間低于0.5 s。該研究結合卷積神經網絡分類能力強和智能手機運行速度快等優點，開發了牛肉大理石花紋的手機評價系統，具有較好的實用性和便攜性，可提高牛肉大理石花紋檢測效率，有助于提高農畜產品檢測的智能化水平。

模型；牛肉；大理石花紋；卷積神經網絡；手機

0 引 言

牛肉是國際肉類市場的重要組成部分，含有豐富的蛋白質、氨基酸等，營養價值高且味道鮮美。牛肉的品質等級主要由大理石花紋和生理成熟度兩個指標來評分[1]。大理石花紋是反映肌內脂肪含量和分布狀態的重要指標。目前，中國牛肉屠宰加工企業對牛肉大理石花紋的評分主要是由專業的分級人員參照標準圖譜來完成。這種依賴感官視覺的方法易受主觀因素影響，且費時費力不利于企業的自動化生產。近20 a來，國內外有很多學者利用機器視覺技術對該問題進行了探索與研究[2-7]。周彤等[8]通過提取大理石花紋的脂肪顆粒面積等特征參數建立主成分回歸模型，預測相關系數為0.88，校正集分級準確率達97%，驗證集分布及準確率為91.2%。張彥娥等[9]基于多尺度區間插值小波法，對牛眼肌切面圖像進行處理提高了牛肉等級判定的準確度。Velasquez等[10]利用高光譜技術采集牛肉圖像，對528 nm波長下的圖像分割樣品和背景，基于決策樹方法對440 nm下的樣本圖像進行處理得到的分類誤差為0.08%。但上述研究中所用方法依賴復雜昂貴的檢測設備，開發成本較高。智能手機作為一個獨立的操作平臺，配置了多種傳感器，例如近紅外傳感器，陀螺儀和照相機。用戶可以通過安裝第三方程序來實現特定功能，已經有學者將智能手機與圖像處理技術應用于農產品檢測等領域[11-14]，然而，尚未有關于牛肉大理石花紋檢測的報道。

牛肉大理石花紋的檢測環境易受外界光照等影響，周彤等[8]在試驗時使用白光環形光源和封閉的遮光外殼，獲得了穩定的圖像采集環境。而手機拍攝的干擾因素較多，因此，基于智能手機的圖像檢測系統需要一種更加可靠的算法來適應復雜的檢測環境。隨著人工智能技術的發展與計算機硬件的完善，深度學習改變了傳統算法的思路[15-17]。卷積神經網絡作為一種經典的深度學習算法在圖像處理領域取得了一定的突破[18-21]，并被應用在檢測小麥[22-24]、花生[25-26]等農業相關的領域[27-29]。張博等[30]將空間金字塔池化與改進的YOLOv3深度卷積神經網絡相結合，提出了一種基于空間金字塔池化的深度卷積神經網絡農作物害蟲種類識別算法，對20類害蟲的識別精度均值達88.07%。鄧寒冰等[31]提出基于RGB-D的肉牛圖像全卷積網絡，將統計像素準確率平均提高 2.5%。Mu?oz等[32]基于卷積神經網絡提出了一種干火腿肌內脂肪分割方法，能夠以0.99的像素精度對肌內脂肪進行提取，分割脂肪的召回率和精確度分別接近0.82和0.84。

為開發牛肉大理石花紋的深度學習型手機評價系統，本研究基于深度學習算法設計了卷積神經網絡結構，采集并制作了牛肉樣本數據集，通過監督學習的方式訓練網絡模型，并基于Android平臺編寫手機軟件。結合智能手機和智能方法對牛肉大理石花紋分級，用機器視覺代替感官評價，不僅能提高肉牛企業工作效率，降低成本，更能規范生產水平，有利于牛肉品質合理分級。

1 材料與方法

1.1 樣品準備

該研究所使用樣本采集于北京御香苑畜牧有限公司分割車間，選取魯西黃牛第11肋至第13肋間背最長肌為檢測對象，樣本厚度為3 cm，經真空包裝后放入4℃冷藏箱運回實驗室冷藏。此次共采集樣本300塊，由專業評分人員對照大理石花紋等級圖譜標注其真實等級。依據農業部2010年修訂的行業標準NY/T676-2010[1]，等級5花紋最豐富，等級1幾乎沒有花紋。

1.2 圖像采集與預處理

圖像采集所用設備為Android手機，型號為榮耀V10。手機拍攝時環境較為開放，沒有固定光源和遮光外殼，因此相同的樣品可能會由于拍攝地點不同和光源不同而產生細微差異。為減少此類干擾的影響，分別在9:00和15:00于3處不同的地點進行了圖像采集，以保證數據樣本同時包括室內采集與室外采集的情況。

本次試驗采集的圖像大小為3 456像素×4 608像素，色彩為、、三通道。所采集原圖尺寸較大，若使用原圖訓練模型耗時較長，為降低卷積神經網絡運算量與運算時間，通常使用減小尺寸的方式壓縮圖像。大理石花紋的豐富程度決定了其等級，為保證數據集質量，在原圖中選出反映真實等級的部位，將該區域裁剪保存為待測樣本，并壓縮為224像素×224像素備用，不同等級的牛肉樣本如圖1所示。

圖1 牛肉樣本圖像

最后共得到待測樣本圖像1 800張，將采集得到的圖像按照3:1:1隨機分為校正集、驗證集和測試集。其中校正集1 080張，驗證集360張，測試集360張，其分布情況如表1所示。校正集和驗證集分別用于訓練和模型驗證，測試集作為手機檢測樣本。

表1 樣品分布情況

深度學習的模型訓練依賴大量的標簽數據，在少量數據上通常表現不好。本研究采用旋轉、鏡像、調節亮度對比度、增加噪聲等方法擴增樣本數據量，擴增前后的變化如圖2所示。最后得到校正集圖像5 400張，驗證集圖像1 800張。

圖2 擴增前后的牛肉圖像

1.3 網絡結構設計

卷積神經網絡是一種包含了卷積操作的深層前饋神經網絡，屬于深度學習的經典算法，在圖像分類、模式識別等領域得到廣泛應用，對于平移、旋轉、縮放等變化具有較好的魯棒性。相較于傳統的多層神經網絡，卷積神經網絡的隱藏層層數更深一些，隱藏層主要是由卷積層、池化層與激活函數組成以實現特征提取。雖然層數增加導致網絡更為復雜，但是卷積神經網絡通過局部感受野、權重共享和下采樣3種方式大大降低了模型的復雜程度。卷積神經網絡的每個神經元無需感知圖像中的每一個像素，由滑動窗口感知局部區域內的信息，然后在更深的層面中將局部的信息進行合并從而得到圖像的完整信息。每個滑動窗口內的神經單元只響應感受野內的區域，這樣的局部連接保證了學習到的卷積核權重對輸入的局部有最強的響應。權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。本研究設計的卷積神經網絡結構共12層，具體結構如圖3所示，包括了輸入層、卷積層、池化層、全連接層和輸出層。

圖3 卷積神經網絡結構

卷積神經網絡采用原始圖像作為輸入，可以有效從大量樣本中學習到相應特征，避免了復雜的特征提取過程。輸入圖像為三通道的彩色圖像，包含了牛肉圖像豐富的特征信息，輸入層的大小為224像素×224像素。

卷積層是卷積神經網絡的核心部分，卷積層內有若干個卷積核對輸入信息進行遍歷，每一次遍歷都會進行線性加權求和運算，相當于提取了局部感受野內的特征信息，直至遍歷結束輸出一張新的特征圖（Feature map）。卷積的過程實現了特征的自動提取，一般卷積神經網絡包含有多個卷積層，輸入信息在這些卷積層中依次傳遞，輸出更高維度的特征信息。卷積核也叫過濾器，是一種帶有權重和偏置的“滑動窗口”，通常使用3×3或5×5的大小，該研究在網絡的前半部分使用5×5卷積核，后半部分使用3×3卷積核。圖像經過一次卷積運算，其輸出尺寸會發生變化。假設輸入圖像的尺寸表示為1、1、1，輸出圖像的尺寸表示為2、2、2，輸出圖像尺寸的計算公式如下：

2=（3）

式中為卷積核的大小，為卷積核的個數，為零填充的大小，為平移的步長。

為增加了非線性因素，解決線性不可分的問題，在卷積層后增加激活函數ReLU。卷積層進行特征提取后，將新的特征圖傳至池化層進行特征再次篩選和過濾。

卷積神經網絡多用于解決分類問題，在網絡結構的尾部需要將二維的特征圖轉換為一個列向量，因此常在卷積神經網絡的最后增加至少一個全連接層（Fully connected layer）。全連接層中的每個神經元與其前一層的所有神經元連接，對卷積后的局部感受野內的特征進行整合，因此全連接層也是權重最多的部分。通常會在全連接層增加丟棄層和正則化函數，能有效地維持模型的穩定性，降低過擬合現象。本研究對象分為5個等級，因此輸出層為一個包含了5個元素的列向量。各層網絡的具體參數如表2所示。

表2 卷積神經網絡中各層參數

2 結果與分析

本研究基于計算機完成模型訓練，操作系統為Windows 10，CPU為Intel Core i9-9900，GPU為RTX 2080ti，顯存11G。編程語言為Python，并安裝了Pycharm和深度學習框架Tensorflow。本次的試驗包括模型訓練、模型驗證和手機驗證三部分。在分析各等級樣本的分類結果時，使用準確率（Accuracy）指標進行評價，其定義如下：

2.1 模型訓練

卷積神經網絡的訓練過程為兩個階段，分別是數據的前向傳遞與誤差的反向傳播，如圖4所示。在數據的前向傳遞過程中數據經輸入層傳遞至隱藏層提取特征信息，反向傳播中通過梯度下降法尋找誤差的下降梯度，實現權重參數的更新。模型的訓練依賴大量帶標簽的樣本數據，通過計算預測值與標簽值的偏差反映模型擬合的效果，并更新模型參數。

圖4 訓練流程

訓練的批次量是模型每批次學習的樣本數量，批次的引入可以有效防止內存溢出，但是批次量會影響模型的優化程度和速度。在訓練樣本較多的情況下，一次輸入全部數據會引起內存爆炸。因此，選擇適當的訓練批次量可以盡可能提高內存利用率，也能使模型權重參數優化方向更為準確。學習率是模型損失函數向著梯度下降方向移動時的步長系數，適當地提高學習率可加快擬合速度，而過大的學習率則有可能使模型參數越過最優值，導致訓練結果不收斂。一次樣本迭代使全部樣本完成一次訓練，迭代的過程就是模型優化求最優權重值的過程。迭代次數過小會使模型訓練強度不夠，不能達到最優值，一般會根據損失函數的變化情況合理地設置迭代次數。經過多次組合試驗，發現設定學習率為0.001時模型收斂速度最快，準確率最高，同時設置迭代次數為100次，批次為100。訓練過程的準確率變化如圖5所示。由圖中可以看出在第9次迭代后首次出現了正確率100%，然后出現過擬合階段。在第59次迭代之后準確率一直維持在100%，模型的損失值也在第59次迭代之后接近于0。

圖5 準確率變化趨勢

2.2 模型驗證

為驗證模型的效果，將驗證集的1 800張圖像輸入訓練好的模型進行驗證，校正集和驗證集的驗證結果如表3所示。校正集分級準確率為100%，說明該模型在充分訓練后具備了提取大理石花紋特征的能力。1 800張驗證集牛肉圖像等級判斷正確1 758張，判錯42張，總體的分級準確率為97.67%。其中等級1全都判斷正確，等級1的牛肉含有極少的大理石花紋，其圖像上的脂肪顆粒較少，相應的準確率也高。等級2判錯8張，都被判為等級3。等級3判錯11張，其中有3張被誤判為等級2，有8張被誤判為等級4。等級4判錯14張，其中有5張被誤判為等級3，有9張被判為等級5；等級5判錯9張，都被判為等級4。判錯等級的樣本沒有出現連跨兩個等級的情況。挑出誤判的圖像比對觀察，誤判圖像的大理石花紋豐富程度與誤判等級較為相似，大理石花紋的得分情況處于標簽等級與誤判等級之間。為減少此類誤判的發生，在制作數據集時應盡量從校正集中去除此類樣本，保證特征不重疊。在GPU圖形處理器的支持下，檢測時間也大大縮短，平均每張圖像的檢測時間為0.09 s。

表3 牛肉大理石花紋分級結果

為進一步探究本方法的檢測效果，參考逄濱[5]、周彤等[8]提取大理石花紋特征的方法，將本文方法與手動提取特征的方法進行比較。本研究所使用的樣本都取自有效眼肌區域，且尺寸都是224像素×224像素，因此提取了牛肉大理石花紋的大、中、小脂肪顆粒個數，脂肪總面積和脂肪分布均勻度5個特征參數對大理石花紋的得分情況進行綜合評價，得分計算公式如下：

式中15分別代表了5個特征參數，1～5分別代表了其對應系數，為偏置，則是大理石花紋的得分情況，可依據得分劃分其等級。對提取到的5個特征進行多元線性回歸建模，校正集相關系數為0.94。使用該模型對驗證集樣本進行驗證，總體分級準確率為92.5%，低于本研究所提出方法。

由以上分析可得，本研究設計的網絡具有較優秀的分類能力，可以解決大理石花紋的分級問題，驗證集的分級效果較好，誤差在可接受范圍內。相較于傳統的機器視覺方法，該方法準確率較高，模型穩定。在下一步的研究中可嘗試通過適當增加網絡層數或提高數據集質量來提高模型準確率。

2.3 手機評價系統的驗證

上述方法的訓練與驗證過程都是在計算機上運行，為了實現在智能手機上檢測大理石花紋，本研究進一步地基于Android平臺上開發了大理石花紋的手機評價系統，將上述模型轉換為pb文件導入安卓手機，以便于檢測時調用。使用智能手機型號為榮耀V10，內置Android9.0操作系統，運行內存6GB。并在Windows10系統下配置Java JDK 8，Android studio軟件和OpenCV庫。

2.3.1 系統軟件

該軟件包括前端展示界面和后臺處理兩部分，其中前端通過編寫XML文件實現頁面布局，為頁面添加按鍵以及展示窗口，使用到了Button組件，ImageView組件和TextView組件，前端展示效果如圖6a所示。后臺處理通過編寫Java語言實現調用相機與相冊，為便于對數據的管理，本軟件在拍攝圖像時，自動獲取當前時間作為文件名，并保存在本地目錄下的文件夾中。將選取圖像壓縮與裁剪為224像素×224像素，并利用OpenCV工具的高斯濾波對樣本進行去噪，完成圖像檢測，具體流程如圖6b所示。

圖6 軟件結果展示與流程圖

2.3.2 軟件驗證

為驗證手機軟件的操作性和可行性，對未使用過的測試集360張樣本進行測試。經測試，該軟件單張圖像的檢測時間低于0.5 s，對測試集的分級準確率為95.56%，其中判斷正確344張，誤判16張，結果如表4所示。其中出現誤判的樣本與驗證集情況類似，檢測樣本的大理石花紋豐富程度介于標簽等級與誤判等級之間。表明該方法可以實現對牛肉大理石花紋的快速檢測。與傳統檢測設備相比，將智能手機作為手持采集端具有體積小，效率高等優點。智能手機的普及為本方法提供了廣闊的發展空間，與ARM便攜設備相比，該方法以手機作為檢測載體，無需再額外購買輔助設備，減少了硬件開發成本，同時也提高了檢測手段的智能化水平。

表4 手機驗證結果

3 結 論

1）本研究提出了一種基于卷積神經網絡的牛肉大理石花紋檢測方法，從深度學習的角度探討了將智能算法應用在牛肉品質檢測的可行性。設計了多層卷積神經網絡，包括輸入層、卷積層、池化層、全連接層和輸出層，牛肉大理石花紋的特征主要由卷積層和池化層進行提取，在輸出層輸出測試樣本等級。在訓練數據集的過程中，循環59次后模型保持穩定，未出現過擬合現象，使用該模型測試驗證集，準確率為97.67%。并進一步地對比了人工提取特征的方法，提取了大理石花紋的大、中、小脂肪顆粒個數，脂肪總面積和脂肪分布均勻度5個特征參數進行建模，結果顯示卷積神經網絡的分類效果優于傳統方法，總體準確率為92.5%。在下一步的研究中可以繼續提高數據集的質量和適當改變網絡層數和內部參數來提高精度。

2）將智能方法與智能手機結合，基于Android平臺開發了檢測軟件，可利用手機自帶相機采集牛肉圖像，也可以從相冊中選取圖像。試驗結果表明，測試集的檢測準確率與為95.56%，證明了跨平臺調用模型的可行性。而且該方法不需要額外的硬件支撐，具有開發成本低，檢測速度快的優點。

[1] 牛肉等級規格：NY/T 676-2010[S]. 北京：中國農業出版社，2010.

[2] 陳坤杰. 牛肉大理石花紋計盒維數和信息維的測定[J]. 農業工程學報，2007，23(7)：145-149.

Chen Kunjie. Determination of the box-counting fractal dimension and information fractal dimension of beef marbling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(7): 145-149. (in Chinese with English abstract)

[3] 陳坤杰，姬長英. 基于圖像運算的牛肉大理石花紋分割方法[J]. 農業機械學報，2007，38(5)：195-196.

Chen Kunjie, Ji Changying. Beef marbling segmentation method based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(5): 195-196. (in Chinese with English abstract)

[4] 郭輝，彭彥昆，江發潮，等. 手持式牛肉大理石花紋檢測系統[J]. 農業機械學報，2012，43(S1)：207-210.

Guo Hui, Peng Yankun, Jiang Fachao, et al. Development of conveyable beef-marbling detection system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(1): 207-210. (in Chinese with English abstract)

[5] 逄濱. 牛肉質量在線分級技術的研究與系統開發[D]. 南京：南京農業大學，2014.

Pang Bin. Beef Quality Online Grading Technology and System Development[D]. Nanjing: Nanjing Agricultural University, 2014. (in Chinese with English abstract)

[6] 仇金宏，沈明霞，彭增起，等. 基于改進型FCM算法的牛肉大理石花紋提取方法[J]. 農業機械學報，2010，41(8)：184-188.

Qiu Jinhong, Shen Mingxia, Peng Zengqi, et al. Beef marbling extraction based on modified fuzzy C-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(8): 184-188. (in Chinese with English abstract)

[7] 賈淵，姬長英，湯曉艷. 基于計算機視覺的牛肉分級技術綜述[J]. 農業工程學報，2004，20(5)：47-50.

Jia Yuan, Ji Changying, Tang Xiaoyan. Review of beef grading with computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 47-50. (in Chinese with English abstract)

[8] 周彤，彭彥昆. 牛肉大理石花紋圖像特征信息提取及自動分級方法[J]. 農業工程學報，2013，29(15)：286-293.

Zhou Tong, Peng Yankun. Method of information extraction of marbling image characteristic and automatic classification for beef[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(15): 286-293. (in Chinese with English abstract)

[9] 張彥娥，魏穎慧，梅樹立，等. 基于多尺度區間插值小波法的牛肉圖像中大理石花紋分割[J]. 農業工程學報，2016，32(21)：296-304.

Zhang Yan’e, Wei Yinghui, Mei Shuli, et al. Application of multi-scale interval interpolation wavelet in beef image of marbling segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(21): 296-304. (in Chinese with English abstract)

[10] Velásquez L, Cruz-Tirado J P, Siche R, et al. An application based on the decision tree to classify the marbling of beef by hyperspectral imaging[J]. Meat Science, 2017, 133: 43-50.

[11] 楊林楠，郜魯濤，林爾升，等. 基于Android系統手機的甜玉米病蟲害智能診斷系統[J]. 農業工程學報，2012，28(18)：163-168.

Yang Linnan, Gao Lutao, Lin Ersheng, et al. Intelligent diagnose system of diseases and insect pests in sweet corn based on mobile terminal with Android system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(18): 163-168. (in Chinese with English abstract)

[12] 尚明華，秦磊磊，王風云，等. 基于Android智能手機的小麥生產風險信息采集系統[J]. 農業工程學報，2011，27(5)：178-182.

Shang Minghua, Qin Leilei, Wang Fengyun, et al. Information collection system of wheat production risk based on Android smartphone[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(5): 178-182. (in Chinese with English abstract)

[13] 陳美鎮，王紀章，李萍萍，等. 基于 Android 系統的溫室異構網絡環境監測智能網關開發[J]. 農業工程學報，2015，31(5)：218-225.

Chen Meizhen, Wang Jizhang, Li Pingping, et al. Development of intelligent gateway for heterogeneous networks environment monitoring in greenhouse based on Android system[J]. (Transactions of the CSAE), 2015, 31(5): 218-225. (in Chinese with English abstract)

[14] 李慧，劉星橋，李景，等.基于物聯網 Android 平臺的水產養殖遠程監控系統[J]. 農業工程學報，2013，29(13)：175-181.

Li Hui, Liu Xingqiao, Li Jing, et al. Aquiculture remote monitoring system based on IOT Android platform [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(13): 175-181. (in Chinese with English abstract)

[15] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[16] Liu W, Wang Z, Liu X, et al. A survey of deep neural network architectures and their applications [J]. Neurocomputing, 2017, 234: 11-26.

[17] Zhang Q, Zhang M, Chen T, et al. Recent advances in convolutional neural network acceleration[J]. Neurocomputing, 2019, 323: 37-51.

[18] 魏存超. 基于卷積神經網絡的醫學圖像分類的研究[D]. 哈爾濱：哈爾濱工業大學，2017.

Wei Cunchao. Resaerch on Medical Image Classification Method Based on Convolutional Neural Network[D]. Harbin: Harbin Institute of Technology, 2017. (in Chinese with English abstract)

[19] Dyrmann M, Karstoft H, MidtibY HS. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[20] Lu Yang, Yi Shujuan, Zeng Nianyin, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocomputing, 2017, 267: 378-384.

[21] 孫鈺，周焱，袁明帥，等. 基于深度學習的森林蟲害無人機實時監測方法[J]. 農業工程學報，2018，34(21)：74-81.

Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74-81. (in Chinese with English abstract)

[22] 鮑文霞，孫慶，胡根生，等. 基于多路卷積神經網絡的大田小麥赤霉病圖像識別[J]. 農業工程學報，2020，36(11)：174-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[23] 周亮，慕號偉，馬海姣，等. 基于卷積神經網絡的中國北方冬小麥遙感估產[J]. 農業工程學報，2019，35(15)：119-128.

Zhou Liang, Mu Haowei, Ma Haijiao, et al. Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119-128. (in Chinese with English abstract)

[24]馬浚誠，劉紅杰，鄭飛翔，等. 基于可見光圖像和卷積神經網絡的冬小麥苗期長勢參數估算[J]. 農業工程學報，2019，35(5)：183-189.

Ma Juncheng, Liu Hongjie, Zheng Feixiang, et al. Estimating growth related traits of winter wheat at seedling stages based on RGB images and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 183-189. (in Chinese with English abstract)

[25] 張思雨，張秋菊，李可. 采用機器視覺與自適應卷積神經網絡檢測花生仁品質[J]. 農業工程學報，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[26] 趙志衡，宋歡，朱江波，等. 基于卷積神經網絡的花生籽粒完整性識別算法及應用[J]. 農業工程學報，2018，34(21)：195-201.

Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195-201. (in Chinese with English abstract)

[27] 段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經網絡的大田稻穗分割[J]. 農業工程學報，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicle segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202-209. (in Chinese with English abstract)

[28] 馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經網絡的溫室黃瓜病害識別系統[J]. 農業工程學報，2018，34(12)：186-192.

Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[29] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[30] 張博，張苗輝，陳運忠. 基于空間金字塔池化和深度卷積神經網絡的作物害蟲識別[J]. 農業工程學報，2019，35(19)：209-215.

Zhang Bo, Zhang Miaohui, Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 209-215. (in Chinese with English abstract)

[31] 鄧寒冰，周云成，許童羽，等. 基于 RGB-D 的肉牛圖像全卷積網絡語義分割優化[J]. 農業工程學報，2019，35(18)：151-160.

Deng Hanbing, Zhou Yuncheng, Xu Tongyu, et al. Optimization of cattle’s image semantics segmentation withfully convolutional networks based on RGB-D[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactionsof the CSAE), 2019, 35(18): 151-160. (in Chinese with English abstract)

[32] Mu?oz I, Gou P, Fulladosa E. Computer image analysis for intramuscular fat segmentation in dry-cured ham slices using convolutional neural networks[J]. Food Control, 2019, 106: 106693.

Mobile phone evaluation system for grading beef marbling based on deep learning

Zhao Xinlong, Peng Yankun※, Li Yongyu, Wang Yali, Zhao Miao

(,,100083,)

Marbling is an important index that affects the quality of beef. However, the evaluation of marbling in beef processing enterprises is operated by professional, who test the beef by comparing samples with standard images, which is subjective and susceptible to the environment. To solve these problems, this study proposed an intelligent classification method based on deep learning and designed a neural network with 4-layer convolution including input layer, convolutional layer, pooling layer, fully connected layer and output layer. The automatic extraction of marbling features was achieved, and a beef marbling detection application based on mobile phone was developed. In this study, 1 800 images were divided into calibration set, validation set and test set according to the ratio of 3:1:1. The training process of deep learning model depends on a large number of labeled samples, and the training effect of a small amount of data is poor. Therefore, methods like rotating, mirroring, adjusting brightness, contrast, and increasing noise were used to amplify the sample data in this study. Finally, 5 400 images of calibration set and 1 800 images of validation set are obtained. The calibration set was used to train and adjust the internal parameters of the network, and the validation set was used to test the model. In order to further explore the accuracy of the model, this method was compared with the traditional machine vision method. And the number of large fat particles, medium fat particles, small fat particles, the total area of fat and the evenness degree of fat distribution were calculated. According to the above characteristics, a multiple linear regression model was established to identify the grades. The results showed that the method used in this paper had good classification ability for marbling, and the detection accuracy of validation set was 97.67%, which was higher than the traditional machine vision method. Samples with error grade did not span two levels. Through the observation of the misjudged images ，the marbling richness of misjudged images was similar to that of misjudged images, and the marbling score was between the labeled grade and the misjudged grade. Finally, an application program for marbling detecting was written. In this application, you call use the model generated in this study to realize real-time detection for marbling. Then the application was used to recognition the samples of test set. The accuracy was 95.56%, and the recognition time was less than 0.5 seconds per image. In this paper, a beef marbling mobile phone evaluation system was developed based on the advantages of convolution neural network with high classification accuracy and fast speed of smart phones. This method could improve the detection efficiency of beef marbling. Compared with traditional detection equipment, the smart phone as a handheld collection terminal has the advantages of small size and high efficiency. The popularization of smart phones provides a broad development space for this method. Compared with ARM portable devices, this method uses mobile phones as the detection carrier, which saves the need to purchase additional auxiliary equipment and reduces the cost of hardware development.

models; beef; marbling; convolutional neural network; mobile phone

趙鑫龍，彭彥昆，李永玉，等. 基于深度學習的牛肉大理石花紋等級手機評價系統[J]. 農業工程學報，2020，36(13)：250-256.doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

2020-03-03

2020-06-04

國家重點研發計劃項目（2016YFD0101205）

趙鑫龍，博士生，主要從事農畜產品無損檢測技術與裝備研究。Email：936803613@qq.com

彭彥昆，教授，博士生導師，主要從事農畜產品無損檢測技術與裝備研究。Email：ypeng@cau.edu.cn

10.11975/j.issn.1002-6819.2020.13.029

TP391

A

1002-6819(2020)-13-0250-07