基于注意力機制的奶牛乳蛋白預測模型研究

由楚川 朱孟宇 趙軍

摘? 要：機器學習在動物生理預測方面取得良好的效果，但在處理具有局限性的時序問題上未能得到深入應用。文章通過環(huán)境數(shù)據(jù)對乳蛋白進行預測研究，根據(jù)數(shù)據(jù)的時序特點，對雙向門控循環(huán)神經(jīng)單元的網(wǎng)絡結(jié)構(gòu)進行重新設計，設計了一種基于注意力機制的正反向交替的門控循環(huán)神經(jīng)網(wǎng)絡（LG）預測模型，實驗驗證模型在精度上和速度上都優(yōu)于其他模型，所挖掘的關(guān)鍵指標有助于深入理解對奶牛生理情況的影響，進而有效提升養(yǎng)殖效益。

關(guān)鍵詞：奶牛乳蛋白預測模型；隨機森林算法；門控循環(huán)神經(jīng)網(wǎng)絡；正反向交替門控循環(huán)神經(jīng)網(wǎng)絡模型

中圖分類號：TP18? ? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0006-07

Research on the Prediction Model of Milk Protein in Dairy Cattle Based on

Attention Mechanism

YOU Chuchuan1， ZHU Mengyu1， ZHAO Jun2

（1.School of Information Engineering， Ningxia University， Yinchuan? 750021， China;

2.School of Advanced Interdisciplinary Studies， Ningxia University， Zhongwei? 755099， China）

Abstract： Machine learning has achieved good results in animal physiological prediction， but it has not been applied in dealing with time series problems with limitations. The paper predicts and studies the milk protein through environmental data， redesigns the network structure of two-way Gated Recurrent Unit according to the time sequence characteristics of the data， and designs a forward and reverse alternating gated Recurrent Neural Network （LG） prediction model based on attention mechanism. The experiment verifies that the model is superior to other models in accuracy and speed， The key indicators excavated are conducive to deeply understand the impact on the physiological conditions of dairy cows， and then effectively improve the breeding benefits.

Keywords： milk protein prediction model; Random Forest algorithm; Gated Recurrent Neural Network; forward and reverse alternating gated Recurrent Neural Network Model

0? 引? 言

在我國現(xiàn)有的農(nóng)業(yè)模式下，國家提出了“現(xiàn)代農(nóng)業(yè)”發(fā)展戰(zhàn)略與糧食安全戰(zhàn)略研究[1]。畜牧業(yè)是我國農(nóng)業(yè)的重要組成部分，作為畜牧業(yè)重要組成部分之一的奶牛養(yǎng)殖業(yè)，被國家列為調(diào)整和鼓勵扶持發(fā)展的重點產(chǎn)業(yè)。我國奶牛智慧化養(yǎng)殖起步較晚、起點較低。近年，奶牛規(guī)模化養(yǎng)殖技術(shù)的不斷提升使得我國乳制品產(chǎn)量得到回升。本文采用基于注意力機制的正反向交替門控循環(huán)神經(jīng)網(wǎng)絡的搭建并進行相關(guān)預測，與傳統(tǒng)的奶牛生理預測、發(fā)情預測、營養(yǎng)預測及疾病預測相比能進一步認識到環(huán)境因素與乳蛋白間的影響，深入理解環(huán)境因素對奶牛生理情況的影響，進而使企業(yè)通過預測結(jié)果提出有效的應對策略，從而提高自身的利益。

1? 模型與算法

乳脂率、乳蛋白以及乳糖率是乳成分中較為重要的幾種物質(zhì)[2]，而這些乳成分的含量與牛舍中環(huán)境因素有著不可分割的聯(lián)系，傳統(tǒng)的都是通過神經(jīng)網(wǎng)絡訓練的方式利用環(huán)境因素對乳成分中的乳脂率進行預測，但是由于神經(jīng)網(wǎng)絡是模仿人的神經(jīng)網(wǎng)絡進行學習的，所以在一些方面就會出現(xiàn)瑕疵，因此本文在神經(jīng)網(wǎng)絡模型基礎(chǔ)上再做出一定的改進，提出來一種正反向交替門控循環(huán)神經(jīng)網(wǎng)絡模型，并在模型中加入了注意力機制，目的是為了使乳蛋白預測模型更加精確，進而使整個生理模型更加完善。

1.1? LG模型

對于Bi-LSTM做出改進的另一種雙向循環(huán)神經(jīng)網(wǎng)絡單元Bi-GRU模型，雖然可以對Bi-LSTM模型的一些不足進行提升，但是其在前后信息的緊要聯(lián)系上又不如長短時記憶網(wǎng)絡[3，4]。因此，本章對模型進行改進，考慮到雙向循環(huán)神經(jīng)網(wǎng)絡中包含正向和反向兩個方向的特殊性，并且對模型的提升既要提高訓練效率，又要加強序列前后的聯(lián)系并縮短預測時間，所以提出一種基于LSTM與GRU正反向交替的雙向門控循環(huán)神經(jīng)網(wǎng)絡，即LG模型。LG模型不僅具有LSTM關(guān)于時間序列前后信息的強大關(guān)聯(lián)功能，并且由于其是將LSTM與GRU有機結(jié)合，所以LG模型在訓練效率、預測速度上也都發(fā)揮得非常出色，因此利用LG模型進行預測大有裨益。

為了更直觀地了解對模型的改進思想，如圖1所示，為LG模型的結(jié)構(gòu)圖。圖中（X1， X2，…， Xt）為輸入序列X，Xt+1為輸出的最終結(jié)果，從LG模型的結(jié)構(gòu)圖中不難看出，該模型的輸入層和輸出層與雙向循環(huán)神經(jīng)網(wǎng)絡的結(jié)構(gòu)基本相同，LG模型的不同主要是在隱藏層的雙向循環(huán)神經(jīng)單元上做出改進，不同于一般的雙向循環(huán)神經(jīng)網(wǎng)絡的隱藏層內(nèi)部正反向均為同一種神經(jīng)元（LSTM、GRU）的結(jié)構(gòu)，LG模型是通過正反向的LSTM單元與GRU單元相互交替而成的，所以該模型實現(xiàn)了既能在速度上有所提升，又可以在精度上提升優(yōu)勢。該模型的輸出結(jié)果的方式與雙向循環(huán)神經(jīng)網(wǎng)絡相同，將正向結(jié)果記為：，反向的結(jié)果記為 。最終的輸出結(jié)果也是通過某種運算將正向輸出結(jié)果與反向的輸出結(jié)果進行結(jié)合得到一個最終的ht，然后再進行統(tǒng)一的輸出預測結(jié)果Xt+1。

另外，從圖1中還可以看出，LG模型采用的是一種多層雙向循環(huán)神經(jīng)網(wǎng)絡的結(jié)構(gòu)特點建立的，采用該結(jié)構(gòu)可以讓LG網(wǎng)絡的表達能力和學習能力更強。多層LG模型的整體結(jié)構(gòu)是與多層雙向循環(huán)神經(jīng)網(wǎng)絡相同的，主要區(qū)別在于多層雙向循環(huán)神經(jīng)網(wǎng)絡中每個時間步的輸入都會經(jīng)過正反兩個相同的循環(huán)神經(jīng)網(wǎng)絡（LSTM、GRU），而LG模型的特點是不同方向的神經(jīng)元是不同的[5-7]。LG模型在雙向循環(huán)神經(jīng)網(wǎng)絡的基礎(chǔ)上進行了功能的增強，解決了原本雙向多層神經(jīng)網(wǎng)絡的一些局限性，所以其在復雜度與時效性上表現(xiàn)得非常優(yōu)越，因此本文利用該模型進行乳蛋白預測模型的搭建。

1.2? seq2seq模型結(jié)構(gòu)

Seq2seq模型最初提出的目的是因為單一的循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)不能去處理變長序列的問題，所以，在2014年由CHO等人提出了一種Seq2seq的模型結(jié)構(gòu)[8，9]，該模型最初的應用場景是在智能翻譯、文本的摘要以及對圖像分析后自動生成相關(guān)的描述信息等方面。該模型的整體是由編碼器、中間向量以及解碼器組合而成的，通常情況下，該模型的搭建需要一種多層的循環(huán)神將網(wǎng)絡作為基本的主干網(wǎng)絡結(jié)構(gòu)，因此在本章的seq2seq模型建立中選擇的是由上節(jié)提出的LG網(wǎng)絡模型作為seq2seq模型的基本主干網(wǎng)絡。seq2seq網(wǎng)絡模型結(jié)構(gòu)實際上就是一種編解碼（encoder-decoder）[10]的結(jié)構(gòu)，但是seq2seq模型具有其獨特之處，即：在輸入輸出時不需要規(guī)定其具有相同的長度。由于該模型具有編、解碼的結(jié)構(gòu)，所以要按照順序先進行編碼過程然后再進行解碼操作，編碼就是通過encoder編碼過程將輸入序列通過循環(huán)神經(jīng)網(wǎng)絡中的某一種算法轉(zhuǎn)換為指定的中間矩陣形式，然后再通過decoder解碼的方式將編碼形成的中間矩陣進行對應的解碼得到輸出序列，seq2seq模型的結(jié)構(gòu)示意圖如圖2所示。

從圖2中可以看出seq2seq模型就是將輸入向量x經(jīng)過某種特定的循環(huán)神經(jīng)網(wǎng)絡算法進行編解碼處理后生成另一個目標向量Y的過程，對于這樣的一組向量，其中X為指定的輸入向量，X=（X1， X2， X3，…Xt），Y為輸出的目標向量，記為Y=（Y1， Y2， Y3，…Yt），圖中C為向量組X輸入后進行encoder非線性編碼操作后形成的一個中間向量形式，形成的中間向量C的計算公式如式（1）所示：

C=f （X1， X2， X3，…Xt）? ? ? ? ? ? ? ? ? ? ? ? ? （1）

上式中f為指定的編碼方式，通常情況下編碼方式都是以RNN及其改進算法（LSTM、GRU）進行編碼的，解碼操作所用到的算法和原理與編碼操作用到的算法和原理是相同的，只是在解碼操作中需要將生成的中間向量加到需要解碼的向量組中去[11]。

1.3? 注意力機制（Attention mechanism）

起初注意力機制的提出就是模仿人腦在處理和思考問題時候的生物神經(jīng)元的工作原理，因此，注意力機制在一定程度上與人腦的注意力行為是類似的，例如：人類在處理圖片信息的時候，總會選擇自己著重關(guān)注的一部分，而忽略一部分相關(guān)性較小的信息[12，13]。不單單是在圖像方面，在音頻、文字等方面也會出現(xiàn)類似的情況。在神經(jīng)網(wǎng)絡中添加注意力機制的優(yōu)點在于其不但可以幫助神經(jīng)網(wǎng)絡挑選專注的特征子集，即：在訓練過程中選擇出對輸出幫助更大的元素，而且還可以在有限的計算能力下，進行更有效的資源分配。所以近幾年來注意力機制在深度學習上的應用較為廣泛，但是其主要應用場景仍是在自然語言處理方面。

注意力機制可以嵌入到seq2seq模型結(jié)構(gòu)中進行嵌套使用，注意力機制可以使seq2seq模型輸入的序列通過學習得到各個特征因素的重要程度，并且根據(jù)該程度的大小將特征進行合并，所以注意力機制能夠?qū)⑤斎胄蛄兄兄匾潭雀叩脑赜羞x擇性地挑出，然后再有選擇性的學習輸入與輸出序列間的對應關(guān)系[14]。加入注意力機制以后seq2seq模型經(jīng)過編碼操作以后不再是單一的定長中間向量C，而是由多個中間向量C共同組成的編碼形式，該向量形式中包括不同的輸入序列以及不同的權(quán)重參數(shù)兩部分，能夠更好地為解碼操作提供幫助，提高模型整體的工作效率。加入Attention機制后的seq2seq模型的運行圖如圖3所示。

從圖3中可以看出，在加入注意力機制后X序列的輸出不再是直接編碼為中間向量C，而是需要通過下式（2）的計算方式將各個元素的權(quán)重計算出來。

（2）

在式（2）中，j為輸入的X序列中的第j個元素，i為時刻，t是輸入序列的長度，函數(shù)f （x）表示對序列X中元素的編碼過程，aij表示重要權(quán)重的分數(shù)，aij的分數(shù)一般通過softmax函數(shù)來進行計算，softmax的計算公式如式（3）所示：

（3）

在式（3）中，eij表示時刻i輸入的元素與輸出元素的相關(guān)程度，程度越高eij的值越高，相應的aij值也會越大。計算得到不同的中間向量的權(quán)重之后，按照對應關(guān)系再進行解碼操作。

2? 數(shù)據(jù)準備

2.1? 數(shù)據(jù)描述

本文的研究是對乳成分中乳蛋白進行預測，實驗中采用環(huán)境因素作為預測的條件因素。經(jīng)過對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計表中的數(shù)據(jù)分析，本研究在經(jīng)歷過實際考察了寧夏銀川地區(qū)荷斯坦奶牛基地且采用奶牛場內(nèi)的環(huán)境監(jiān)測數(shù)據(jù)集以及鮮奶統(tǒng)計報表作為樣本集數(shù)據(jù)集，環(huán)境數(shù)據(jù)采用牛場內(nèi)部環(huán)境傳感器（溫濕度傳感器、二氧化碳傳感器等）記錄時間間隔為一小時的環(huán)境數(shù)據(jù)，對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計表中的數(shù)據(jù)進行重構(gòu)、異常值處理以及歸一化等數(shù)據(jù)預處理操作后，得到從2016年6月21日0：00至2020年12月21日22：00每天6：00、14：00和22：00這三個時間點的環(huán)境及鮮奶統(tǒng)計表中的數(shù)據(jù)。該數(shù)據(jù)是一個二維的數(shù)據(jù)形式，其表頭分別為環(huán)境因素名稱及乳成分名稱，其中環(huán)境名稱分別為：溫度（AT）、濕度（AH）、平均二氧化碳濃度（ACO2）、平均光照強度（ALI）、平均氨氣濃度（ANH3）和平均甲烷濃度（ACH4），乳成分名稱分別為：乳脂率（BFC）以及乳蛋白（LAC）。這些數(shù)據(jù)都是按照時間序列進行排序的。歸一化后的數(shù)據(jù)形式如表1所示。

2.2? 基于注意力機制的LG乳蛋白預測模型的搭建

在本文研究中，訓練集數(shù)據(jù)采用的是由2016年6月21日6：00至2020年2月7日22：00的全部環(huán)境及乳蛋白數(shù)據(jù)，其中訓練集與測試集數(shù)據(jù)比例為7：3，將2020年2月8日起至2020年末的所有數(shù)據(jù)作為測試集數(shù)據(jù)，在模型的搭建中本文選用的是Python語言中Keras人工神經(jīng)網(wǎng)絡庫用來當做TensorFlow的接口[15]。本文實驗環(huán)境為Windows 10操作系統(tǒng)電腦，實驗編程語言為Python 3.7，搭建預測模型，其他庫包括NumPy、pandas、lightgbm、Matplotlib、Seaborn等。本實驗設置小批次處理為1 024，由于一天內(nèi)的鮮奶采集時刻為3個，所以滑動窗口設置為3，正反向循環(huán)神經(jīng)網(wǎng)絡的層數(shù)也為3，每層神經(jīng)元為128個，全連接神經(jīng)元為128，模型的輸入矩陣為（3，6），神經(jīng)網(wǎng)絡中的每層之間仍采用concat的拼接方式，由于LSTM與GRU都是采用誤差反向傳播的機制去進行誤差修正[16]，所以本研究將Attention機制添加在了神經(jīng)網(wǎng)絡的隱藏層與輸出層之間，以用來提高訓練的效率與精確度，最后再通過dense層將模型的最終結(jié)果進行輸出，乳蛋白預測模型構(gòu)建流程圖如圖4所示。實驗表明，迭代次數(shù)達500次左右時學習趨近穩(wěn)定，學習效率大大提高。

3? 模型的評估對比

由于模型結(jié)構(gòu)和原理不同，所以不同模型訓練得出的結(jié)果也會不同，本文利用LSTM、GRU、Bi-GRU、Bi-LSTM模型以及LG模型進行預測，并與測試集上的真實值進行比較，不同模型的預測結(jié)果折線圖如圖5所示，其中橫坐標的每個刻度為每八小時的一個整體時刻，單位為（/8 h），縱坐標為乳蛋白情況，單位為%，其中實線為真實值，虛線為預測值。

以上是五種不同模型進行乳蛋白的預測結(jié)果并與測試集中的真實數(shù)據(jù)集進行比對得出的折線圖，從圖5中不難看出，雖然五種模型在擬合效果上不盡相同，但是這五種模型的預測趨勢基本正確，因此需要利用誤差評估的手段來區(qū)分各個模型擬合效果的好壞，以下分別利用平均絕對誤差（Mean Absolute Error， MAE）、均方誤差（Mean Square Error， MSE）和平均絕對百分比誤差（Mean Absolute Percentage Error， MAPE）三種誤差評估方式對模型進行評估以下簡稱為MAE、MSE和MAPE，并以柱狀圖的方式更直觀地對以上五種模型進行誤差評估與分析，誤差分析柱狀圖如圖6所示。

為了全面的體現(xiàn)模型擬合效果的優(yōu)劣，因此選用三種不同的誤差評估方式對模型進行誤差評估以達到更加全面的體現(xiàn)模型優(yōu)劣的效果，從圖6中不難看出，單向LSTM構(gòu)建的乳脂率預測模型在三種誤差評估方式上表現(xiàn)的都是最差的，其余三種單向GRU、雙向LSTM以及雙向GRU在三種評估方式上表現(xiàn)的基本相同[17]，而基于Attention機制LG模型在三種評估方式上的誤差值要遠小于其余四個模型的誤差值，說明基于Attention機制的LG模型在乳成分中乳蛋白的預測值與真實值相差甚小，因此通過三種誤差評估方式能夠表明基于Attention機制的LG模型在精度以及擬合效果上表現(xiàn)得更好，所以基于Attention機制的LG模型能夠為乳成分中乳蛋白的預測提供一定的科學指導作用。

4? 結(jié)? 論

本文主要以乳成分中的乳蛋白為重點預測對象，構(gòu)建了基于注意力機制的LG乳蛋白預測模型，并將該模型應用到生理預測模型中，對該模型的構(gòu)建首先考慮到隨機森林與Bi-GRU模型的利弊，針對該模型的短板進行了模型的改進，之后利用LG模型對Bi-GRU模型前后信息聯(lián)系較弱的缺點進行改進，并在模型中添加了注意力機制以提高模型的性能；然后對基于注意力機制的LG模型進行模型的整體搭建與實驗，其中包括數(shù)據(jù)的預處理，模型構(gòu)建及使用；最后針對該模型進行評估并與其他模型進行比較。得出該模型在預測效率、精度以及魯棒性等方面的效果均優(yōu)于其他模型。因此，實驗表明基于注意力機制的LG乳蛋白預測模型在奶牛生理模型的理論指導與構(gòu)建上具有一定的意義。

參考文獻：

[1] 童津津，張華，吳富鑫，等.不同泌乳水平奶牛產(chǎn)奶量、乳成分和環(huán)境溫濕指數(shù)的相關(guān)性研究 [J].動物營養(yǎng)學報，2020，32（7）：3171-3180.

[2] 母童，虎紅紅，馮小芳，等.寧夏地區(qū)荷斯坦牛乳成分及相關(guān)指標的非遺傳因素、體細胞評分變化規(guī)律 [J].華南農(nóng)業(yè)大學學報，2021，42（2）：34-43.

[3] 張騰，劉新亮，高彥平.基于卷積神經(jīng)網(wǎng)絡和雙向門控循環(huán)單元網(wǎng)絡注意力機制的情感分析 [J].科學技術(shù)與工程，2021，21（1）：269-274.

[4] 湯森林，張霞，戚文超，等.基于長短時記憶神經(jīng)網(wǎng)絡的葡萄葉面積指數(shù)高光譜反演 [J].遙感信息，2022，37（5）：38-44.

[5] IMANI M. Long Short-Term Memory Network and Support Vector Regression for Electrical Load Forecasting [C]//2019 International Conference on Power Generation Systems and Renewable Energy Technologies （PGSRET）.Istanbul：IEEE，2019：1-6.

[6] CHUNG J，GULCEHRE C，CHO K，et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling [J/OL].arXiv：1412.3555 [cs.NE].[2022-11-03].https：//arxiv.org/abs/1412.3555.

[7] 劉琳嵐，肖庭忠，舒堅，等.基于門控循環(huán)單元的鏈路質(zhì)量預測 [J].工程科學與技術(shù)，2022，54（6）：51-58.

[8] CHO K，MERRIENBOER B V，GULCEHRE C，et al. Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation [J/OL].arXiv：1406.1078 [cs.CL].[2022-11-05].https：//arxiv.org/abs/1406.1078.

[9] 陳禮賢，梁杰，黃一帆，等.基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡的邊緣負載預測 [J/OL].小型微型計算機系統(tǒng)：1-8[2023-02-07].

http：//kns.cnki.net/kcms/detail/21.1106.TP.20221123.0919.010.html

[10] ZHOU H，F(xiàn)ANG Z J，GAO Y B，et al. Feature Fusion Network Based on Attention Mechanism for 3D Semantic Segmentation of Point Clouds-Science Direct [J].Pattern Recognition Letters，2020，133：327-333.

[11] 蔣玉英，陳心雨，李廣明，等.圖神經(jīng)網(wǎng)絡及其在圖像處理領(lǐng)域的研究進展 [J/OL].計算機工程與應用：1-17（2022-11-28）.http：//kns.cnki.net/kcms/detail/11.2127.tp.20221125.1424.030.html

[12] ZHOU H X，ZHANG Y J，YANG L F，et，al. Short-Term Photovoltaic Power Forecasting Based on Long Short Term Memory Neural Network and Attention Mechanism [J].IEEE Access，2019，7（99）：78063-78074.

[13] 師巖，王宇，吳水清.基于Self-Attention模型的機器翻譯系統(tǒng) [J].計算機與現(xiàn)代化，2019（7）：9-14.

[14] 楊子農(nóng).基于Seq2Seq框架的文本風格遷移研究 [D].南京：南京郵電大學，2022.

[15] 胥凌.面向TensorFlow和PyTorch的線性代數(shù)基準測試 [J].航空計算技術(shù)，2022，52（3）：5-9.

[16] 王麗朝，孟子堯，陳詩明，等.基于GRU神經(jīng)網(wǎng)絡的光伏電站數(shù)據(jù)預處理方法 [J].太陽能學報，2022，43（11）：78-84.

[17] 鄭偉.多尺度注意力機制DenseNet網(wǎng)絡 [J/OL].軟件導刊：1-6[2022-12-29].https：//kns.cnki.net/kcms/detail/42.1671.TP.20221207.1123.038.html.

作者簡介：由楚川（1997—），男，漢族，遼寧鐵嶺人，大數(shù)據(jù)工程師，碩士，研究方向：大數(shù)據(jù)智能；朱孟宇（1997—），男，漢族，河南周口人，碩士在讀，研究方向：大數(shù)據(jù)智能；通訊作者：趙軍（1971—），男，漢族，寧夏中衛(wèi)人，教授，博士，研究方向：大數(shù)據(jù)智能和企業(yè)計算實驗研究。

收稿日期：2022-12-31

基金項目：寧夏自然科學基金項目（2020AAC03028）