基于注意力網絡的長時牦牛個體識別研究

摘要：為推動精準畜牧業的發展及探討長時間跨度下的動物個體識別，構建間隔6個月和12個月的同一批牦牛個體圖像數據集。試驗采用引入注意力機制的PCB+SE-ResNet50識別模型，實現短時和長時牦牛個體識別，從而分析影響長時牦牛個體識別的因素，并在該長時數據集上與ViT和PGCFL模型識別結果進行比較。結果表明：該模型在間隔6個月和12個月的數據集上識別平均精度均值達到60.37%、41.56%。相較于ViT，分別提高1.64%、5.82%；相較于PGCFL，分別提高12.40%、11.22%。該研究可為長時牦牛個體識別、養殖信息化及牲畜精準管理等提供理論依據和方法指導。

關鍵詞：精準畜牧業；牦牛；個體識別；注意力機制；動物生物特征

中圖分類號： TP391.4

文獻標識碼：A

Research on long-term yak individual recognition based on attention networks

Abstract：

In order to promote the development of precision animal husbandry and discuss the long-term span of animal individual recognition， in this paper， the same batch of yak individual image datasets with an interval of 6 months and 12 months are constructed. In the experiment， the PCB+SE-ResNet50 recognition model with attention mechanism was used to realize short-term and long-term yak individual recognition， so as to analyze the factors affecting long-term yak individual recognition. The recognition results of this long-term dataset were compared with those of ViT and PGCFL models. The results showed that the mean average precision of the model reached 60.37% and 41.56% on the data set with an interval of 6 months and 12 months. Compared with ViT， it was 1.64% and 5.82% higher， respectively， and compared with PGCFL， it was 12.40% and 11.22% higher， respectively. This study can provide theoretical basis and method guidance for long-term yak individual identification， breeding information and precision management of livestock.

Keywords：

precision animal husbandry; yak; individual identification; attention mechanism; animal biometrics

0 引言

牦牛作為高原地區的重要牲畜，在鞏固牧民脫貧致富成果和推動鄉村振興中發揮著不可或缺的作用。然而傳統的牦牛養殖模式存在一些問題，如養殖效率低下和管理不精確等。為了解決這些問題，借助深度學習技術對同一頭牦牛進行個體識別，通過分析其行為、疾病和運動軌跡，可以有效提高養殖效率，這是一項具有重要意義的科研工作。隨著牦牛年齡的增長，其自身特征也會發生變化，如長角、毛發變化等，這使得長時間內的牦牛個體識別變得極具挑戰性。

傳統的牲畜個體識別方法主要有基于人為標記或附著人工標記物區分不同個體，如環標法、刺紋法、烙印法、染料標記法、微電子芯片掩埋法［1］和射頻識別（Radio Frequency Identification，RFID）［2］標簽等。其中，基于微電子芯片或射頻標簽的方法識別準確率高，但這種侵入式的識別方案需要在動物的耳朵上穿孔來佩戴無線射頻識別標簽或者在動物體內植入芯片，容易引起動物的不適，造成咬標、掉標的情況發生。為了解決這種問題，一些研究人員試圖用基于圖像的生物特征識別方法實現動物個體識別，例如根據奶牛的尾椎部圖像識別奶牛個體［3］、使用豬的俯拍圖像對豬進行個體識別［4］、根據東北虎身體上的花紋圖像識別其個體［5］、構建母豬和仔豬個體圖像數據集并使用YOLOv3方法實現高效的豬只個體識別［6］以及根據動物的臉部［78］、行為［9］等特征進行動物個體識別。還有一些研究人員嘗試將基于圖像的重識別（re-ID）方法應用于動物飼養［1011］和野生動物保護［1214］。隨著科學技術的發展，計算機視覺技術應用到諸多行業中［1516］，盡管以上研究證明了基于圖像的生物特征識別方法在智慧畜牧養殖領域的巨大前景，但是現有的研究尚未深入分析隨著時間變化，動物個體識別模型的準確率變化情況。本文以同一頭牦牛個體識別為研究對象，首次分析時間跨度對動物個體識別的影響。

本文構建間隔6個月和間隔12個月的同一批牦牛個體圖像數據集，并且使用最新的識別方法在該數據集上進行同時間段和不同時間段的牦牛個體識別對比試驗，據此分析時間跨度對牦牛個體識別效果的影響，為長時牦牛個體識別（即跨越較長時間間隔的牦牛個體識別）研究及其在實際場景中的應用提供有益參考。

1 數據集

本文的數據集包含兩部分。第一部分是間隔12個月的數據集，分別是2019年（其中所有的牦牛個體在同一個月內采集）和2020年（經過一年后進行采集，在時間跨度下牦牛的體形和花紋以及牦牛的角等發生變化）采集的牦牛圖像數據。2019年數據集中有55頭牦牛個體共1282張圖像，2020年數據集中有同樣的55頭牦牛個體共1533張圖像。這部分數據來源于前期工作［17］中采集的牦牛圖像數據集如圖1所示，2019年的數據相比2020年的數據，圖像背景更加復雜，清晰度也較低。第二部分是間隔6個月的牦牛圖像數據集，采集于2021年夏季和冬季（經過6個月后進行采集，在時間跨度為6個月后，牦牛的體形和皮毛會發生一定的變化）。夏季數據集中有33頭牦牛個體共1155張圖像，冬季數據集中有同樣的33頭牦牛個體的848張圖像。

1.1 數據預處理

原始圖像中的牦牛先經過自動檢測和定位，然后其中的牦牛區域被裁剪出來。如果一幅圖像中有多只牦牛，則僅取其中面積最大的那一只，如圖2所示。為了使模型更好地符合實際養殖環境的要求，本文使用水平翻轉、隨機遮擋和添加高斯噪聲等數據增強方法。

1.2 數據集劃分

兩部分數據集分別劃分為訓練集（train）、注冊集（gallery）和探測集（query）。在間隔12個月數據集上的具體劃分情況如表1所示。其中注冊集和探測集中的是同一批牦牛個體，且不同于訓練集中的個體。間隔6個月的牦牛圖像數據集為冬季和夏季。此數據集的具體劃分情況如表2所示。同樣地，注冊集和探測集中的是同一批牦牛個體，且不同于訓練集中的個體。

2 PCB+SE-ResNet50方法

為了更有效地驗證和分析出長時間跨度對牦牛個體識別的影響，使用了在短時牦牛個體識別上能夠達到較高水平的PCB+ResNet50作為基線方法。

在重識別任務中局部特征具有更好的搜索效果和關注圖像中細粒度特征的能力， 基于部分的卷積基線（Part-based Convolutional Baseline，PCB［18］），提出了簡單的圖片水平均等切片方法，利用分區策略學習區域級別的特征，提取圖像中的細粒度特征來實現行人重識別。本文結合牦牛的特點對此方法進行改進，實現長時牦牛個體識別的目的。

PCB+ResNet50［19］方法中使用ResNet50作為骨架網絡提取牦牛特征，然后計算特征相似度從而得到識別結果，如圖3所示。受近年來注意力機制在視覺識別任務中的優異表現的啟發，將具備注意力機制的SE-ResNet50［20］作為骨架網絡。

詳細過程如下：首先，將牦牛圖像輸入SE-ResNet50中提取特征圖（用張量T表示）；然后，根據牦牛身體呈水平方向的特點，模型將張量T劃分為p個垂直條（區別于行人重識別中的水平條），并將每個垂直條紋平均池化為單個區域級列向量gi（i=1，2，…，p），空間大小1×1×2 048。隨后，該列向量g通過1×1卷積層，批量歸一化（BN）層和ReLU激活層得到降維后的特征向量，成為256維度的列向量h；最后，每個降維后的列向量h單獨經過一個全連接層后，都會分別輸入到分類器中，即用p個n（訓練集ID數目）分類的SoftMax作為分類器進行訓練；在網絡訓練階段時，通過最小化交叉熵損失函數的和來進行優化網絡的訓練；在測試階段時，分別串聯向量g和h作為牦牛圖像的特征表示。使用訓練得到的模型對gallery和query中牦牛圖像提取特征，根據余弦相似度計算兩者之間的相似度，并將gallery中所有圖像按照與query圖像的相似度從大到小排序，排序結果即為牦牛個體識別結果，而query圖像中的牦牛被識別為與其相似度最高的gallery圖像中的那只牦牛個體。

3 試驗結果

本文使用PyTorch深度學習框架實現PCB+ResNet50和PCB+SE-ResNet50模型，在配備了NVIDIA GTX-1080Ti GPU的計算機上分別訓練這兩個模型。優化器采用隨機梯度下降（Stochastic Gradient Descent，SGD） 優化器，動量系數設置為0.9，學習率設置為0.005，dropout設置為0.5，使用交叉熵損失函數（Cross Entropy）進行30輪迭代（epochs）訓練。

3.1 間隔12個月數據集上的試驗結果

在間隔12個月的數據集上進行兩種試驗，對比分析模型在同時間段和不同時間段上的識別效果。

3.1.1 不同訓練集的結果

將兩個不同年份的訓練集分為單年份訓練集（2019train、2020train）和多年份訓練集（2019train+2020train），并使用PCB+ResNet50進行了同時間段和跨時間段的識別效果對比試驗。

試驗中使用了兩種評價指標：mAP和Rank-k。其中mAP是平均精度均值（mean Average Precision）的縮寫，它是將多分類任務中的平均精度求和再取平均，反映了檢索的牦牛對象在注冊集中所有正確的圖片排在排列表前面的程度，能夠更加全面地衡量牦牛個體識別模型的性能。Rank-k是算法返回的排序列表中，前k位為存在檢索目標則稱為Rank-k命中，本文試驗中只列出其中的Rank-1和Rank-5的指標。在該數據集上試驗評價指標如表3所示。

由此試驗可以看出，當只用單年份訓練集時，由于模型學習的只有同時間段的牦牛圖像數據，因此模型在時間跨度大的牦牛數據集上識別準確率很低。為了促進模型學習更加魯棒的牦牛特征，本文豐富了訓練數據集，進一步驗證模型在時間跨度下對牦牛特征的學習能力。

使用合并了兩個年份數據的訓練集即多年份訓練集（2019train+2020train）進行長時牦牛個體識別的對比試驗。在2019年gallery數據集上，同時間段的query數據的mAP為54.85%，間隔12個月的query數據上的mAP提高了6.40%。在2020年gallery數據集上，同時間段的query數據上的mAP提高了17.84%，間隔12個月的query數據上的mAP提高了18.04%。詳細指標如表4所示。

以上試驗結果表明，模型具有較好的提取和學習到牦牛的特征能力，因而當使用混合數據進行訓練時，在長時牦牛圖像數據集上的識別準確率均有提升。但是，相比較而言，短時牦牛圖像的識別準確率仍顯著高于長時牦牛圖像的識別準確率，這說明長時牦牛個體識別還需要從模型設計角度做更深入研究。此外，對比表3和表4中的試驗結果，還可以看出數據質量對模型識別效果的影響：當訓練數據中包含不同質量的訓練數據時，使用較高質量的數據作為注冊數據（gallery）能得到更高的識別準確率。這一現象對于在實際應用中如何更有效地訓練和部署牦牛個體識別系統具有很好的指導意義。

3.1.2 不同模型的試驗結果

為了對比不同模型的識別效果，將模型中的主干網絡從普通的ResNet50替換為具有注意力機制的SE-ResNet50，并使用相同的多年份訓練集（2019train+2020train）進行對比試驗。在2019年的gallery數據上，訓練好的模型在同時間段的query數據上的mAP提高了6.20%，而在間隔12個月的query數據上的mAP提高了1.30%。在2020年的gallery數據上，同時間段的query數據上的mAP提高了1.38%，間隔12個月的query數據上的mAP則提高了6.17%。詳細評估指標如表5所示。

以上試驗結果表明，引入注意力機制能夠有效提升模型學習更加魯棒和具有判別性的牦牛軟特征，在短時牦牛個體識別和長時牦牛個體識別上均獲得了更高的準確率。圖4可視化了兩種模型在牦牛圖像上的關注區域，可以看出SE-ResNet50使模型關注到了圖像上的更多判別區域。因此，進一步優化牦牛個體識別模型的網絡設計是值得重點關注的方向。

3.2 間隔6個月數據集上的試驗結果

考慮到不同季節的環境變化較大以及牦牛剪毛等的影響（圖5），本文專門評估不同季節采集的牦牛圖像數據的識別效果，分析季節變化對識別結果的影響。

3.2.1 不同訓練集的試驗結果

把間隔6個月的訓練集分為單季節訓練集（w_train、s_train）和多季節訓練集（w_train+s_train），并使用PCB+Resnet50模型進行牦牛個體識別效果對比試驗。這里，‘w’和‘s’分別表示冬季和夏季。單季節訓練集詳細評估指標如表6所示。

用合并了兩個季節的數據的多季節訓練集（w_train+s_train）訓練牦牛個體識別模型，并在不同的gallery和query數據集上進行測試。相比于單季節訓練數據，當gallery與query同為冬季數據時，mAP提高了10.15%，當query換成間隔6個月的夏季數據時，mAP提高了14.98%。同樣地，當gallery和query均為夏季數據時，mAP提高了0.36%，當使用冬季數據作為query時，mAP下降了3.99%。從此試驗可以看出，夏季作為注冊集時識別效果提升不大，甚至略有下降，導致這種現象的可能原因是牦牛一般在夏季剪毛，降低了牦牛體表紋理特征的豐富程度。多季節訓練集詳細評估指標如表7所示。

對比表6和表7，同樣可以發現在訓練數據集中包含不同季節的圖像有助于促進模型學習到牦牛的軟特征，但是仍不足以完全克服跨季節的長時牦牛個體識別面臨的挑戰，如環境背景的變化和牦牛剪毛導致的體表特征的變化等。

3.2.2 不同模型的試驗結果

使用SE-ResNet50主干網在多季節訓練集上的試驗結果如表8所示。

當使用SE-ResNet50作為骨架網絡時，相比于ResNet50，在多季節數據上訓練好的模型，在冬季gallery數據上，識別冬季query數據的mAP從87.81%提升到了90.15%，識別夏季query數據的mAP則從46.66%提升到了60.37%。同樣地，在夏季數據上訓練好的模型，在夏季gallery數據上，識別夏季query數據的mAP從87.07%提升到了88.65%，而識別冬季query數據的mAP從35.39%提升到了53.34%。

4 試驗結果與分析

4.1 長時牦牛個體識別

不同時間間隔的牦牛個體識別結果如圖6所示，其中上面兩行是使用PCB+ResNet50在時間跨度為12個月和6個月的牦牛圖像上的個體識別效果，下面兩行是使用PCB+SE-ResNet50在時間跨度為12個月和6個月的牦牛圖像上的個體識別效果，圖中的數字1～10表示Rank1～Rank10，紅框表示識別錯誤的牦牛，綠框表示識別正確的。從圖6中可以看出，影響模型識別效果的因素包括外部因素和內部因素，而這些因素會導致牦牛個體類內相似度的降低或者類間相似度的增加，從而造成識別錯誤。

外部因素：由于外部環境或人為因素導致的影響。

1） 拍攝角度變化。由于不同視角觀察到的牦牛身體部位不同，導致缺少有效特征以識別牦牛身份，進而誤識成其它個體（圖7）。

2） 毛發變化。牦牛的毛發隨著時間推移會自然生長，而牧民們會定期對牦牛剪毛，這會改變牦牛的表觀特征。此外，傷病或其他事故等也會導致牦牛體表特征的改變，例如身上傷疤導致花紋變化或折斷牛角等（圖8）。

內部因素：在長時牦牛個體識別中內部因素是指牦牛生長過程中導致牦牛特征發生改變的因素，主要包含以下幾種。

1） 牦牛生長。牦牛個體隨著年齡增長，其體表特征會發生比較明顯的改變，如毛發和牛角的生長，導致類內的相似度降低，增加了識別難度（圖9）。

2） 紋理信息少，個體差異小。由于牦牛群多是近親繁殖，因此牦牛的毛色、花紋、牛角形狀和顏色等具有很高的相似性和遺傳性，特別是純色牦牛（如全身都是黑色毛發），缺乏紋理特征，導致牦牛個體識別極具挑戰性（圖10）。

由于以上因素的影響，長時牦牛個體識別極具挑戰性。為了能夠更好地滿足牦牛養殖場的實際應用需求，降低時間跨度對牦牛個體識別效果的影響，研究人員還需要在數據集構建、模型優化等方面開展更深入更全面的研究工作。

4.2 不同算法模型比較

為了驗證本模型的可靠性，將在長時牦牛個體識別數據集上與PGCFL和ViT算法模型進行對比。試驗結果得出在三種模型中PCB+SE-ResNet50在該數據集上的識別效果達到最佳。詳細評估指標如表9所示。

5 結論

1） 本文建立了間隔6個月和間隔12個月的長時牦牛個體識別圖像數據集，以同一頭牦牛個體為識別對象，首次探討了動物生物特征識別方法受時間變化的影響情況，并在所構建的數據集上使用PCB+ResNet50和PCB+SE-ResNet50進行同時間段和不同時間段的牦牛個體識別效果對比試驗。該試驗結果表明引入注意力機制可以促進模型自主地學習牦牛的關鍵特征，并提取更加魯棒、更具有判別性的軟特征，從而提高長時牦牛個體識別的平均精度均值。

2） 本試驗模型PCB+SE-ResNet50在間隔6個月和間隔12個月的長時牦牛個體識別數據集上與ViT和PGCFL模型識別結果進行比較。相較于ViT，mAP分別提升了1.64%、5.82%；相較于PGCFL，mAP分別提升了12.40%、11.22%。說明該方法在長時數據集上的有效性。

3） 本文詳細探究了時間跨度對牦牛個體識別效果的影響，從內部因素和外部因素兩個角度分析了影響長時牦牛個體識別的主要原因，為解決長時牦牛個體識別提供了良好的理論依據。

4） 構建更大規模的數據集和如何進一步優化適用于長時牦牛個體識別模型是未來的研究重點。

參 考 文 獻

［1］ 張麗霞， 衛澤珍， 李金邦， 等. 動物個體識別方法種種［J］. 野生動物學報， 2015， 36（4）： 475-478.

Zhang Lixia， Wei Zezhen， Li Jinbang， et al. Differential method for animal individual identification ［J］. Chinese Journal of Wildlife， 2015， 36（4）： 475-478.

［2］ Azmi N， Kamarudin L M， Zakaria A， et al. Radio frequency identification （RFID） range test for animal activity monitoring ［C］. 2019 IEEE International Conference on Sensors and Nanotechnology. IEEE， 2019： 1-4.

［3］ Li W， Ji Z， Wang L， et al. Automatic individual identification of Holstein dairy cows using tailhead images ［J］. Computers and Electronics in Agriculture， 2017， 142： 622-631.

［4］ 郭依正， 朱偉興， 馬長華， 等. 基于Isomap和支持向量機算法的俯視群養豬個體識別［J］. 農業工程學報， 2016， 32（3）： 182-187.

Guo Yizheng， Zhu Weixing， Ma Changhua， et al. Top-view recognition of individual group-housed pig based on Isomap and SVM ［J］. Transactions of the Chinese Society of Agricultural Engineering （Transactions of the CSAE）， 2016， 32（3）： 182-187.

［5］ 顧佳音， 劉輝， 姜廣順. 東北虎（Panthera tigris altaica）個體識別技術研究進展［J］. 野生動物， 2013， 34（4）： 229-237.

Gu Jiayin， Liu Hui， Jiang Guangshun. A review of potential techniques for identifying individual Amur tigers （Panthera tigris altaica） ［J］. Chinese Journal of Wildlife， 2013， 34（4）： 229-237.

［6］ 金耀， 何秀文， 萬世主， 等. 基于YOLO v3的生豬個體識別方法［J］. 中國農機化學報， 2021， 42（2）： 178-183.

Jin Yao， He Xiuwen， Wan Shizhu， et al. Individual pig identification method based on YOLO v3 ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 178-183.

［7］ 溫長吉， 張笑然， 吳建雙， 等. 基于多注意力機制級聯LSTM模型的豬臉表情識別［J］. 農業工程學報， 2021， 37（12）： 181-190.

Wen Changji， Zhang Xiaoran， Wu Jianshuang， et al. Pig facial expression recognition using multi-attention cascaded LSTM model ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（12）： 181-190.

［8］ 謝秋菊， 吳夢茹， 包軍， 等. 融合注意力機制的個體豬臉識別［J］. 農業工程學報， 2022， 38（7）： 180-188.

Xie Qiuju， Wu Mengru， Bao Jun， et al. Individual pig face recognition combined with attention mechanism ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（7）： 180-188.

［9］ 董力中， 孟祥寶， 潘明， 等. 基于姿態與時序特征的豬只行為識別方法［J］. 農業工程學報， 2022， 38（5）： 148-157.

Dong Lizhong， Meng Xiangbao， Pan Ming， et al. Recognizing pig behavior on posture and temporal features using computer vision ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（5）： 148-157.

［10］ Kumar S， Singh S K. Monitoring of pet animal in smart cities using animal biometrics ［J］. Future Generation Computer Systems， 2018， 83： 553-563.

［11］ Li Z， Ge C， Shen S， et al. Cow individual identification based on convolutional neural network ［C］. Proceedings of the 2018 International Conference on Algorithms， Computing and Artificial Intelligence， 2018： 1-5.

［12］ Bruslund Haurum J， Karpova A， Pedersen M， et al. Re-identification of zebrafish using metric learning ［C］. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Workshops， 2020： 1-11.

［13］ Cheng X， Zhu J， Zhang N， et al. Detection features as attention （defat）： A keypoint-free approach to Amur tiger re-identification ［C］. 2020 IEEE International Conference on Image Processing （ICIP）. IEEE， 2020： 2231-2235.

［14］ Wang L， Ding R， Zhai Y， et al. Giant panda identification ［J］. IEEE Transactions on Image Processing， 2021， 30： 2837-2849.

［15］ 于雪瑩， 高繼勇， 王首程， 等. 基于生成對抗網絡和混合注意力機制殘差網絡的蘋果病害識別［J］. 中國農機化學報， 2022， 43（6）： 166-174.

Yu Xueying， Gao Jiyong， Wang Shoucheng， et al. Apple disease recognition based on Wasserstein generative adversarial networks and hybrid attention mechanism residual network ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（6）： 166-174.

［16］ 張繼成， 李德順. 基于深度殘差學習的成熟草莓識別方法［J］. 中國農機化學報， 2022， 43（2）： 136-142.

Zhang Jicheng， Li Deshun. Ripe strawberry recognition method based on deep residual learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（2）： 136-142.

［17］ Zhang T， Zhao Q， Da C， et al. Yak ReID-103： A benchmark for yak re-identification ［C］. 2021 IEEE International Joint Conference on Biometrics （IJCB）. IEEE， 2021： 1-8.

［18］ Sun Y， Zheng L， Yang Y， et al. Beyond part models： Person retrieval with refined part pooling （and a strong convolutional baseline） ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 480-496.

［19］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［20］ Li L， Zhang T， Cuo D， et al. Automatic identification of individual yaks in in-the-wild images using part-based convolutional networks with self-supervised learning ［J］. Expert Systems with Applications， 2023， 216： 119431.