基于多尺度殘差視覺信息融合的牧場牛只數量估計方法

摘 要： 由于牧場牛只分布不均以及尺度變化大，傳統的目標計數算法在畜牧領域計數精度不高，且用于研究的牛只數據集較少。針對這些問題創建了一個用于牛只密度估計的數據集，并提出了一種基于多尺度殘差視覺信息融合的牧場牛只數量估計方法。該方法利用多個并列且空洞率不同的空洞卷積提取牛只目標的多尺度特征，并將殘差結構與小空洞率卷積相結合，設計出更適合牛只活體計數的深度神經網絡，從而緩解了由空洞卷積帶來的網格效應的影響，同時能更好地適應牛只的多尺度變化。在牛只密度數據集中，該方法取得了最低的平均絕對誤差（MAE）和均方根誤差（RMSE）。此外，在密集人群數據集中，該方法的MAE和RMSE也屬于最優或次優結果。實驗結果表明，該方法不僅適用于牛只場景的數量估計，在人群密度估計中也有較高的準確性和魯棒性。

關鍵詞： 智慧農牧； 密度估計； 深度學習； 牛數量估計

中圖分類號： TP391.4"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-053-1590-05

doi：10.19734/j.issn.1001-3695.2021.10.0421

Cattle counting estimation method based on multi-scale residual visual information fusion

Yang Wu， Wang Yinghui， Tan Yao， Feng Xin

（School of Computer Science amp; Engineering， Chongqing University of Technology， Chongqing 400054， China）

Abstract： Due to the uneven distribution and large scale-variation range of living cattle，the accuracy of traditional object counting algorithm is not high in living-animal field，and there are few cattle data sets used for research.To solve these pro-blems，this paper established a dataset for cattle density estimation，and proposed a cattle counting estimation method based on multi-scale residual visual information fusion.This method used multiple parallel dilate convolution with different dilate rates to extract multi-scale features of cattle，and combined residual structure with small dilate rate convolution to design a deep neural network more suitable for living cattle object counting，thus eased the effect of grid effect caused by dilate convolution and better adapt to the multi-scale changes of cattle.The proposed method achieved the lowest mean absolute error （MAE） and root mean square error （RMSE） on the cattle density data set.In dense counting data sets，the MAE and the RMSE of the proposed method also achieved the optimal or suboptimal results.The experimental results show that the proposed method is not only suitable for the number estimation of cattle scene，but also has high accuracy and strong robustness in population density estimation.

Key words： wisdom agriculture and animal husbandry； density estimation； deep learning； cow counting estimation

0 引言

在牧場管理中，牛只的數量估計是養殖業管理和資產估算中最重要的任務之一。準確的牛只計數能幫助牧場管理人員對活體資產進行評估，進而提高牧場養殖效率，同時及時發現偷盜行為，幫助企業或個體減少不必要的損失［1］。在實際的牛場中，由于牛只之間的相互遮擋、光照變化等問題，使得在牛場中對牛只進行準確計數極具挑戰性。傳統牧場管理通常采用人工計數的方法，然而這種方法非常耗時、耗力且容易出錯［2］。目前，牧場牛只管理主要采用以電子耳標為核心信息載體的硬件設備進行計數，但硬件設備在畜牧養殖業中存在維護成本高、操作復雜等現實問題，導致目前并未得到大規模應用［2］；同時，穿戴耳標還會給牲畜帶來一些身體傷害，如傷口感染、受到驚嚇等。

基于視覺的目標計數在近幾年得到了廣泛的關注，很多場景都利用視覺信息進行目標計數，例如密集人群計數［3］、農作物目標計數［4］、細胞計數［5］、小目標計數［6］等。但對于畜牧業，基于視覺的計數方法研究還尚少。目前，基于視覺的目標計數方法主要分為三種，即基于檢測、基于回歸和基于密度估計。有些學者使用目標檢測的方法對畜牧進行計數，如Xu等人［7］使用四軸飛行器采集的圖像通過Mask R-CNN對牲畜進行目標檢測與分割，實現了在草場、養殖場場景下的牛活體計數。李琦等人［8］采用YOLOv3目標檢測算法與Deep SORT目標跟蹤算法相結合，并基于雙線計數法實現了草原羊的自動計數。上述方法都只適用于目標相對稀疏的場景。在牧場實際場景下，由于牛只離攝像頭的距離不同，導致牛只的尺度變化大，且多數時候牛只都聚集在一起，存在嚴重遮擋，這種情況目標檢測方法的計數誤差較大。Tian等人［9］通過預測圖像中豬只的密度，估計豬圈中豬只數量，該方法在豬只密度較小時預測準確，但是對于數量超過10的情況，預測誤差較大。

近年來基于深度學習的密集人群密度估計問題取得了不錯的發展。人群密度估計通過學習圖像的局部特征和其相應的密度圖之間的映射，得到預測密度圖。密度圖代表了人群的分布情況以及每個像素點上人的數量，所以通過對密度圖進行求和就能得到估計的人群數量。密度估計按網絡結構分為多列網絡和單列網絡。多列網絡指模型中包含多列卷積，不同的列對應不同尺寸的目標。Zhang等人［10]最先提出多列卷積結構網絡MCNN，該網絡由三列卷積構成，每列卷積都使用不同大小的感受野來提取不同尺度的特征，但后續實驗發現這種方法提取的特征非常冗余，且性能受分支結構限制。之后便有了單列網絡，即只使用一列網絡來提取特征。Li等人［11］提出了CSRNet，通過堆疊空洞卷積，在保持圖像分辨率的情況下增大感受野，進而提高預測精度。Dai等人［12］設計DSNet，使用特定空洞率的空洞卷積組合提取多尺度特征，通過密集連接的方式增強數據間的信息傳遞，但過于密集的連接容易造成數據的過擬合。Wan等人［13］針對標簽信息生成不準確問題提出了KDMG，該網絡不采用固定高斯核生成監督密度圖，而是通過KDMG利用預測的密度圖動態調整監督密度圖。該網絡在人群密度估計中取得了不錯的效果。雖然人群密度估計網絡現在有了較好的發展，但基于深度學習的密度估計算法在牛群等畜牧業中進行嘗試的研究還非常少。

基于此，本文提出一個多尺度殘差視覺信息融合牛群密度估計方法來估計牧場中牛只數量。針對現有的牛只密度分布不均勻、同一圖像中牛的尺度變化大的問題，本文提出了多尺度殘差特征感知模塊，該模塊通過使用多列空洞卷積來獲取多尺度的感受野，同時減弱了連續空洞卷積帶來的網格效應問題。由于沒有公開的牛群數據集，所以本文創建了一個牛只密度數據集，并在該數據集上驗證了本文方法的有效性。

1 牛群數據集的創建

1.1 牛群圖像數據采集

通過在牧場安裝不同的智能攝像頭，對牛只的日常生活進行監控，得到視頻監控數據。采集的視頻數據場景多樣，光照情況變化豐富，能較好地表達牧場的真實情況。對采集的監控視頻進行抽幀，得到大量的牛只圖像，再從這些圖像中選擇不同場景、牛群運動變化大的數據作為訓練數據。最終選擇了740張圖像作為密度估計數據集，總共包含15 146頭牛，每張圖像牛只數量從3～109頭牛不等，并將牛只數據集按6：4劃分為訓練集和測試集，訓練集427張圖像，測試集313張圖像。

數據集的具體情況如表1所示，按場景可以分為四個。第一種為室外魚眼攝像頭圖像，分辨率為640×480，包含圖像131張，標注牛只2 221只，該場景下白天的圖像有87張，夜晚的圖像有44張，其樣本如圖1（a）所示，第一列為夜晚情況，光線不足，可視范圍較小，第二、三列為白天情況，牛群密度適中，多數呈直線型排列，遠離攝像頭部分的牛群遮擋情況較為嚴重。第二種為室內魚眼攝像頭圖像，分辨率為1 280×960和640×480，包含圖像369張，標注牛只5 708只，該場景下白天的圖像有311張，夜晚的圖像有58張，其中部分樣本如圖1（b）所示，第一列為白天室內，第二列為夜晚室內，第三列為白天室內黑牛，該場景的攝像頭安裝在室內頂棚，該視角下的牛群重疊情況相對較輕，牛群呈群體式分布。第三種為室外普通攝像頭圖像，分辨率大小不一，標注牛只2 777只，只包含白天的圖像66張，如圖1（c）所示，該場景下的牛群分布較為均勻且遮擋不嚴重，屬于簡單場景。第四種為室內普通攝像頭圖像，分辨率大小不一，總共包含174張圖像，標注牛只4 440只，其中白天的圖像157張，夜晚的圖像17張，如圖1（d）所示，該場景下的牛群特征較明顯，但分布較為密集且重疊程度非常高，屬于困難場景。

3.3 實驗結果分析

為證明本文方法的有效性，在本文創建的牛只數據集與一個基準人群密度估計數據集（ShanghaiTech）［10］上驗證了效果。

3.3.1 MRVNet在牛只數據集的性能評估

在牛群數據集上對比了目標檢測方法YOLOv4［16］、YOLOv5［17］，密度估計方法MCNN［10］、CSRNet［11］、DSNet［12］與KDMG［13］的計數結果。其中目標檢測方法通過對圖像上的目標進行檢測，統計檢測到的目標框數量計算計數數量。使用MAE和RMSE指標來評價計數的準確性與模型的魯棒性。

在牛群數據集上，MAE與RMSE的評價結果如表2所示。可以看到對比其他方法，本文方法MRVNet的MAE和RMSE都是最低的，與次優方法DSNet比，MAE下降了34.6%左右，RMSE下降了43.9%左右。從不同的方法的實驗結果可以觀察到，YOLOv4和YOLOv5目標檢測方法通過統計檢測到的牛只目標框進行計數，由于牛群目標重疊嚴重、小目標多，這種場景下使用目標檢測的方法會產生很多漏檢；相比目標檢測的方法，CSRNet、DSNet、KDMG這類基于密度估計的方法計數效果更好，這些算法更加適應牛群數據遮擋嚴重的情況；MCNN通過三個不同的卷積通道學習不同大小的特征，但由于分支結構限制，每列的信息并沒有產生共享，實際的效果也證明該方法并沒有很好地適應牛群的多尺度變化；CSRNet在網絡后端使用空洞卷積保持特征的分辨率不變并提取更加深層的特征，該方法能提取更加細致的特征，但仍然無法適應尺度變化大的問題；DSNet利用密集連接的空洞卷積來保持信息的連續傳遞以及多尺度特征的提取，但過于密集的連接容易導致數據的過擬合，由于訓練數據中屬于50～100這個數量級的訓練數據占比非常小，該網絡對這部分數據的預測準確率直線下降；KDMG方法利用網絡預測的結果來生成監督信息，但使用的約束較少，導致生成的監督信息并不特別適用于牛群數據集；而本文的MRVNet疊加多個多尺度殘差特征感知模塊，利用三個不同空洞率的空洞卷積提取多尺度特征，適應牛群的尺度變化，同時采用殘差連接的方式將淺層的特征信息傳遞到深層，削弱了由空洞卷積帶來的網格效應，彌補了丟失的像素特征信息，因此在MAE和RMSE值上均能達到最佳性能。該實驗證明，MRVNet能夠較為準確地計數牛場中牛群的數量，整體平均誤差在1.7左右。

為了使結果分析看起來更加清晰，將牛群數據集按照真實標簽數據升序排列，并將其劃分為11組，前十組數據都包含31張圖像，最后一組包含2張圖像。測試結果如圖6所示，橫坐標表示分組組號，縱坐標表示每張圖像中牛的數量，本文方法在各個組的預測數據都與真實數據重合度較高。MCNN整體預測數量偏低，CSRNet對于牛只數量較少、場景簡單的牛只預測量準確，而對于數量超過18的牛只數量預測偏少，DSNet和KDMG方法在牛只數量超過20的預測相對不準確。而目標檢測的方法由于牛群遮擋情況嚴重、檢測效果不佳，所以整體預測數量都偏低。綜上所述，本文MRVNet方法對牛群數量估計最準確且魯棒性更好。在牛群數據集上各模型的部分預測結果如圖7所示。第一列為原始牛群圖像，第二列為真實密度圖，之后每一列分別為MCNN、CSRNet、DSNet、KDMG預測的密度圖，最后一列為本文方法MRVNet預測的密度圖。圖中GT為真實牛只數量，Est為密度預測數量。

本文方法MRVNet預測值在任何場景中都比較貼近于真實值。從預測密度的分布來看，本文方法與真實密度圖的分布更加匹配。對比密度圖生成質量，MCNN受背景的干擾比較大，會將一些背景信息識別成牛，特別是在魚眼室內攝像頭的夜晚場景以及室內普通攝像頭場景中，MCNN方法幾乎失效，背景與牛群信息無法區別。CSRNet在室內魚眼攝像頭夜晚和室內普通攝像頭這兩種場景受背景干擾較大，模型的魯棒性較差。從預測密度圖的個體區分性來看，本文方法對稀疏的場景有比較清晰的邊界區分，即使在區分度不大的黑牛群體，也能有較清晰的邊界，同時預測數量較為準確，但對比CSRNet、DSNet算法，在黑牛場景下邊界信息非常不清晰、預測數量差距較大。在簡單場景下，KDMG效果與本文方法效果相當，但在室內普通攝像頭場景受光線影響較大，在光線較暗的地方預測的密度圖過于稀疏。綜合多個方面，本文提出的密度估計網絡結果更加準確，預測的密度分布與真實密度圖分布更加接近，且對各種場景的適應性都比較好，對于稀疏的場景能較為清晰地分辨出邊界，對背景的抗干擾能力較強。

3.3.2 MRVNet在ShanghaiTech數據集上的性能評估

MRVNet不僅在牛群數據集的密度預測效果較好，同時在人群密度估計中也能取得較好的結果。ShanghaiTech是一個大型密集人群密度估計數據集，包含ShanghaiTech_A和ShanghaiTech_B兩部分。ShanghaiTech_ A部分隨機采集于互聯網上，人群分布較為密集，情況更加復雜。ShanghaiTech_B部分采集于上海某商業街，每張圖像的人數相對稀疏。在該數據集上的實驗結果如表3所示。

在較為復雜的ShanghaiTech_A部分，MRVNet的MAE和RMSE都優于目前先進的方法，ShanghaiTech_ B部分也達到了次優的效果。該實驗從側面驗證了本文的MRVNet方法有較強的適應性和魯棒性，針對完全不同的場景和目標都能有較好的預測結果。

4 結束語

針對牛群分布不均、尺度變化大的問題，本文提出了多尺度殘差牛群密度估計網絡，利用不同空洞率的空洞卷積來獲得多尺度的特征，再加入殘差結構，減弱了使用空洞卷積帶來的網格效應問題。實驗證明與傳統人群密度估計方法相比，本文方法效果更好、計數更加準確、模型魯棒性更好。但目前牛群數量估計還有一些需要改進的地方，比如監督信息的生成，由于人群密度估計的目標和牛群密度估計的目標不一樣，使用傳統高斯核生成的監督信息并不是特別適合牛群。因為人群通常標注的是人頭，而牛個體的形狀與人頭相差甚遠。后續將會往標注信息生成方向進行改進。此外，未來在數據集建設和數據標注方面可以參考一些自動或半自動標注的方法來縮減人工標注量，提升效率［21］。

參考文獻：

［1］Kamilaris A，Prenafeta-Boldú F X.Deep learning in agriculture：a survey［J］.Computers and Electronics in Agriculture，2018，147：70-90.

［2］張國鋒，肖宛昂.智慧畜牧業發展現狀及趨勢［J］.中國國情國力，2019（12）：33-35. （Zhang Guofeng，Xiao Wan’ang.Intelligent animal husbandry development status and trend［J］.China National Conditions and Strength，2019（12）：33-35.）

［3］Idrees H，Saleemi I，Seibert C，et al.Multi-source multi-scale counting in extremely dense crowd images［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：2547-2554.

［4］黃紫云，李亞楠，王海暉.基于上下文多尺度融合的棉鈴計數算法［J］.計算機應用研究，2021，38（6）：1913-1916. （Huang Ziyun，Li Yanan，Wang Haihui.Cotton bolls counting algorithm in field based on density level classification［J］.Application Research of Compu-ters，2021，38（6）：1913-1916.）

［5］劉曉平.基于深度學習的熒光顯微成像中細胞自動計數方法研究［D］.成都：電子科技大學，2020. （Liu Xiaoping.Automatic cell counting in fluorescence microscopy based on deep learning［D］.Chengdu：University of Electronic Science and Technology of China，2020.）

［6］Ma Zheng，Yu Lei，Chan A B.Small instance detection by integer programming on object density maps［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：3689-3697.

［7］Xu Beibei，Wang Wensheng，Falzon G，et al.Automated cattle coun-ting using Mask R-CNN in quadcopter vision system［J］.Computers and Electronics in Agriculture，2020，171：article ID 105300.

［8］李琦，尚絳嵐，李寶山.基于頭部圖像特征的草原羊自動計數方法［J］.中國測試，2020，46（11）：20-24. （Li Qi，Shang Jianglan，Li Baoshan.Method for grassland sheep automatic counting based on head image features［J］.China Measurement amp; Test，2020，46（11）：20-24.）

［9］Tian Mengxiao，Guo Hao，Chen Hong，et al.Automated pig counting using deep learning［J］.Computers and Electronics in Agriculture，2019，163：article ID 104840.

［10］Zhang Yingying，Zhou Desen，Chen Siqin，et al.Single-image crowd counting via multi-column convolutional neural network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2016：589-597.

［11］Li Yuhong，Zhang Xiaofan，Chen Deming.CSRNet：dilated convolutional neural networks for understanding the highly congested scenes［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1091-1100.

［12］Dai Feng，Liu Hao，Ma Yike，et al.Dense scale network for crowd counting［C］//Proc of International Conference on Multimedia Retrieval.New York：ACM Press，2021：64-72.

［13］Wan Jia，Wang Qingzhong，Chan A B.Kernel-based density map generation for dense object counting［C］//Proc of IEEE Trans on Pattern Analysis and Machine Intelligence.Piscataway，NJ：IEEE Press，2020.

［14］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）［2021-10-13］.http：//arxiv.org/abs/1409.1556.

［15］Yu F，Koltun V.Multi-scale context aggregation by dilated convolutions［EB/OL］.（2016-04-30）［2021-10-13］.https：//arxiv.org/abs/1511.07122.

［16］Bochkovskiy A，Wang Chenyao，Liao Hongyuan.YOLOv4：optimal speed and accuracy of object detection［EB/OL］.（2020-04-26）［2021-10-13］.https：//arxiv.org/abs/2004.10934v1.

［17］Jocher G.YOLOv5［EB/OL］.（2020-06-09）［2021-09-12］.https：//github.com/ultralytics/yolov5.

［18］Shen Zhan，Xu Yi，Ni Bingbing，et al.Crowd counting via adversarial cross-scale consistency pursuit［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5245-5254.

［19］Cao Xinkun，Wang Zhipeng，Zhao Yanyun，et al.Scale aggregation network for accurate and efficient crowd counting［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：757-773.

［20］Long Yang，Tan Yao，Organisciak D，et al.Towards light-weight annotations：fuzzy interpolative reasoning for zero-shot image classification［C］//Proc of the 29th British Machine Vision Conference.2018.

［21］Lu Hao，Cao Zhiguo，Xiao Yang，et al.TasselNet：counting maize tassels in the wild via local counts regression network［J］.Plant Methods，2017，13（1）：1-17.