改進Faster R-CNN的群養豬只圈內位置識別與應用

王 浩，曾雅瓊，裴宏亮，龍定彪，徐順來，楊飛云，劉作華，王德麾

改進Faster R-CNN的群養豬只圈內位置識別與應用

王 浩1，曾雅瓊1，裴宏亮2，龍定彪1，徐順來1，楊飛云1，劉作華1，王德麾3※

（1. 重慶市畜牧科學院，重慶 402460；2. 四川大學機械工程學院，成都 610065；3. 四川大學空天科學與工程學院，成都 610065）

群養圈欄內豬只的位置分布是反映其健康福利的重要指標。為解決傳統人工觀察方式存在的人力耗費大、觀察時間長和主觀性強等問題，實現群養豬只圈內位置的高效準確獲取，該研究以三原色（Red Green Blue，RGB）圖像為數據源，提出了改進的快速區域卷積神經網絡（Faster Region Convolutional Neural Networks，Faster R-CNN）的群養豬只圈內位置識別算法，將時間序列引入候選框區域算法，設計Faster R-CNN和輕量化CNN網絡的混合體，將殘差網絡（Residual Network，ResNet）作為特征提取卷積層，引入PNPoly算法判斷豬只在圈內的所處區域。對育成和育肥2個飼養階段的3個豬圈進行24 h連續98 d的視頻錄像，從中隨機提取圖像25 000張作為訓練集、驗證集和測試集，經測試該算法識別準確率可達96.7%，識別速度為每幀0.064 s。通過該算法獲得了不同豬圈和日齡的豬群位置分布熱力圖、分布比例和晝夜節律，豬圈飼養面積的增加可使豬群在實體地面的分布比例顯著提高（＜0.05）。該方法可為豬只群體行為實時監測提供技術參考。

卷積神經網絡；機器視覺；圖像識別；算法；群養豬；位置識別

0 引 言

群體散養是生豬標準化規模養殖的主要飼養方式之一。當前，中國規模化養豬場在母豬后備選育和商品豬哺乳、保育、育成、育肥等飼養階段均采用群體散養的方式，僅在母豬配種、妊娠、分娩階段豬采用個體限位飼養，雖然個體限位飼養可以防止群體打斗和方便個體飼喂管理，但嚴重限制了豬只活動空間和行為表達，導致豬只刻板行為、慢性應激、跛行、皮膚損傷等不利影響[1-3]，降低母豬福利水平和生產性能[4-5]，近年來，隨著福利養殖理念的不斷深入，妊娠母豬群體散養工藝逐步在規模化豬場中得到應用，特別是歐盟理事會指令2001/88/EC明確提出[6]，歐盟國家從2013年1月開始禁止妊娠母豬限位飼養，母豬配種后4周至預產期前1周必須采用群體散養的方式。因此，群體散養將是未來養豬場絕大多數豬只的飼養方式，也將是生豬設施養殖工藝及配套設備領域的技術研究重點。

豬只在群養豬圈內具有主動將躺臥位置和排泄位置分開的自然行為[7-9]，并在固定區域形成躺臥、排泄、采食、活動等空間功能區[10-11]。豬只在群養圈欄內的空間位置與豬舍溫度、風速、光照、飼養密度、豬圈設計等多種因素密切相關[12]，并對豬舍清潔衛生和豬只福利產生影響。溫度升高會使半漏縫地板豬舍內更多豬只選擇在漏縫地板區域躺臥[13]，導致躺臥區糞尿污染程度增加[14-15]；Randall等[16]發現豬圈內風速分布會影響豬群功能分區，當新鮮空氣先經過躺臥區再流向排泄區時，躺臥區糞便污染風險更高；Larsen等[17]發現飼養密度較高時，豬只在躺臥區排泄的情況增加；光照強度會影響豬只休息位置的選擇[18-19]，且更偏向于在光照強度較低的區域進行休息；圈欄形狀、面積、分隔方式、地面和設備布置等豬圈設計因素對豬只排泄位置和豬圈清潔衛生有明顯影響[20-23]。因此，掌握豬只在群養圈欄內的位置分布及其隨環境的變化情況，對豬圈優化設計、設備研發和豬舍局部環境調控均有重要借鑒意義。

以往針對群養豬只圈內位置的研究大多采用人工觀察視頻錄像的方式[24-25]，但普遍存在人力耗費大、觀察時間長、主觀性強等不足。近年來，機器視覺和深度學習技術在生豬養殖領域的應用快速發展[26-30]，其中卷積神經網絡（Convolutional Neural Networks, CNN）中以快速區域卷積神經網絡（Faster Region Convolutional Neural Networks，Faster R-CNN）為代表的算法由于其在目標檢測任務中性能優越，受到廣大研究者的關注，為群養豬只自動識別與分析提供了新的解決思路。大量學者研究了群養豬的圖像分割[31-33]、生豬個體身份識別[34-36]、運動軌跡追蹤[37-39]和侵略行為識別[32]等，為群養豬只的識別、定位、追蹤提供了技術借鑒，但大多以豬只數量盤點和特定行為判定為研究目標，從豬群位置識別及分布的角度進行研究和分析的還比較少。Zheng等[40]利用深度圖像和Faster R-CNN實現了開放式分娩欄中母豬姿態及其圈內位置的自動識別，獲得了母豬在分娩欄中24 h的位置分布情況，并發現母豬躺臥位置的選擇與豬圈地面設計相關，該文為豬只圈內位置識別和分布奠定了技術基礎，但分娩欄中母豬為單體飼養，無法直接應用于群養豬只，且深度圖像的獲取成本較普通三原色（Red Green Blue, RGB）圖像更高。

本研究針對豬只群體散養這一福利飼養模式，利用普通網絡攝像機獲得的豬群飼養RGB圖像為數據源，通過改進Faster R-CNN算法和引入PNPoly算法等途徑，實現群養豬只圈內位置及分布情況的自動識別，提高識別準確率、減少識別時間，為豬圈空間功能優化設計和局部環境精準調控提供技術支撐。

1 材料與方法

1.1 數據采集

1.1.1 試驗條件

試驗數據于2018年8－11月采集于重慶市畜牧科學院試驗豬場某生長育肥舍，該豬舍共有12個群養豬圈，分上下2排布置，豬圈地面包含漏縫地板和實體地板2個區域，綜合考慮豬圈的舍內位置、面積大小和福利玩具配置等因素，選取豬圈3、4、12作為數據采集豬圈，其中豬圈3、4的面積均為12.59 m2，長、寬、高分別為4.01、3.14、0.9 m，豬圈12的面積為16.20 m2，長、寬、高分別為5.16、3.14、0.9 m，所有豬圈的漏縫地板寬度為1.5 m，實體地板寬度為1.64 m，豬圈4、12在漏縫地板區2個角落裝有豬用咬鏈，豬圈3沒有配置豬用咬鏈，具體布置如圖1所示。豬舍采用“濕簾+風機”縱向通風方式進行環境調控，豬只飲水采用碗式飲水器自由飲水，飼料由飼養員每天8:00和14:00定時投放到各豬圈的圓形料槽內供豬只自由采食。試驗豬只共飼養98 d，涵蓋生長、育肥2個飼養階段，其中生長階段42 d，每圈飼養豬只18頭，育肥階段56 d，每圈飼養豬只12頭，豬只品種為三元雜交豬（杜洛克×長白×大白），豬只初始平均質量為（23.5±3.5）kg，結束平均質量為（104.2±7.5）kg，體表顏色以白色為主。

1.1.2 視頻采集

試驗在豬圈3、4、12上方的豬舍頂棚分別安裝大華攝像頭進行豬圈區域RGB視頻的俯視拍攝和錄制（圖1），攝像頭安裝高度距離豬圈地面2.8 m，視角范圍可覆蓋豬圈內全部豬只的所有活動區域，試驗對98 d飼養期進行24 h連續視頻錄制，錄制視頻幀率為每秒24幀，存儲像素為1 920×1 080，存儲為.dav格式。

注：1~12表示豬圈的編號。

1.1.3 圖像獲取

試驗采用大華.dav文件播放器從采集到的視頻中截取圖像，考慮到豬群夜間活動頻率低于白天，試驗將視頻分為夜間（20:00－08:00）和白天（08:00－20:00）2部分進行區別處理，視頻文件幀率為每秒24幀，理論上將視頻中所有圖像進行標定和訓練所獲取的網絡的泛化能力及魯棒性都是最佳的，但這樣會大幅增加樣本標定的工作量，且由于豬只在較短時間內移動距離有限，相鄰圖像之間并無明顯差異，這樣作為樣本圖像就存在重復和無效的可能。為兼顧樣本總量和樣本間差異性這2項要求，確定適宜的截取樣本圖像的時間間隔（，s），隨機選取試驗期間某豬圈某天每個小時的前5 min視頻段，分析了夜間和白天2個時段8種時間間隔分別為1/24、1/12、1/6、1/3、1、3、5和7 s下相鄰圖像間像素變化數量（），如圖2所示，夜間和白天的值分別在值為5和3 s時達到最高值，即在該條件下相鄰圖像間像素變化數量最大，因此確定夜間和白天截取樣本圖像的時間間隔分別為5和3 s。按該方法從全部視頻中截取圖像，并從中隨機抽取25 000張用于算法研究。

圖2 截取樣本圖像的不同時間間隔（T）對應的相鄰圖像間像素變化數量（P）

1.1.4 數據集介紹

試驗將獲取的25 000張圖像隨機分配成3組，即訓練集S為20 000張、測試集S為3 000張、驗證集pre為2 000張，利用Github開源軟件make_VOC2007對訓練集S和測試集S中的每張圖像內的所有豬只進行矩形標注，標注范圍為任意姿態下各個豬只的最小包絡矩形，標注完成后使用圖像坐標系，以像素為單位，記錄該矩形區域的左上角坐標(t,t)，以及矩形區域的長度和寬度(t,t)。

1.2 群養豬只圈內位置識別算法構建

1.2.1 改進Faster R-CNN的群養豬只識別與定位算法設計

本研究針對傳統Faster R-CNN存在的識別速度較慢的問題，提出了改進Faster R-CNN的群養豬只識別與定位算法，即輕量化CNN和基于殘差網絡特征提取的Faster R-CNN的混合體，其網絡結構如圖3所示。

注：代表融合層，用于將輸入和輸出采取相加進行合并；二維卷積層（3，3，1，32）表示32個大小為3×3×1的卷積核；全連接層（512）表示大小為512的全連接層；全連接層（1）表示大小為1的全連接層。

通過對每頭豬只候選區域進行滑窗法計算，將等比例豬只大小區域的圖片進行歸一化處理得到150×100像素的圖片，并將其輸入輕量化CNN網絡進行判斷，根據經驗，若豬只判斷網絡輸出閾值>97%，則判定當前位置為豬只所在位置，否則判定為非豬只區域，最終獲得豬只位置{ω0, ω1, …,ω,…,}和數量n，其中ω表示時刻圖像中第個豬只的中心位置；3）判斷通過輕量化CNN獲得的豬只數量相對于上一幀圖像的豬只數量是否有變化，如果否，則將輕量化CNN獲得的結果直接作為當前幀圖像的豬只位置和數量，如果是，則使用基于殘差網絡特征提取的Faster R-CNN對當前幀圖像進行重新識別，并將其結果作為當前幀圖像的豬只位置和數量。

輕量化CNN由3個卷積塊和全連接層構成，每個卷積塊中包含1個二維卷積層，為32個3×3×1大小的卷積核，用于提取圖像中存在的特征，1個正則化層用于防止過擬合，1個激活函數層用于構建非線性的特征，和1個提取網絡步長為2的最大池化層，用于降低特征數量，提取到關鍵信息。卷積層后添加了2個全連接層，大小分別為512和1，以及歸一化函數用于分類。

經典Faster R-CNN通常采用淺層網絡堆疊卷積層，其提取特征能力有限，往往通過增加卷積層的層數來提高特征提取能力，但同時會產生網絡梯度消失或梯度爆炸等問題，造成網絡結構不收斂，本研究為解決此問題，選用殘差網絡（Residual Network, ResNet）作為特征提取網絡，殘差網絡采用跳躍連接，即在神經網絡的輸入為，要擬合的函數映射（即輸出）為()的情況下，構建一個殘差映射()為()?，則原始的函數映射()可以表示為()+，殘差網絡的引入提高了輸入和輸出的相關性，從而保證在深層網絡良好的收斂性。本研究設計的殘差網絡特征提取模塊主要由4個殘差模塊構成，每個殘差模塊由1個二維卷積層、2個正則化層和2個激活函數構成，其中每個卷積層由32個3×3×1卷積核構成，用于提取圖像中的特征，正則化層用于防止網絡過深過擬合，激活函數用于對網絡模型中的特征進行整流，每個殘差模塊的輸入和輸出均采取相加進行合并，用于解決深層網絡訓練的梯度消失和訓練退化的問題。

1.2.2 豬圈區域劃定與豬只所在區域判定

本研究基于豬圈圖像構建了以像素為單位、水平方向為軸、豎直方向為軸的圖像坐標系im(,)，通過有序的點集合{0,1,…,p}連接成由多段線構成的任意形狀的區域，其中一個坐標系中可以設定多個區域。圖4a是在某圖像中劃定的區域A，圖4b展示了基于PNPoly算法判定豬只與區域A的關系，其原理為從豬只中心點ω點向區域A邊界線上的任意一點引出一條射線，計算該射線與區域A邊界線交點的個數，當交點個數為奇數時，判定ω點所代表的的豬只在區域A內部，當交點個數為偶數時，則判定ω點所代表的的豬只在區域A外部。按此方法判定圖像中全部豬只與全部區域的關系，最終計算該圖像各個區域內的豬只數量。

注：圖4b中，實線是圖像邊界，虛線是區域A邊界，圓點是構成區域A的人為設定的點，方點是豬只中心點；ωtin為區域A內部某豬只的中心點，ωtout為區域A外部某豬只的中心點；點劃線是從豬只中心點向區域A邊界任意一點引出的射線，三角點是射線與區域A邊界的交點。

1.2.3 算法訓練

1）訓練平臺介紹：內存32 GB，顯卡為Nvidia GTX2080型號的GPU，I5型號CPU的硬件平臺和Win10操作系統，在Keras深度學習框架上，采用Python 作為編程語言實現本研究改進的 Faster R-CNN 算法。

2）訓練方法及條件設置：本研究使用小批量的隨機梯度下降法，對改進Faster R-CNN以端對端的聯合方式進行訓練，設置mini-batch大小為256，沖量為0.9，權值的衰減系數為0.1，每隔 100×1 000次保存一個模型，最終選取精度最高的模型。在模型的初始化中，對輕量化CNN進行隨機初始化，而對Faster R-CNN的卷積層以及網絡中的全連接層則以0為均值、0.01為標準差的高斯分布隨機初始化。算法訓練的迭代終止條件為損失值loss<0.02，損失值loss的計算方法如式（2）所示：

loss=IOU+cls（2）

其中IOU和cls的計算方法如式（3）～式（9）所示

1.2.4 算法評價指標

該研究采用準確率（F，%）和檢測時間（t，s）作為算法性能的評價標準，其中準確率F是類別準確率（，%）和召回率（，%）的平均值，類別準確率是衡量模型對豬只類別的識別能力，是算法識別出的豬只占所有類別的比例，召回率是衡量豬只模型對正確樣本的覆蓋能力，檢測時間t是衡量豬只位置檢測的速度。其計算如式（10）～（12）所示：

式中T表示正確樣本數量，F表示錯誤樣本數量，T表示預測出樣本位置，P表示真實位置。

2 結果與分析

2.1 模型訓練結果

選用128層殘差網絡，分別以0.1、0.4、0.7為學習率，其損失值loss變化如圖5所示。其中，損失值降低速度隨著迭代批次增加而變得緩慢，當學習率較大時，損失值降低速度下降較快，較容易收斂，但同時容易停止不前，相比之下，學習率較小的訓練，則容易達到擬合要求，因此本研究將算法學習率設置為0.1。本研究算法對群養豬只的識別效果如圖6所示。

圖5 不同學習率時的損失值變化

注：矩形框為識別到的豬只位置。

2.2 網絡參數對模型識別性能的影響

2.2.1 基礎網絡結構對模型識別豬只的性能影響

為了確定本研究提出的改進Faster R-CNN與其他基礎網絡結構模型之間識別豬只的性能差異，當共享卷積層層數為128時，將其與VGG16和AlexNet這兩種常用基礎網絡結構模型進行對比，如表1所示，選用VGG16網絡作為特征提取層時模型的準確率為89.01%，平均檢測時間為0.053 s，當選用ALexNet網絡作為特征提取層時模型的準確率為92.01%，平均檢測時間為0.058 s，而本研究提出的改進Faster R-CNN模型的準確率可達96.70%，平均檢測時間為0.064 s，在平均檢測時間相差不多的情況下，準確率較前2種模型分別提高了8.64%和5.10%，具有更優的識別性能。

表1 不同網絡結構模型識別豬只的性能對比

2.2.2 網絡深度對模型識別豬只的性能影響

為了確定適宜的網絡深度，本研究對比了5種殘差網絡層數下模型的識別性能，如表2所示，隨著網絡層數的增加模型識別準確率不斷提高、平均檢測時間也持續增加，但對比128、256、512三種網絡層數可以發現，網絡層數為128時模型的準確率相比網絡層數為256和512時僅分別提高了0.21%和0.41%，但檢測時間卻分別增加了56.25%和87.5%，為了兼顧準確率和檢測時間，本研究設定殘差網絡層數為128。

表2 不同網絡深度模型識別豬只的性能對比

2.3 群養豬只圈內位置識別的應用效果

為測試本研究構建的改進Faster R-CNN算法的應用效果，以群養豬只圈內位置的時空分布和晝夜節律為研究案例進行應用方法及效果的展示，針對3個試驗豬圈（豬圈3、4和12），分別選取2個飼養階段（生長和育肥）的第3天、第10天、第24天的視頻錄像進行豬只圈內位置識別及區域分布統計，從每天的視頻錄像中以1 min為時間間隔在白天（9:00－17:59）和夜間（21:00－6:59）2個時段分別選擇400張圖片作為試驗圖像，利用本研究提出的算法識別出每張圖像中所有豬只的中心點坐標。利用豬只坐標數據進行2個方面的數據統計，1）使用Python官方軟件包索引PyPI提供的熱力圖包（PyheatMap-0.1.12）生成各豬圈每天的豬群位置分布熱力圖；2）將豬圈劃分為實體地板和漏縫地板2個區域（圖7），通過PNPoly算法獲得各圖像中2個區域內的豬只數量，并計算得到不同豬圈、飼養階段、飼養日齡時豬群在實體地板區域的分布比例。

2.3.1 不同豬圈大小、飼養階段和日齡下群養豬只圈內位置分布與區域判斷

由圖8可知，所有豬圈和飼養天數內豬群分布熱力圖在實體地面和漏縫地板之間均存在明顯的分界線，說明豬舍地面類型的差異對豬只位置分布有明顯的影響，豬圈12相比豬圈3和豬圈4，豬群分布更加集中在實體地面區域，說明在飼養規模一致的前提下，飼養空間越大豬只在位置選擇上更加傾向于實體地面，同時，通過不同飼養日齡的熱力圖對比可以發現，豬圈12隨著飼養日齡的增加，豬只在生長、育肥2個飼養階段均呈現出在漏縫地板區域分布增加的趨勢，這可能是由于豬只體重的增長導致豬只實際使用空間的相對降低，進而影響豬只空間位置的選擇。

注：綠色部分為實體地板區域，紅色部分為漏縫地板區域。

圖8 不同豬圈和飼養階段生長和育肥豬的位置分布熱力圖

由表3可知，3個試驗豬圈內豬群在實體地面上的分布比例均存在顯著差異，在生長階段后期豬圈12內豬群在實體地面的分布比例比豬圈3和4的分別顯著提高了8.2%和41.7%（<0.05），在育肥階段后期豬圈12內豬群在實體地面的分布比例比豬圈3和4的分別顯著提高了7.9%和30.4%（<0.05），且隨著飼養天數的增加，豬圈內12豬只在實體地面的分布比例呈下降趨勢。

表3 不同豬圈和飼養階段生長和育肥豬在實體地面區域的分布比例

注：不同小寫字母表示同列數據差異顯著（<0.05）。

Note: Different lowercases indicate significant difference among the same columns, at 0.05 level.

2.3.2 群養豬只圈內位置的晝夜節律變化

圖9為3個試驗豬圈在生長階段末期實體地面上豬只數量占比的晝夜節律變化情況，可知在夜間（19:00－6:00）休息和午休（10:00－13:00）2個時段內，豬只在3個試驗豬圈實體地面的分布比例呈現一致的梯度規律，即豬圈12最高、豬圈4次之、豬圈3最低，這與表3中的結果一致，豬圈3和4雖然空間大小一致，但豬圈4在漏縫地板區域增加了豬用咬鏈，而豬圈3沒有設置，這說明在在漏縫地板區域增加豬用咬鏈可以有助于豬群區分休息區和活動區。另外，從圖9中可以看出白天有2次明顯的采食時段（8:00－9:00，14:00－15:00），這與飼養員開始投料的時間相吻合（8:00和14:00），這2個時段內豬只在3個試驗豬圈實體地面的分布比例基本一致，這也說明料槽這種剛需性設備在豬圈的位置布局是影響豬只圈內分布的關鍵因素，其具有被動性和特殊性，在分析豬只圈內自由分布規律時應將其剔除或單獨分析。

圖9 不同豬圈內實體地面豬只比例的晝夜節律變化

3 結 論

1）以普通三原色（Red Green Blue，RGB）圖像為數據源，提出了改進的快速區域卷積神經網絡（Faster Region Convolutional Neural Networks，Faster R-CNN）的群養豬只圈內位置識別算法，將時間序列引入候選框區域算法，設計了Faster R-CNN和輕量化CNN網絡的混合體，將殘差網絡（Residual Network, ResNet）作為特征提取卷積層，引入PNPoly算法判斷豬只在圈內的所處區域，試驗發現適宜的算法學習率為0.1，當殘差網絡層數為128時，該算法的識別性能最佳，其識別準確率可達96.7%，識別速度為每幀0.064 s。

2）由本研究算法獲取的豬群位置分布熱力圖和區域分布比例發現，豬只在群養豬圈內的位置分布受地板類型的顯著影響，在所有豬圈的豬群位置分布熱力圖中，漏縫地板和實體地板之間均存在清晰的分界線，豬圈大小對豬群位置分布影響顯著，在生長階段后期，豬圈12與豬圈3、4相比，豬只在實體地板上的分布比例分別顯著提高了8.2%和41.7%（<0.05），在育肥階段后期，豬圈12與豬圈3、4相比，豬只在實體地板上的分布比例分別顯著提高了7.9%和30.4%（<0.05），且隨著飼養日齡的增加，豬只在實體地板上的分布比例呈降低趨勢，對于半漏縫地板豬圈，在漏縫地板區域設置豬用咬鏈有助于豬群主動將休息區和活動區分開。

3）從豬只位置分布的晝夜節律可以快速確定豬群的休息、活動和采食時間段，夜間休息時間段為19:00－6:00，午休時間段為10:00－13:00，采食時間段為8:00－9:00和14:00－15:00，豬只圈內位置分布受飼喂器位置的顯著影響，建議在后續的研究中將飼喂器附近的區域進行特殊處理。

4）本研究可為豬圈優化設計和局部環境控制等方面的研究提供數據高效獲取的技術基礎，在豬群圈內位置與豬圈空間參數的相關性方面提供了定性和定量結果，豐富了生豬養殖設施研究過程中對豬群行為方面的評價指標，有助于促進生豬養殖智能化和福利化轉型升級。

[1] Chapinal N, Ruiz de la Torre J L, Cerisuelo A, et al. Evaluation of welfare and productivity in pregnant sows kept in stalls or in 2 different group housing systems[J]. Journal of Veterinary Behavior: Clinical Applications and Research, 2010, 5(2): 82-93.

[2] Von Borell E, Broom D M, Csermely D, et al. The welfare of intensively kept pigs[R]. Brussels: Directorate General XXIV of the European Commission, Scientific Veterinary Committee, Animal Welfare Section, 1997.

[3] 李偉，劉作華，王朝元，等. 豬床單元寬度及群體位次對妊娠母豬行為的影響[J]. 農業工程學報，2017，33(22)：248-254.

Li Wei, Liu Zuohua, Wang Chaoyuan, et al. Impact of unit width of swine bed and social hierarchy on behavior of pregnant sows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(22): 248-254. (in Chinese with English abstract)

[4] Jensen K H, Pedersen B K, Pedersen L J, et al. Well-being in pregnant sows: Confinement versus group housing with electronic sow feeding[J]. Acta Agriculturae Scandinavica, 1995, 45(4): 266-275.

[5] Bates R O, Edwards D B, Korthals R L. Sow performance when housed either in groups with electronic sow feeders or stalls[J]. Livestock Production Science, 2003, 79(1): 29-35.

[6] European Commission Council. Council directive 2001/88/EC of 23 October 2001 amending directive 91/630/EEC laying down minimum standards for the protection of pigs[J]. Official Journal of the European Communities, 2001(88): 1-4.

[7] Whatson T S. Development of eliminative behaviour in piglets[J]. Applied Animal Behaviour Science, 1985, 14(4): 365-377.

[8] Simonsen H B. Behaviour and distribution of fattening pigs in the multi-activity pen[J]. Applied Animal Behaviour Science, 1990, 27(4): 311-324.

[9] Andersen H M, Kongsted A G, Jakobsen M. Pig elimination behavior: A review [J]. Applied Animal Behaviour Science, 2020, 222: 1-9.

[10] 施正香. 健康養豬的空間環境構建與養殖技術模式研究[D]. 北京：中國農業大學, 2014.

Shi Zhengxiang. Study on Spatial Environmental Building and Healthy Raising Technologies in Pig Loose Housing System[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

[11] 劉安芳，阮蓉丹，李廳廳，等. 豬舍內糞污廢棄物和有害氣體減量化工程技術研究[J]. 農業工程學報，2019，35(15)：200-210.

Liu Anfang, Ruan Rongdan, Li Tingting, et al. Research progress of in-house reduce engineering technology for piggery manure wastes and poisonous gas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 200-210. (in Chinese with English abstract)

[12] Jackson P, Nasirahmadi A, Guy J H, et al. Using CFD modelling to relate pig lying locations to environmental variability in finishing pens[J]. Sustainability, 2020, 12(5): 1-16.

[13] Aarnink A J A, Schrama J W, Heetkamp M J W, et al. Temperature and body weight affect fouling of pig pens[J]. Journal of Animal Science, 2006, 84(8): 2224-2231.

[14] Savary P, Gygax L, Wechsler B, et al. Effect of a synthetic plate in the lying area on lying behaviour, degree of fouling and skin lesions at the leg joints of finishing pigs[J]. Applied Animal Behaviour Science, 2009, 118(1/2): 20-27.

[15] Huynh T T T, Aarnink A J A, Gerrits W J J, et al. Thermal behaviour of growing pigs in response to high temperature and humidity[J]. Applied Animal Behaviour Science, 2005, 91(1/2): 1-16.

[16] Randall J M, Armsby A W, Sharp J R. Cooling gradients across pens in a finishing piggery: II. Effects on excretory behaviour[J]. Journal of Agricultural Engineering Research, 1983, 28(3): 247-259.

[17] Larsen M L V, Bertelsen M, Juul P L. How do stocking density and straw provision affect fouling in conventionally housed slaughter pigs?[J]. Livestock Science, 2017, 205: 1-4.

[18] Taylor N, Prescott N, Perry G, et al. Preference of growing pigs for illuminance[J]. Applied Animal Behaviour Science, 2006, 96(1/2): 19-31.

[19] Opderbeck S, Ke?ler B, Gordillo W, et al. Influence of increased light intensity on the acceptance of a solid lying area and a slatted elimination area in fattening pigs[J]. Agriculture, 2020, 10(3): 1-14.

[20] Hacker R R, Ogilvie J R, Morrison W D, et al. Factors affecting excretory behavior of pigs[J]. Journal of Animal Science, 1994, 72(6): 1455-1460.

[21] Wechsler B, Bachmann I. A sequential analysis of eliminative behaviour in domestic pigs[J]. Applied Animal Behaviour Science, 1998, 56(1): 29-36.

[22] Wang Hao, Zeng Yaqiong, Pu Shihua, et al. Impact of slatted floor configuration on manure drainage and growth performance of finishing pigs[J]. Applied Engineering in Agriculture, 2020, 36(1): 89-94.

[23] Ocepek M, Goold C M, Busan?i? M, et al. Drinker position influences the cleanness of the lying area of pigs in a welfare-friendly housing facility[J]. Applied Animal Behaviour Science, 2018, 198: 44-51.

[24] Guo Yuguang, Lian Xinming, Yan Peishi. Diurnal rhythms, locations and behavioural sequences associated with eliminative behaviours in fattening pigs[J]. Applied Animal Behaviour Science, 2015, 168: 18-23.

[25] Vermeer H M, Altena H, Vereijken P F G, et al. Rooting area and drinker affect dunging behaviour of organic pigs[J]. Applied Animal Behaviour Science, 2015, 165: 66-71.

[26] 李丹，張凱鋒，李行健，等. 基于Mask R-CNN的豬只爬跨行為識別[J]. 農業機械學報，2019，50(增刊1)：261-266.

Li Dan, Zhang Kaifeng, Li Xingjian, et al. Mounting behavior recognition for pigs based on mask R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(Supp.1): 261-266. (in Chinese with English abstract)

[27] 沈明霞，太猛，Cedric O，等. 基于深層卷積神經網絡的初生仔豬目標實時檢測方法[J]. 農業機械學報，2019，50(8)：270-279.

Shen Mingxia, Tai Meng, Cedric O, et al. Real-time detection method of newborn piglets based on deep convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 270-279. (in Chinese with English abstract)

[28] 薛月菊，朱勛沐，鄭嬋，等. 基于改進Faster R-CNN 識別深度視頻圖像哺乳母豬姿態[J]. 農業工程學報，2018，34(9)：189-196.

Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189-196. (in Chinese with English abstract)

[29] 楊秋妹，肖德琴，張根興. 豬只飲水行為機器視覺自動識別[J]. 農業機械學報，2018，49(6)：232-238.

Yang Qiumei, Xiao Deqin, Zhang Genxing. Automatic pig drinking behavior recognition with machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(6): 232-238. (in Chinese with English abstract)

[30] 楊阿慶，薛月菊，黃華盛，等. 基于全卷積網絡的哺乳母豬圖像分割[J]. 農業工程學報，2017，33(23)：219-225.

Yang Aqing, Xue Yueju, Huang Huasheng, et al. Lactating sow image segmentation based on fully convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 219-225. (in Chinese with English abstract)

[31] 韓書慶，張建華，孔繁濤，等. 基于邊界脊線識別的群養豬黏連圖像分割方法[J]. 農業工程學報，2019，35(18)：161-168.

Han Shuqing, Zhang Jianhua, Kong Fantao, et al. Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 161-168. (in Chinese with English abstract)

[32] 高云，陳斌，廖慧敏，等. 群養豬侵略性行為的深度學習識別方法[J]. 農業工程學報，2019，35(23)：192-200.

Gao Yun, Chen Bin, Liao Huimin, et al. Recognition method for aggressive behavior of group pigs based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 192-200. (in Chinese with English abstract)

[33] 孫龍清，李玥，鄒遠炳，等. 基于改進Graph Cut 算法的生豬圖像分割方法[J]. 農業工程學報，2017，33(16)：196-202.

Sun Longqing, Li Yue, Zou Yuanbing, et al. Pig image segmentation method based on improved graph cut algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 196-202. (in Chinese with English abstract)

[34] 劉巖，孫龍清，羅冰，等. 基于改進CNN的多目標生豬檢測算法[J]. 農業機械學報，2019，50(增刊1)：283-289.

Liu Yan, Sun Longqing, Luo Bing, et al. Multi-target pigs detection algorithm based on improved CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(Supp.1): 283-289. (in Chinese with English abstract)

[35] Kashiha M, Bahr C, Ott S, et al. Automatic identification of marked pigs in a pen using image pattern recognition[J]. Computers and Electronics in Agriculture, 2013, 93: 111-120.

[36] 燕紅文，劉振宇，崔清亮，等. 基于改進Tiny-YOLO 模型的群養生豬臉部姿態檢測[J]. 農業工程學報，2019，35(18)：169-179.

Yan Hongwen, Liu Zhenyu, Cui Qingliang, et al. Detection of facial gestures of group pigs based on improved Tiny-YOLO[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 169-179. (in Chinese with English abstract)

[37] 高云，郁厚安，雷明剛，等. 基于頭尾定位的群養豬運動軌跡追蹤[J]. 農業工程學報，2017，33(2)：220-226.

Gao Yun, Yu Hou'an, Lei Minggang, et al. Trajectory tracking for group housed pigs based onlocations of head/tail[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(2): 220-226. (in Chinese with English abstract)

[38] Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159: 141-148.

[39] Lind N M, Vinther M, Hemmingsen R P, et al. Validation of a digital video tracking system for recording pig locomotor behaviour[J]. Journal of Neuroscience Methods, 2005, 143(2): 123-132.

[40] Zheng Chan, Zhu Xunmu, Yang Xiaofan, et al. Automatic recognition of lactating sow postures from depth images by deep learning detector[J]. Computers and Electronics in Agriculture, 2018, 147: 51-63.

Recognition and application of pigs’ position in group pens based on improved Faster R-CNN

Wang Hao1, Zeng Yaqiong1, Pei Hongliang2, Long Dingbiao1, Xu Shunlai1, Yang Feiyun1, Liu Zuohua1, Wang Dehui3※

(1.,402460,; 2.,610065,; 3.610065,)

Pigs’ positional change in the group pens is a key indicator reflecting the behavioral expression and welfare of pigs. In this study, RGB (Red Green Blue) images were used as data sources, and an improved Faster R-CNN (Faster Region Convolutional Neural Networks) algorithm for pigs’ position recognition in group pen was proposed. The algorithm introduced the time series into the candidate box region algorithm, designed a hybrid of Faster R-CNN and lightweight CNN network, and improved the recognition accuracy and recognition speed. The Residual Network (ResNet) was used as the feature extraction convolutional layer to deepen the network depth, thereby improving the feature extraction ability to improve the algorithm robustness. The area of the pigs in the pen was judged by the PNPoly algorithm. The experiment was carried out 24 h of continuous 98 d of video recording on 3 pens (pen 3, 4, and 12) in 2 breeding stages (growing and fattening). Pen 3 and 4 had a smaller area and the size was 4.10 m×3.14 m. Pen 12 had a larger area and the size was 5.16 m×3.14 m. Bite chains had been equipped on the slatted floor area in pen 4 and 12. The experiment randomly extracted 25 000 pictures from the video for algorithm research, and 20 000 images from it as the training set, 3 000 as the verification set, and 2 000 as the test set. Through testing, when the network depth was 128 layers, both recognition accuracy and detection time could be considered. The recognition speed was 0.064 s/frame and the recognition accuracy was 96.7%. The optimal number of shared convolutional layers and neighborhood range rate were 128 and 0.3, respectively. The algorithm was used to obtain the heat map, position distribution ratio, and diurnal rhythm changes of the position distribution of pigs of different pens and feeding days. It was found that the locations of the pigs in all pens were significantly affected by the type of floor. There was a clear dividing line between the solid floor and the slatted floor in the heat map of all pens on all feeding days. The size of the pen had a significant effect on the position distribution of pigs. At the end of the growing stage, the proportion of pigs on the solid floor area in pen 12 was significantly increased by 8.2% and 41.7% compared with pen 3 and 4, respectively (<0.05). At the end of the fattening stage, the proportion of pigs on the solid floor area in pen 12 was significantly increased by 7.9% and 30.4% compared with pen 3 and 4, respectively (<0.05). And the distribution ratio of pigs on the solid floor area decreased with the increase of feeding days. From the change of diurnal rhythm, the rest period, activity period, and feeding period of the pigs were determined quickly, the night sleep time was 19:00-6:00, the lunch break time was 10:00-13:00, and the feeding time was 8:00-9:00 and 14:00-15:00 which coincided with the time of the manager added to feed. The distribution of pigs in the feeding period was affected by the installation position of the feeder, and therefore, when analyzing the free distribution pattern of pigs’ position in group pens, it was recommended to exclude them or analyze them separately. Installing pig bite chains in the slatted floor area could help pigs distinguish the activity area from the lying area. This method realized the rapid and accurate identification of the position within the pigpen in the growing and fattening group mode. The result could also help to enrich the evaluation indicators of the herd behavior in the research of pigs' breeding facilities and environment control.

convolutional neural network; computer vision; image recognition; algorithms; group pigs; position recognition

王浩，曾雅瓊，裴宏亮，等. 改進Faster R-CNN的群養豬只圈內位置識別與應用[J]. 農業工程學報，2020，36(21)：201-209. doi：10.11975/j.issn.1002-6819.2020.21.024 http://www.tcsae.org

Wang Hao, Zeng Yaqiong, Pei Hongliang, et al. Recognition and application of pigs’ position in group pens based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 201-209. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.21.024 http://www.tcsae.org

2020-04-27

2020-07-06

國家重點研發計劃項目（2017YFD0701601）；重慶市技術創新與應用發展專項重點項目（cstc2019jscx-gksbX0093）；現代農業產業技術體系建設專項資金（CARS-35）

王浩，助理研究員，主要從事畜禽養殖設施與智能化研究。Email：wanghaocau@163.com

王德麾，博士，高級工程師，主要從事機器視覺與智能算法研究。Email：35424743@qq.com

10.11975/j.issn.1002-6819.2020.21.024

TP391.41; S818.9

A

1002-6819(2020)-21-0201-09