基于改進實例分割算法的智能豬只盤點系統設計

胡云鴿，蒼 巖，喬玉龍

基于改進實例分割算法的智能豬只盤點系統設計

胡云鴿1,2，蒼 巖1※，喬玉龍1

（1. 哈爾濱工程大學信息與通信工程學院，哈爾濱 150001；2. 北京小龍潛行科技有限公司，北京 100086）

基于圖像處理的動物資產計數方法，不僅可以減少人工投入，還可以縮短生物資產的計數周期，但該方法受光照條件影響嚴重，并且當動物間相互擠壓、遮擋時，計數精度較差。針對這些問題，該研究提出了一種基于圖像實例分割算法的生豬計數網絡。針對光照和目標邊緣模糊問題，利用拉普拉斯算子進行圖像預處理。對Mask R-CNN網絡的特征提取網絡進行改進，在原始特征金字塔網絡（Feature Pyramid Network, FPN）后面增加一條自底向上的增強路徑，直接將低層邊緣位置特征與高層特征相融合，提高對目標邊緣輪廓的識別能力，對非極大值抑制過程和損失函數進行優化和改進，以提高分割精度。在河北豐寧、吉林金源和內蒙古正大3個試驗豬場進行測試，驗證本文網絡的計數精度。采集設備在3個試驗豬場共采集2 400張圖像，經圖像預處理去除模糊和光線差的圖像，從剩余的圖像中隨機選取共1 250張圖像作為原始數據集，其中豐寧豬場500張、金源豬場500張，正大豬場250張。將各豬場的原始數據集分別按2:2:1的比例分為3部分，包括訓練集905張，驗證集95張，測試集250張，對原始訓練集和驗證集進行數據增強，最終得到訓練集圖像1 500張，驗證集圖像150張，測試集圖想250張。河北和吉林的試驗豬場，每欄豬只數目為12～22頭，各測試100張圖像，完全準確清點的圖像比例分別為98%和99%，滿足實際應用要求。內蒙古試驗豬場的單欄豬只密度大，每欄豬只數目平均80頭，測試50張圖像，完全準確清點的圖像比例為86%。該研究所提出的豬只盤點系統，通過修改網絡增強圖像中目標特征信息提取和優化邊界框回歸過程，減少由于光線差和遮擋導致的目標漏檢情況，解決了基于圖像分割算法的豬只盤點中光照、模糊以及遮擋等問題，能夠滿足單欄飼養密度為1.03～1.32頭/m2的養殖場的豬只盤點需求。

圖像處理；算法；目標檢測；實例分割；豬只計數；深度學習；特征金字塔網絡

0 引 言

無論是農業審計還是大規模豬場的日常養殖和管理，生豬計數都有重要意義。標準化養殖和精細化飼養已經成為生豬養殖行業的發展趨勢。根據計數結果制定合理養殖計劃，采購適量飼料，可以提高養殖場收益。在精細育種方面，生豬計數有助于實時了解母豬生產信息，及時更新豬只數量[1]。傳統的豬只計數采用人工點數的方式進行，耗費大量的人力和物力，并且效率低。2000年初，電子耳標成為動物身份標識的主要方式，大型養殖場通過電子耳標掌握豬只信息，實現生豬計數。在一定范圍內，讀取到的電子耳標數量即為豬只數量，該方法受距離影響較大，計數結果穩定性較差，并且耳標容易脫落，成本相對較高。近年來，隨著人工智能技術的快速發展，基于圖像和視頻的智能計數方式逐漸開始應用于農業領域[2-10]。張天昊等[11]針對儲備生豬，利用光學方法確定生豬的典型顏色特征，以此作為識別目標的RGB顏色分量相對比例判別依據，結合形態學算法和區域生長法進行目標數量的統計。梁炎森等[12]利用基于紋理特征的濾波方法實現了遠程視頻養殖場生豬的圖像識別計數，但系統的平均識別率只有85%。為提高識別精度，人流量統計模型逐漸遷移到畜牧業領域中。基于圖像和視頻的人流量統計方法主要有基于遞歸模型[13-14]以及基于圖像實例分割[15-21]。韓書慶等[22]采用決策樹分割算法提取圖像的豬體前景區域，通過分水嶺分割算法處理黏連豬體圖像，并根據檢測得到的邊界脊線，實現黏連豬體的分離。Miso等[23]利用Kinect采集豬只的深度圖像，通過圖像分割網絡實現了對豬只的監測。Tian等[24]將RGB圖像轉換成為密度分布圖的形式，利用改進的CNN網絡，實現了15頭豬只的精確計數。Chattopadhyay等[25]設計了一個基于感數思想的計數模型，用來解決自然場景中的目標數量，外形和尺度存在很大變化的情況。Kashiha等[26]采用橢圓擬合算法和模式識別技術對豬進行定位和識別。綜上，基于深層神經網絡的計數算法已經廣泛應用于農業生產領域中。但豬只計數具有一定難度，豬只的皮毛顏色相似，個體之間不易區分；豬是群居動物，通常會擠靠在一起，造成嚴重的相互遮擋；發生體態變化或碰撞擠壓時，豬體會發生形變，形狀差異較大，不易識別。針對上述問題，本文提出了一種基于圖像分割算法的豬只計數模型，在基于深度學習的實例分割算法Mask R-CNN基礎上修改特征提取網絡、非極大值抑制部分，損失函數和RPN網絡參數，進一步精確分割目標邊緣，減少相互遮擋目標間的互相影響，結合豬場圖像特點，訓練適用于不同場景的計數網絡模型，實現豬只計數。

1　數據來源與預處理

1.1 數據來源

本文分別在3種不同密度的試驗場地進行豬只計數試驗：河北豐寧試驗豬場、吉林金源試驗豬場以及內蒙古正大集團化豬場。3個試驗豬場群養欄的大小和飼養密度有較大差異，其中河北豬場群養欄的大小為5.5 m×1.8 m，單欄內平均飼養12頭豬，豬只數量較少，飼養密度為1.21頭/m2；吉林豬場群養欄的大小為5.5 m×3.9 m，單欄內平均飼養22頭豬，飼養密度為1.03頭/m2；內蒙古豬場群養欄的大小為11.4 m×5.28 m，單欄內平均飼養80頭豬，飼養密度為1.32頭/m2。所有圖像均為自然光照條件采集，采集時間均為3個月。采集時間從早晨7點至傍晚19點，試驗共采集2 400張圖像，其中河北豬場1 000張，吉林豬場1 000張，內蒙古豬場400張。試驗現場可見光攝像頭吊裝于豬欄的中間位置，每欄安裝1個攝像頭。

工作站遠程控制攝像頭在滿足拍攝條件時采集現場圖像，并將采集圖像保存在存儲設備硬盤柜中，采集圖像以“攝像頭編號+拍攝日期+拍攝時間”命名。圖像數據傳輸存儲方式是采集設備將圖像遠程傳送到工作站預測，工作站將預測結果返回采集設備并保存。

1.2 數據預處理及數據集構建

對采集到的2 400張圖像首先通過圖像預處理剔除模糊和光線差的圖像。將采集到的RGB圖像轉換為灰度圖像后，計算圖像灰度值經拉普拉斯算子卷積運算后與圖像灰度均值的方差，該方差定義為圖像清晰度()，如式（1）所示。

式中(,)表示坐標為(,)處圖像的灰度值，*表示圖像卷積運算，表示離散拉普拉斯算子的模板，為閾值，為圖像灰度平均值。依據經驗閾值取100，清晰度大于定義為清晰圖像，小于定義模糊圖像，直接移除，最終得到2 000張圖像。

從預處理的圖像中隨機選取豐寧豬場500張、金源豬場500張和正大豬場250張共1 250張圖像作為原始數據集。將數據集劃分為3部分，包括訓練集905張，驗證集95張，測試集250張圖像。訓練集圖像包括河北豬場362張，吉林豬場362張，內蒙古豬場181張、驗證集圖像河北豬場38張，吉林豬場38張，內蒙古豬場19張。測試集圖像河北豬場100張，吉林豬場100張，內蒙古豬場50張。使用VGG Image Annotator(VIA)標注原始圖像，生成json文件。

標注圖像后，通過數據增強擴充訓練集和驗證集，隨機挑選圖像進行人工亮度提升和旋轉，最終得到的數據集包括訓練集1 500張，驗證集150張和測試集250張共1 900張圖像。

2 生豬計數網絡結構的設計

2.1 網絡結構總體框架

本文所提出的生豬計數網絡基于TensorFlow框架的Mask R-CNN網絡結構，針對豬只密度大、遮擋嚴重的特殊問題，采用ResNet-152作為Mask R-CNN特征提取網絡，同時，在原始特征金字塔網絡（Feature pyramid network, FPN）后面添加一條自底向上的增強路徑，將底層定位特征向上傳遞，提高邊界框定位的精確性，本文提出的基于Mask R-CNN改進算法的總體框圖如圖1所示。

圖1 基于Mask R-CNN改進算法的總體框圖

2.2 特征金字塔網絡的改進

FPN通過將高層特征圖上采樣后與下層特征圖相加實現不同網絡層提取的特征融合，自頂向下將高層特征逐層向下傳遞，只增強了高層的語義信息，沒有增強底層信息，而神經網絡的底層信息多是邊緣、形狀等特征，這些特征對像素級的實例分割非常重要，尤其是本文應用場景中，受現場條件影響較大，比如光照條件較差，目標之間互相擠壓遮擋嚴重，目標輪廓邊緣經常不是特別清晰。針對此問題，本文根據PANet（Path Aggregation Network for Instance Segmentation）在原始FPN后面添加一條自底向上的增強路徑，直接將低層邊緣位置特征與高層特征相融合，以提高對邊緣輪廓的識別能力。路徑快速增強的特征金字塔網絡總體結構圖如圖2a所示，虛線框內為增加的增強路徑，圖2b描述了特征圖的運算過程。具體而言，設計N2層至N4層，N3層至N5層的快速增強路徑，特征圖N2尺寸與P2相同，經過步長為2的3×3卷積后，與P3經1×1卷積求和得到N3。同時，N2經過步長為4的5×5卷積后，與P4經1×1卷積求和得到N4；依次得到N5和N6。

2.3 RPN參數優化

RPN（Region Proposal Network）網絡負責候選區域的生成，候選區域生成過程中采用“錨點(anchor) 機制”。本文網絡的識別目標只有生豬，當豬只密度較大時，豬只之間互相擠壓，造成身體的變形，目標的橫縱比例會發生變化。當錨點的橫縱比和目標橫縱比差異較大時，容易產生目標漏檢。

注：C1~C5層為圖像卷積后的特征圖，P2~P5層為C2~C5層通過上采樣和卷積后的特征圖，N2~N6層為P2~P5層通過下采樣和卷積后的特征圖。

Note: C1-C5 layers are the feature image after image convolution, P2-P5 layers are C2-C5 layers through up sampling and convolution, N2-N6 layers are P2-P5 layers after down sampling and convolution.

a. 路徑快速增強的特征金字塔網絡結構

a. Architecture of feature pyramid network with fast path enhancement

b. 特征運算過程

在豬只密度比較大的場景中，為了提高小目標的識別準確率，結合特征金字塔網絡，本文采用在不同尺寸的特征圖上，預測不同尺寸的目標。低層特征圖縮放比例較小，小目標特征保存比較完整，在低層大尺寸的特征圖上生成小尺寸的錨點，用于檢測小目標；高層特征圖縮放比例較大，但是可以學習到更多的語義信息，豐富大目標特征，在高層特征圖上生成大尺寸的錨點，用于檢測大目標。由各層特征圖映射回原圖的錨點尺寸如表1所示。

表1 各層特征圖的錨點尺寸

2.4 改進非極大值抑制過程

Mask R-CNN算法中的非極大值抑制（Non-maximum suppression，NMS）過程是將和得分最高邊界框的重疊度IoU（Intersection over Union）值大于設定閾值的預測框移除。當2個目標相互遮擋時，目標間邊界框的IoU（(Intersection over Union)）較大，NMS過程中會移除相鄰目標的邊界框，造成漏檢。針對此問題，本文對NMS過程進行優化，根據Soft NMS（Soft Non-Maximum Suppression）修改處理過程，當預測框和得分最高邊界框的IoU大于閾值時，不直接移除預測框，而是修改預測框的得分。同時，為了減少冗余，采用IoU越大，得分越低的原則，預測框的新得分設置為原始分數乘以指數函數的形式，新得分設置為原始分數乘以指數函數的形式，如式（2）所示。

式中s為原始得分，為得分最高邊界框，b為當前處理預測框，表示收斂系數，依據測試集上模型測試效果本文取值0.5。

2.5 損失函數

遮擋問題是深度學習領域面臨的最嚴峻的問題，嚴重影響目標識別的準確率，當目標之間遮擋嚴重時，容易造成目標漏檢，且檢測到目標的邊界框定位不準確，邊界框位置偏向漏檢目標。為了提高對遮擋目標的識別能力，本文對邊界框回歸的損失函數進行優化，在原有損失函數基礎上引入排斥項（L）。排斥項使得預測框和對應真實目標邊界框的距離縮小的同時，使之與相鄰無關目標邊界框（包括其他目標的真實邊界框和預測框）的距離增大。優化后邊界框回歸損失由吸引項和排斥項組成，其計算公式如式（3）所示。其中L計算預測框與其真實目標框產生的損失值，使預測框與真實目標邊界框更加接近；排斥項L為預測框與IoU第二大的真實目標邊界框所產生的損失值，使預測框遠離與之相鄰的其他真實目標邊界框。預測框靠近真實目標邊界框的同時遠離相鄰目標的邊界框，可以提高邊界框定位精度，在一定程度上提高對相互遮擋目標的識別能力。

3 試驗結果與分析

3.1 遮擋條件下的試驗結果與分析

遮擋問題嚴重影響著生豬計數網絡的識別精度，當目標之間遮擋嚴重時，目標的輪廓信息缺失。Mask R-CNN網絡改進前后的檢測效果如圖3所示。由圖可知，快速增強FPN網絡對邊緣模糊目標的檢測效果有明顯提升，圖3a圖像1上方欄桿附近的2頭豬，由于互相彼此遮擋，并且圖像有些模糊，在網絡改進結構之前被識別成為1只豬，改進網絡結構之后則可以區分為2只豬。類似地，圖3a圖像2中正上方的2只豬，由于拍攝期間目標運動產生圖像模糊現象，改進網絡能夠正確區分為2個不同的目標，識別效果如圖3c所示。

圖3 Mask R-CNN網絡改進前后的測試結果對比

此外，在包含3個豬場的1 900張圖像數據集上訓練并測試了Resnet101、Resnet152、ResNext101和所提出的路徑增強的Resnet152網絡，各網絡迭代90 000次后，在訓練集以及驗證集的loss值如表2所示。特征提取網絡ResNet152訓練集的loss收斂數值比原來的ResNet101網絡低0.012 7，比ResNext101網絡低0.014，驗證集的loss收斂值比原來的ResNet101網絡低0.012 6，比ResNext101網絡低0.014。利用本文路徑增強Resnet152網絡采用路徑增強的FPN結合ResNet152網絡在包含3個豬場圖像的數據集上訓練90個循環（epochs），每個循環迭代1 000次，訓練過程中的loss值變化如圖4，由圖4可知，訓練集和驗證集的loss值均降至0.1以下，訓練集損失比ResNet152網絡低0.027 4，驗證集損失比ResNet152網絡低0.034 3，收斂效果最好。

表2 不同特征提取網絡的訓練結果

3.2 不同豬場的測試結果與分析

河北和吉林豬場豬欄的正上方懸掛170°廣角攝像頭，距離地面2.2 m高度。內蒙古豬場群養欄由于拍攝面積過大，圖像采集盒攝像頭模組更換為210°魚眼鏡頭。圖5為3個試驗場所采集的原始圖像及相應的計數網絡輸出結果。表3為250張測試集圖像的精度統計結果，其中河北和吉林豬場分別測試100張圖像，河北豬場有2張圖像漏檢1個目標，計數準確率為98%，其中1張圖像是由于目標被遮擋導致漏檢，另1張圖像的清晰度合格但由于其中1只豬快速運動導致邊緣模糊造成漏檢。吉林豬場有1張圖像漏檢1個被遮擋目標，計數準確率為99%，計數準確率滿足實際應用需求。

圖4 Loss值變化曲線

圖5 本文網絡在不同豬場的輸出示例

表3 本文網絡精度測試結果

對于豬只密度較大的內蒙古豬場，由于豬只擠壓、變形以及遮擋現象很嚴重，并且現場圖像背景干擾較多， 50張測試圖像的計數準確率為86%，有7張圖像存在漏檢，4張圖像漏檢1個目標，3張圖像漏檢2個目標，模型精度有一定的提升空間，也是后期計數網絡改進優化的重點方向。表4為相同試驗條件下Yolov3，Faster R-CNN，Mask R-CNN和本文網絡對250測試集圖像的速度與精度對比。由表4可知，Yolov3檢測速度非常快，但對于遮擋目標和密集目標檢測效果較差，Faster R-CNN采用兩階段框架，檢測效果有所提升，Mask R-CNN增加掩膜分支，精度進一步提高。本文對Mask R-CNN網絡結構進行增強，增加了網絡的復雜度，在提升精度的同時也導致運算成本增加，檢測圖像的平均耗時增加。

表4 不同生豬計數網絡測試結果對比

4 結 論

本文利用像素級實例分割算法設計了一種生豬計數網絡。采取圖像預處理程序剔除模糊和光線差圖像，針對豬只間的相互遮擋問題，目標邊緣輪廓不清晰的問題，改進Mask R-CNN的主干網絡，利用ResNet152網絡進行特征提取，使用修改后的快速增強FPN網絡方法，將低層的輪廓邊緣特征與高層特征融合，提升邊緣模糊目標的識別效果。通過改進非極大抑制過程，修改邊界框回歸損失函數和優化RPN網絡參數解決遮擋目標漏檢問題。本文網絡在包含3個不同類型豬場采集的圖像數據集上對所提出的生豬計數網絡進行訓練和測試，試驗結果表明，本文提出的生豬計數網絡對單欄12~22頭豬只的計數精度達到98%以上，對單欄80頭左右的豬只計數精度為86%。本文算法也有一定的不足，算法對小目標和高密度目標圖像的檢測效果仍有待提高。后續研究中，可通過進一步增強圖像特征提取網絡和級聯訓練網絡逐步提高密集情況的豬只盤點準確率。

[1] 屠萍，祝海云. 智能盤點提高資產管理效率[J]. 通信企業管理，2016，352(8)：41-43.

Tu Ping, Zhu Haiyun. Intelligent inventory improves asset management efficiency[J]. Communication Enterprise Management, 2016, 352(8): 41-43. (in Chinese with English abstract)

[2] Chen S W, Shivakumar S S, Dcunha S, et al. Counting apples and oranges with deep learning: A data-driven approach[J]. IEEE Robotics & Automation Letters, 2017, 2(2): 781-788.

[3] Mads Dyrmann, Henrik Karstoft, Henrik Skov Midtiby. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[4] Gemert J C V, Verschoor C R, Mettes P, et al. Nature conservation drones for automatic localization and counting of animals[C]//Proceedings of the European Conference on Computer Vision. Springer, Cham, 2015: 255-270.

[5] Kamilaris A, Prenafeta-Boldu F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[6] Picon A, Alvarez-Gila A, Seitz M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers & Electronics in Agriculture, 2019, 161(1): 280-290

[7] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 905.

[8] 齊龍，蔣郁，李澤華，等. 基于顯微圖像處理的稻瘟病菌孢子自動檢測與計數方法[J]. 農業工程學報，2015，31(12)：186-193.

Qi long, Jiang Yu, Li Zehua, et al. Automatic detection and counting method of Magnaporthe grisea spores based on micro image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE). 2015, 31(12): 186-193. (in Chinese with English abstract)

[9] Shen, Yufeng, Zhou, et al. Detection of stored-grain insects using deep learning[J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[10] 張銀松，趙銀娣，袁慕策. 基于改進Faster-RCNN模型的粘蟲板圖像昆蟲識別與計數[J]. 中國農業大學學報，2019，24(5)：115-122.

Zhang Yinsong, Zhao Yindi, Yuan Muce. Insect recognition and counting of armyworm board image based on improved fast RCNN model[J]. Journal of China Agricultural University, 2019, 24(5): 115-122. (in Chinese with English abstract)

[11] 張天昊，梁炎森，何志毅. 圖像識別計數在儲備生豬統計的應用[J]. 計算機應用與軟件，2016，33(12)：173-178.

Zhang Tianhao, Liang Yansen, He Zhiyi. Application of image recognition counting in pig reserve statistics[J]. Computer Applications and Software, 2016, 33(12): 173-178. (in Chinese with English abstract)

[12] 梁炎森，張天昊，何志毅. 畜牧養殖場圖像遠程采集與目標計數系統[J]. 桂林電子科技大學學報，2017，37(6)：10-14.

Liang Yansen, Zhang Tianhao, He Zhiyi. Remote image acquisition and object counting system for livestock farms[J]. Journal of Guilin University of Electronic Science and technology, 2017, 37(6): 10-14. (in Chinese with English abstract)

[13] Boominathan L, Kruthiventi S S, Babu R V. CrowdNet: A deep convolutional network for dense crowd counting[C]// Proceedings of the 24th ACM international conference, Multimedia, 2016: 640-644.

[14] Di K, Zheng M, Chan A B. Beyond counting: Comparisons of density maps for crowd analysis tasks-counting, detection, and tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(5): 1408-1422.

[15] Cholakkal H, Sun G, Khan F S, et al. Object Counting and instance segmentation with image-level supervision[C]. Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach. CA, USA: CVPR, 2019: 12389-12397.

[16] Ooro-Rubio D, Roberto J López-Sastre. Towards perspective-free object counting with deep learning[C]// Proceedings of the European Conference on Computer Vision, Springer, Cham: ECCV, 2016: 615-629.

[17] Ma Z, Yu L, Chan A B. Small instance detection by integer programming on object density maps[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston: IEEE, 2015: 3689-3697.

[18] Xie S, Girshick R, Dollár, Piotr, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017: 5987-5995.

[19] Zhang C, Li H, Wang X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision & Pattern Recognition, Los Alamitos, CA, USA: IEEE, 2015: 833-841.

[20] Zhang L, Shi M, Chen Q. Crowd counting via scale-adaptive convolutional neural network[C]//Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), Los Alamitos, CA, USA: IEEE, 2018: 1113-1121.

[21] He Kaiming, Gkioxari G, Dollár P, et al. Mask R-CNN[C]// Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy: IEEE, 2017: 2980-2988.

[22] 韓書慶，張建華，孔繁濤，等. 基于邊界脊線識別的群養豬黏連圖像分割方法[J]. 農業工程學報，2019，35(18)：161-168.

Han Shuqing, Zhang Jianhua, Kong Fantao, et al. Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 161-168. (in Chinese with English abstract)

[23] Miso J, Younchang C, Jihyun S. A kinect-based segmentation of touching-pigs for real-time monitoring[J]. Sensors, 2018, 18(6): 1746-1770.

[24] Tian Mengxiao, Guo Hao, Chen Hong, et al. Automated pig counting using deep learning[J]. Computers and Electronics in Agriculture. 2019, 163: 1-10.

[25] Chattopadhyay P, Vedantam R, Ramprasaath R S, et al. Counting everyday objects in everyday scenes[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI: IEEE, 2017: 4428-4437.

[26] Kashiha, Mohammadamin, Bahr C, et al. Automatic identification of marked pigs in a pen using image pattern recognition[J]. Computers & Electronics in Agriculture, 2013, 93: 111-120.

Design of intelligent pig counting system based on improved instance segmentation algorithm

Hu Yunge1,2, Cang Yan1※, Qiao Yulong1

(1.,,150001,;2...,100086,)

The existing pig counting system based on image processing are seriously affected by light conditions, and the counting accuracy is poor when pigs are crowded and obscured.To realize the intelligent pig counting, the paper proposed a counting scheme based on the improved instance segmentation algorithm was proposed in this study. Aiming at the problems of image illumination and target edge blur, Laplace operator was used to preprocess the images. The feature extraction network of MASK R-CNN network was improved by using Resnet-152 as the Mask R-CNN feature extraction network, and the original Feature Pyramid Network(FPN) was followed by a bottom-up enhancement path, which directly fused the low-level edge features with the high-level features to improve the recognition ability of the target edge bluring. The non maximum suppression process and loss function were optimized and improved to improve the segmentation accuracy. The experiments were carried out at three different real pig farms to verify the counting accuracy, respectively in Hebei province, Jilin province and Inner Mongolia. The size of the cage in Hebei pig farm was 5.5 m × 1.8 m, with an average of 12 pigs in a single pen, with a feeding density of 1.21 pigs/m2; the size of the cage in Jilin pig farm was 5.5 m × 3.9 m, with an average of 22 pigs in a single pen, and the average rearing density was 1.03 pigs/m2; the size of the cage in Inner Mongolia pig farm was 11.4 m × 5.28 m, with an average of 80 pigs in a single pen, the average feeding density was 1.32 pigs/m2. The RGB camera is wa nstalled on the top of the pen and acquired the image in daytime. 2 400 images were collected in total, and 2000 images were selected after image preprocessing, and 1 250 images of three pig farms were selected as the original data set according to the ratio of 2:2:1. The training set and verification set were enhanced to 1 500 and 150 images and 250 images for the test set, The experimental results showed that 98 images could realize exact counting and 2 images missed 1 pig in the Jilin pig farm, the accuracy of pig counting was 98%. In Hebei pig farm, 99 images could realize the exact counting and the accuracy of pig counting was 99%. For Inner Mongolia pig farms with high feeding density, the accuracy of pig counting was 86%, among the 50 test images, 7 images missed detection, 4 images missed 1 target, 3 images missed 2 targets,The results can provide the application of the artificial intelligent in agriculture field.

image processing; algorithms; object detection; instance segmentation; pig counting; deep learning; haracteristic pyramid network

胡云鴿,蒼巖,喬玉龍. 基于改進實例分割算法的智能豬只盤點系統設計[J]. 農業工程學報，2020，36(19)：177-183.doi：10.11975/j.issn.1002-6819.2020.19.020 http://www.tcsae.org

Hu Yunge, Cang Yan, Qiao Yulong. Design of intelligent pig counting system based on improved instance segmentation algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(19): 177-183. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.19.020 http://www.tcsae.org

2020-05-10

2020-09-15

國家自然科學基金項目（61871142）

胡云鴿，研究方向為智能圖像處理。Email：986113728@qq.com

蒼巖，博士，講師，主要研究方向為智能信息處理。Email：cangyan@hrbeu.edu.cn

10.11975/j.issn.1002-6819.2020.19.020

TP391

A

1002-6819(2020)-19-0177-07