機器視覺技術在畜牧業中的應用

秦 箐，劉志紅，3，趙 存，張崇妍，代東亮，孫炯清，王志新，李金泉，3

(1.內蒙古自治區動物遺傳育種與繁殖重點實驗室，內蒙古 呼和浩特 010018；2.內蒙古農業大學動物科學學院，農業農村部肉羊遺傳育種重點實驗室，內蒙古 呼和浩特 010018；3.內蒙古自治區山羊遺傳育種工程中心，內蒙古 呼和浩特 010018； 4.內蒙古自然博物館，內蒙古 呼和浩特 010020)

0 引言

2001—2019年，我國家畜肉類產量持續增長，2019年受非洲豬瘟的影響，豬肉產量有大幅度回落，但是總體家畜產肉量仍呈現遞增趨勢。在肉類上，1990年至今，我國人均牛肉、羊肉、豬肉和禽肉消費量分別上漲了4.93、2.97、0.95和3.17倍，這主要是因為我國正處于食物結構轉型期，致使肉蛋奶等動物產品的生產和消費快速上升[1]。與發達國家相比，我國豬肉消費在肉類消費中仍占主導地位。食草型畜產品消費比例雖然偏低，但整體呈上升趨勢，且未來消費需求將持續上漲。

目前，我國養殖業呈現的是規模化養殖、合作社養殖和散養模式共存的局面，并逐步向規模化的方向發展[2]。規模化、集約化養殖方式已經成為行業發展的一大趨勢，大量規模化、集約化的養殖企業應運而生，取代了原有的傳統散養和圈養方式，并成為新時代養殖業的重要組成部分[3]。但畜禽養殖整體存在生產成本高、人力需求高、科技水平低等問題，這些問題是困擾我國畜牧業發展的頭等難題。隨著世界范圍內養殖產量的快速增長，對家畜的生產成本控制問題變得越來越重要[4]。隨著精準畜牧(Precision Livestock Farming，PLF)的快速發展，傳統養殖業的養殖模式也隨之發生了質的轉變，傳感器、相機、機器學習和圖像處理技術的使用已經進入農業科學領域。伴隨牧群規模的不斷擴大，牧民可以利用這些技術來監測其家畜的健康狀況和福利狀況，以提升養殖效益[5]。而實現精準畜牧的其中一個主要方法就是利用機器視覺技術。機器視覺是一種非接觸的測量方式，它可以有效避免應激帶給牲畜的影響，這種檢測方法可以大大提高生產效率和自動化程度，為畜牧業的現代化發展提供了新的解決思路。隨著應用算法的日益成熟，機器視覺技術逐漸完善且應用范圍也在逐年遞增。近年來，它的研究與應用已擴展到了工業、農業、醫學等諸多領域，并取得了一定成果[6-8]。本文將從畜牧學角度出發，梳理了機器視覺在家畜的個體跟蹤、性能測定和行為判定3個方面的應用，希望可以為廣大的科研工作者提供研究思路，也為改變我國畜禽養殖“大而不強，多而不優”的現狀提供新的解決思路。

1 機器視覺概述及工作流程

1.1 機器視覺概述

在20世紀70年代末，作為人工智能主要分支之一的機器視覺技術，由于受到計算機軟硬件、圖像獲取裝置中的軟硬件技術、圖像處理技術及人類視覺相關技術的限制，導致機器視覺技術發展非常緩慢[9]。隨著大規模、高質量、可公開獲得標記數據集及并行GPU計算的增強，機器視覺技術的發展大大加快[10]。2008—2017年我國機器視覺的市場規模逐年遞增，尤其是近些年來呈現翻倍式的增長，如圖1所示[11]。

圖1 中國機器視覺市場規模Fig.1 China′s machine vision market size

機器視覺主要包括3大系統，即圖像采集系統、圖像分析系統和圖像反饋系統。圖像采集系統相當于機器視覺的“眼睛”，負責采集環境中的圖片和視頻信息。圖像分析系統相當于機器視覺的“大腦”部分，對相機采集的圖像進行處理分析，實現對特定目標的檢測、分析與識別，并做出相應決策，同時也是機器視覺系統的“感覺”部分，對攝像機拍攝的數字圖像采取濾波平滑、圖像增強、目標分割和特征提取等方法來實現目標檢測的技術[3]。圖像反饋系統相當于機器視覺的“神經”，把分析系統處理的信息進行傳遞和反饋。總而言之，機器視覺系統就是對圖片信號執行各種操作以提取目標的特征，然后根據相應的圖片結果進行反饋[12]。

1.2 工作流程

機器視覺的主要技術流程包括數據采集、數據預處理、目標分割、識別特征點和分析反饋，如圖2所示[13]。

圖2 機器視覺工作流程Fig.2 Machine vision workflow

(1)數據采集。常用的視頻數據獲取設備包括彩色圖像攝像機(RGB)、紅外圖像攝像機(IR)、深度圖像攝像機(3D)和熱成像設備(IRT)。

(2)數據預處理。使用圖像處理方法對原始圖像/視頻進行預處理，如針對系統固有噪聲，常用的方法有濾波、灰度變換、二值化、圖像復原、圖像增強和形態學處理等[14]。

(3)目標提取。群養環境下獲取個體動物信息，首先要從原始視頻中找出目標位置。根據目的不同，可分為目標檢測、語義分割和實例分割。目標檢測包含2個問題：一是判斷屬于某個特定類的物體是否出現在圖中；二是定位該目標出現的位置，通常用物體的邊界框來表示目標檢測結果。語義分割需要將原始圖像中每一個像素判斷為某類物品類別。同一物體的不同實例不需要單獨分割出來。實例分割是目標檢測和語義分割的綜合。相對于語義分割，實例分割需要分割出同一類物體的不同實例。在獲取到動物個體位置信息的基礎上還可以進一步細分不同的身體部分，如頭部、身體和四肢等感興趣區域[15]。

(4)識別特征點。利用圖片中的顏色特征、紋理特征、形狀特征及空間關系特征來識別特征部位并做出標注。根據圖形圖像技術的這種特點，家畜體尺測量、物種鑒別，甚至是家畜的面部識別技術都有了相對性的發展和應用。

(5)分析反饋。通過數學及統計學構建的模型方法對圖形特征的自動處理和判斷，并通過可視化界面和用戶進行交互體驗。

2 具體應用

人類社會先后經歷了農業革命和工業革命，現如今正在步入智能革命[16]。近些年來，大眾對養殖業的觀念不僅僅停留在傳統的生產畜產品，動物福利、人畜共患病等字眼頻頻登上新聞熱搜。隨著工業4.0的逐步完善及機器視覺技術的漸漸趨向成熟，利用先進的工業技術改變養殖業的現狀成為了行業內新的發展方向。目前，機器視覺在畜牧業上的應用主要包括個體跟蹤、性能測定和行為判定3個方面。

2.1 個體跟蹤

在大型畜牧場中，人們想對動物個體進行全程監測幾乎是不可能的。隨著機器視覺技術的成熟及精準畜牧業理念的發展，人們發現利用數字圖像識別工具可以有效地幫助人們完成監測家畜生活生長狀態的工作，并幫助完善動物產品的福利標準，如家畜臉部和姿態的識別及計算機對人和動物的分類等。機器視覺技術在家畜的個體識別方面也經歷了由傳統的人工標記顏色識別到家畜臉部智慧識別的轉變。

2.1.1 面部識別

隨著人臉識別技術的發展壯大，不少科研工作者也將這項技術應用到家畜的面部識別中。WADA N等[17]提出利用特征空間法來識別豬臉，并通過手動分割家畜的眼睛周圍及鼻子周圍的圖像來實現對個體豬的識別。通過對16個樣本進行測量，取得了高達97.9%的識別率。HANSEN M F等[18]運用Fisherfaces、VGG-Face預先訓練的面部卷積神經網絡(CNN)模型及使用人工增強數據集訓練的CNN模型來提取豬的臉部圖像特征，對10只豬進行面部識別，準確率高達96.7%。NOOR A等[19]提出了一個識別羊臉的數據集和框架，使用CNN架構用于訓練數據集，可以識別出有疼痛和無疼痛的羊并進行分類。

2.1.2 個體計數

HUANG W等[20]在豬舍的上方安裝攝像頭，并基于Gabor和LBP的舍飼豬識別方法分割豬背毛的紋理來識別模型中未標記的豬，平均識別率可達到91.86%。尚絳嵐[21]通過檢測跟蹤算法建立羊頭目標跟蹤模型，采用雙線計數法選擇跟蹤效果較好的區域。對進入計數區域的綿羊進行計數，離開指定區域即結束計數。目前，個體計數大多在規模化養殖場內的應用較多，放牧條件下應用相對較少。王念富[22]基于改進的分水嶺算法對草原放牧的粘連羊進行圖像分割，優化了羊只計數算法參數，羊只計數準確率達96.45%

2.1.3 軌跡追蹤

KASHIHA M等[23]記錄了一個擁有40只仔豬的視頻。首先在每一只豬的背上都以獨特的方式噴涂了藍色油漆，且在每只豬的脖子上都噴有一個三角形。然后進行視覺分段，在每只豬的輪廓中再配上一個橢圓形標記。通過對油漆標記的位置和形狀進行二值化和提取，采用橢圓擬合算法對豬進行定位追蹤。該系統能夠以88%的準確率識別到個體豬。而AHRENDT P等[24]提出了一種實時計算機視覺系統，它可以在固定時間內跟蹤到至少3頭豬的蹤跡和身份，并將蹤跡位置用5個通道(RGB顏色、x、y坐標)逐幀更新，以便識別出每只豬背上的每一個相似像素點。驗證得出，該系統可以在一個較長的時間跨度(超過8 min)內，至少跟蹤3頭豬的運動軌跡。借助連續更新的顏色模型，可以減少攝像機環境問題帶來的識別誤差。

2.1.4 產羔方面

產羔數是評判家畜的一項重要的生產指標，曾曉嘉[25]改進了Faster R-CNN目標檢測算法，提出了仔豬出生區域劃分算法，可以根據母豬的位置準確地描繪出仔豬出生區域。然后提出了當前的仔豬數量確定算法和目標幀匹配算法，可以計算并跟蹤出仔豬的數量。

2.1.5 毛色方面

KIM H T等[26-27]設計并驗證了一個計算機視覺系統并開發了一套奶牛識別系統，在自然光照的條件下，可以分辨出黑-白花紋的荷斯坦奶牛和日本和牛。

2.2 性能測定

在傳統的稱量系統中，必須人工引導動物在稱量平臺上或通過稱量通道，這導致個體的日常稱量在大規模繁殖過程中為一項極為艱巨的任務。而畜禽的體尺測量是評估個體生長發育、生產性能和遺傳特征的重要指標，需要特殊的測量儀器且在測量過程中存在大量的人為誤差。而依靠機器視覺的體尺測量系統可以很好地規避這個問題。限制性空間的體尺測量及相對開放式空間的體尺測量是計算機視覺技術作為體尺測量的兩大主要研究方向[28]。例如，羊只體尺體重測量裝置如圖3所示。

1.頂部體尺測量相機 2.右側體尺測量相機 3.體重顯示器 4.RIFD耳標讀取器 5.左側體尺測量相機 6.體位限定裝置 7.自動分欄設備圖3 羊只體尺體重測量裝置Fig.3 Sheep body size and weight measuring device

當前，主要有兩種方法可測量牲畜體重，一種是使用體重秤的直接方法，另一種是基于身體部位測量值與體重之間關系的間接方法[29]。間接測量法是運用動物的胸圍、體高、臀寬和體長等體型參數建立回歸模型估算其質量，從而大大減少家畜的應激反應及大量的人工成本。

2.2.1 體況評定

DOESCHL-WILSON A B等[30]基于機器視覺，測量了豬的平面面積和不同身體部位的長度。武堯[31]利用機器視覺技術、圖像采集技術和圖像分析技術方法，實現了母豬體長、體寬和肌腱周長等7種體型數據的非接觸式采集，并建立了估算模型。KHOJASTEHKEY M等[32]基于圖像處理技術來評估新生羔羊的體型，并估計體型對群體遺傳表現的影響。

牛金玉[33]在此基礎上，提出了基于牛體幾何特征的個體大小自動測量方法。它可以自動測量身高、身長、斜身長、腹寬和肩寬等6個體型參數。江杰等[34]引入機器視覺相關原理總結出一套測量羊只體尺的方法，其可以有效地從復雜環境中提取出羊的體高。曾德斌等[28]提出一種基于機器視覺的無應激反應羊只體尺測量的方法，首先將被測羊只放置于體位限制裝置中(相對開放的空間中)，利用裝置中預先安裝的相機獲取羊只圖像，圖像經過預處理、分割、體測點提取、體尺計算和體高計算，利用體尺數據對羊只的體重進行估測。

2.2.2 體重預測

KASHIHA M等[35]基于橢圓擬合算法，全自動估計生豬質量，對平均質量從(23±4.4)kg到(45±6.5)kg變化的生豬進行連續跟蹤測量，試驗結果與人工稱量結果對比表明，正確率達到97.5%(誤差0.82 kg)。MENESATTI P等[36]對27只綿羊進行體尺評估。利用對數轉換生物計量學的PLS模型構建了一個雙目立體視覺系統來評估活體羊的質量。

2.3 行為判定

隨著畜禽產品銷量的逐年遞增，集約化養殖也成為了畜牧業發展的趨勢。早在1990年，科研工作者們就有了通過計算機算法智慧識別豬的想法[37]。然而由于豬場環境問題，無法實現應用。隨著集約化畜牧場的普及和技術的突破，曾經的難題也迎刃而解，通過對家畜行為的分類，以便盡早發現家畜的健康和福利問題，及時干預、減輕損失并提高畜禽福祉[38]。

2.3.1 采食行為

CANGAR O等[39]為了實現奶牛的產前監測，分析了8頭奶牛在分娩前的姿勢和位置變化的視頻監控圖像，并在頂視圖中提取了奶牛的輪廓，然后設計一種分類算法，以識別和分類奶牛的行為(如站立、躺臥、飲水、飲食和行為是否正常)，平均識別率為85%。NAKARMI D A等[40]開發了基于3D圖像的系統，以識別和跟蹤試驗環境中成群居住的母雞，目的是監視動物行為，如移動、棲息、覓食及建筑活動(如筑巢和喝水)。KASHIHA M等[41]借助電荷耦合器件(CCD)相機，使用圖像處理算法，可以自動監控豬喝水的次數，借助豬水龍頭的動態訪問模型，可以估算出0.5 h內的耗水量，準確度為92%。

2.3.2 攻擊行為

KIM J 等[42]、LEE J等[43]分別使用Kinect傳感器和3D攝像機，對站立豬進行檢測，然后采用背景減法對站立豬進行分割，并將此指標驗證為咬尾行為的潛在預警征兆，將具有攻擊性活動的豬分類到特定類型中。

2.3.3 繁殖行為

在育種管理中，牛發情檢測是非常重要的，有助于確定人工授精的最佳時間、提高種群受孕率和產奶量。TSAI D M等[44]開發了一種利用圖像分析進行發情檢測的系統，可以自動處理視頻中的跟隨行為和交配行為。莊晏榕等[45]在公豬試情時首先采集發情大白母豬與未發情大白母豬的耳部圖像用于訓練卷積神經網絡模型。通過識別母豬雙耳豎立時間，如果超過76 s時，則可判定其為發情。

2.3.4 個體行為

NASIRAHMADI A等[46]開發了一種機器視覺方法來記錄豬的躺臥行為。利用Delaunay三角剖分算法和圖像處理算法，能夠以高準確率自動找到分組豬的臥姿行為和豬之間距離的變化。然后根據豬的距離大小，將躺臥豬定義為近聚、正常聚類或遠聚類。ZHENG C等[47]在深度學習框架上引入了Faster R-CNN算法，可以識別站立、坐姿、胸骨臥位、腹側臥位和側臥位5種行為，得出母豬的躺臥時間比站立和坐著花費的時間更長。LEROY T等[48-49]開發了一種全自動的在線圖像處理技術，可以識別站立、坐著、梳毛、抓撓和啄食5種行為的表型，并能以96%和90%的準確率識別出睡眠和站立兩種表型。D′EATH R B等[50]使用機器視覺系統對豬尾巴姿態進行檢測，識別準確率為73.9。肖德琴等[51]提出了一種基于支持向量機的方法，能夠以80.1%的準確率對走、睡、靜3種行為進行分類，通過對1 075 h視頻分析得出，豬在雨天和陰天運動量較少，且豬的活躍度對飼養密度敏感。

2.3.5 步態檢測

跛行是影響個體正常行為的一種常見疾病。我國養殖場對坡行的早期發現診斷還不夠及時，往往是等到個體坡行十分嚴重時才定義為坡行，由于缺乏及時的治療，跛行通常對個體的育種價值、生長發育和動物福利有負面影響[52]。

FLOWER F C等[53]首次使用計算機視覺技術來測量奶牛行走的時空步態特征，證明了計算機視覺在步態檢測中的可行性。ZHU W等[54]利用視頻分析豬的前肢關節角度和身體點進行建模，并對家畜步伐進行分析和特征提取，用于對異常步態進行分類，識別正確率在90%左右。AYDIN A等[55]使用3D視覺相機和能夠測量深度的傳感器記錄了肉雞的圖像，目的是調查在實驗室條件下肉雞的活動水平與其步態評分的關系，步態按0～5評分，0表示沒有跛行跡象，5表示最嚴重跛行。結果發現，步態分數為3的肉雞比其他步態分數的雞類表現出明顯更多的活動，可能是因為它們需要更多的飼料。POURSABERI A等[56]采用分層的背景/前景夸張法分割每一幀中的牛，自動提取每頭牛在站立和行走過程中的背部姿態，并根據背部曲率生成跛行評分。VAN HERTEM T等[57]使用3D高架攝像頭系統，當同一頭母牛對坡度是否進行二進制分類時，正確的分類率達到81.2%。后來，利用牛體后部的3D頂視圖圖像，開發了一種方法來同時估算身體狀況和體重，并使用背側曲率評估跛行的發生率。

3 結束語

隨著資本的注入，傳統養殖業面臨巨大的市場競爭和時代挑戰。“智能+”的出現，標志著中國將加快推動人工智能為傳統產業賦能升級的步伐[58]。傳統養殖場需要通過智能化轉型，提升抗風險能力，改變企業的經營模式，降低成本，才能適應未來物聯網時代的發展。傳統養殖業與人工智能結合已是未來發展趨勢，要合理利用科學技術手段對畜禽養殖環境進行有效管理，實現畜禽養殖業高效、便捷和可持續的發展[59]。目前，雖然有很多學者在人工智能和畜牧業方面有杰出的貢獻，但是機器視覺在畜牧業中的應用仍有一些問題需要進一步的研究和探討，主要包括以下3個方面。

(1)機器視覺識別應用的范圍越來越廣泛，更多的指標需要利用人工智能的方式被檢測。目前，計算機視覺可識別的指標主要集中在物種識別、家畜計數、體尺測量和體重預測等方面。對畜牧生產中飲水、排泄和產仔數等其他指標的報道相對較少，后續研究需要開發更精確的視覺算法來自動提取更多畜牧生產相關的信息。

(2)利用人工智能改變育種的方式。畜禽品種的遺傳性狀是否穩定遺傳是決定一個畜牧場產量的關鍵性因素，而傳統選育需要人工測量眾多指標，大量消耗著養殖場的人力、物力和財力，且容易引起動物的應激反應，影響動物的生產性能，造成畜產品產量的下跌，而進行數字化選種可以很好地解決這個問題。

(3)開發更多的動物模型。根據家禽不同生長階段的飲食量、行為規律，設計動物疾病預警系統，實時監測動物個體飲食量、行為信息，當采集到的數據與模型偏離程度超過系統設定閾值時，開始向養殖人員發出疾病預警，這大大減少了養殖人員工作量，也降低了畜禽疾病帶來的經濟損失。

近些年來，國內外涌現出一批畜牧信息智能化監測方法和技術，如畜產品質量檢驗、動物行為特征識別。在精準采集畜牧信息的同時，注重挖掘信息所蘊藏的動物健康水平、動物對養殖環境的適應度等深層含義，為動物疾病預警、養殖環境反饋調節提供低成本、高精度的解決方案。通過引入視頻圖像識別技術對群體進行管理，并對家畜的體溫、行為和進食等情況進行監察，可幫助飼養員清楚地了解到家畜群體的狀態，在萬物互聯時代的當下，利用視頻信息技術、生物工程技術和自動控制技術等現代先進的技術來改善目前傳統落后的養殖模式和監控方式迫在眉睫[3]。