基于機器視覺技術的豬行為活動無接觸識別系統①

吳世海,鮑義東,陳 果,陳秋實

(貴州航天智慧農業有限公司,貴陽 550081)

引言

隨著人們日常消費意識和健康意識的提高,肉類的需求量在逐年增加,尤其是豬肉的需求量大幅上升.豬養殖產業規模增大,生豬出現病患的可能性也隨之增加,若未及時干預或排除這些隱患,可能會造成嚴重的經濟損失和人力損失.生豬在生長過程中可能出現的眾多疾病在亞臨床和臨床癥狀表現之前,通常伴隨自身行為的改變,同時導致各種外在生理參數發生變化,如會出現日常活動量和進食量大量減少,糞便干燥,尿液渾濁等現象.監測生豬行為活動和生理表現可以及時發現生豬病變情況,提早發現威脅生豬健康的因素,有利于防止烈性傳染病在豬群內的傳播.

人工監測是傳統的豬養殖監測方法,也是目前豬養殖產業的主要監測方法.但人工監測受主觀因素影響大,需要具備豬養殖經驗的從業人員監督分析,人力成本較高,而且人工監測方法無法實現對生豬行為活動和生長狀態的實時監測.在大型商業豬養殖模式中使用人工監測方法監測分析豬個體和群體行為活動規律是不切實際的,因此,近些年來,養殖信息化相關裝備和技術迅速發展,并得到了越來越多人的關注.比如應用于豬個體識別的無線射頻標簽[1]、應用于檢測豬個體運動加速度的加速度計量器[2]、應用于檢測豬是否存在跛腳行為的壓力墊[3]和應用于檢測豬群體飲用水量的水量傳感器[4]等,但這些信息化技術都存在一個限制條件,即需要使用附著在豬個體身上的傳感器獲取數據.現有的豬養殖產業中,豬的生長場景決定了這些接觸式監測方法的局限性,豬個體之間或豬與生長環境中物體的相互摩擦和以及豬的移動均易導致接觸式傳感器遺失.

機器視覺在20 世紀70年代末開始應用于農業和畜牧業領域[5],但由于圖片和視頻采集裝置中的軟硬件技術水平較低、計算機處理圖像速度較慢和缺乏有效的目標行為分析算法等,機器視覺技術在農業和畜牧業中未得到廣泛應用.隨著相應技術的發展,這些問題逐漸都得到了解決,如段玉瑤等人在2015年結合生豬體態特征提出了一種優化特征提取的壓縮感知跟蹤算法[6].該方法利用改進后的橢圓窗口來優化跟蹤,并增大了灰度特征的權重提高特征提取的準確度,實現有效跟蹤.孫龍清等人在2017年提出了利用人工交互分水嶺進行區域分塊,結合改進的GraphCut算法進行圖像前景和背景的分割,有效分割生豬圖像[7].

目前,豬養殖產業發展趨于集約化、自動化和信息化,智能監控是現代化集群式養殖模式不可缺少的一部分[8].

在此背景下,本文提出了一種基于機器視覺技術的豬行為活動的實時無接觸監測系統,利用CCD(Charge-Coupled-Device)相機實時錄取豬生長場景的視頻,系統分析視頻文件,識別視頻中豬目標個體及場景相關信息,分析豬目標個體的行為活動(如運動行為、伏地行為、呼吸行為、飲食行為和排泄行為等),監測豬目標個體的運動量、飲食量和排泄情況,從而實時監測豬的健康情況和生長情況.

1 豬目標行為圖像的獲取與分類

利用CCD 相機實時拍攝豬舍中豬的行為活動,相機錄制幀率為60 f/s.Lind 等人[9]在豬目標識別算法研究中,將視頻分幀截取圖像后,每間隔10 幀更新一次,可以減弱豬運動緩慢對精準識別的影響[10],本文采用相同的更新速度.使用卷積神經網絡自適應提取圖像中豬行為相關特征,可以適配不同的光照強度,抑制光照變化對結果的影響.

為訓練出具備良好適應性和識別精度的自適應深度學習網絡,本文錄制并標記了含1200 組豬行為活動的視頻序列.本文使用的數據均為白天錄制采集的視頻圖像數據,包含晴天、陰天和霧雨等多種天氣和光照場景.在視頻錄制過程中,每隔5 s 生成一個幀圖像序列組,序列組中包含5 s 內截取的30 幀圖像.

本文監測識別豬的6 種行為活動,分別為運動行為、跛足行為、伏地行為、呼吸行為、飲食行為和排泄行為.針對6 種行為活動,本文對每一組圖像序列都做標記,標記為運動行為、跛足行為、伏地行為、呼吸行為、攀爬行為、飲食行為和排泄行為之一.有3 位專業人員參與標記,當且僅當3 位專業人員對某組序列的標記相同時,該標記才被使用.

2 豬行為活動實時無接觸監測系統

系統通過分析拍攝的豬視頻,識別視頻中豬目標個體和場景中相關信息,分析豬目標個體的行為活動(如運動行為、跛足行為、伏地行為、呼吸行為、和飲食行為和排泄行為等),監測豬目標個體的運動量、飲食量和排泄情況.

2.1 CCD 相機系統

自1998年光學成像系統首次應用于監測豬行為活動后,眾多研究者開始關注機器視覺技術在豬養殖領域的應用[11-15],可見光相機和深度相機是獲取豬行為圖像的主要工具,常用拍攝角度有俯視視角和側視視角.俯視視角能獲取豬相對于豬生長場景的位置變化,能避免豬之間的遮擋和距離相機遠近導致豬大小和位移測量不準等問題.側視視角存在遮擋和距離失真問題,但能觀察到更多豬的行為細節.

本文利用CCD 相機分別獲取俯視視角和側視視角的圖像,幀率為60 f/s.利用深度學習算法、信息融合技術,融合俯視視角和側視視角序列圖像中深度特征,自動識別豬目標的行為活動類型,監測豬的生長狀況和生理信息.

2.2 豬行為識別方法

本文采用多層卷積神經網絡(Conventional Neural Network,CNN)結構,可以自適應提取圖像中豬目標的行為相關特征.相對于傳統的閾值分割法、色彩分割法和角點檢測等人工設計的特征檢索方法,卷積神經網絡訓練簡單,適應性強,更適合處理分析自然場景下豬的行為活動.本文使用卷積神經網絡提取序列圖片的行為特征,對序列中行為特征進行特征融合,融合后的特征由全連接層部分識別分類,最終識別出序列中豬的行為活動.網絡結構如圖1,主要包含3 部分:卷積部分、特征融合部分和行為分類部分.系統通過CCD 相機采集豬行為活動序列圖像,利用卷積神經網絡提取圖像的深度特征,再使用特征融合方法融合行為序列圖像的深度特征最后根據融合的深度特征識別圖像序列中豬的行為活動.

圖1 基于機器視覺技術的豬行為活動無接觸識別系統數據處理結構圖

圖1 中卷積部分提取原始圖像的深度特征,通過反向傳播更新參數,同時提取局部紋理特征和整體形態特征.在本文實驗中,為實現每個圖像序列的行為活動分類,需要提取俯視相機和側視相機采集到的兩個圖像序列的深度特征.俯視圖像序列和側視圖像序列,各包含30 張圖片(Xi,i=1,2,···,30),先后依次送入卷積部分提取特征(Fi,i=1,2,···,30).

其中,w,b 分別表示卷積部分的網絡權重參數和閾值參數,f 為卷積操作,使用ReLU 激活函數.為減少網絡參數,提取同一批次的圖像序列的特征時,卷積部分的權重和閾值參數共享使用.

輸入的每張圖像大小為128×128×3,由于深度學習的卷積計算是對四維向量作卷積,把輸入圖片擴展為N×128×128×3,其中N 表示批處理大小.輸入第一層卷積神經網絡,卷積核大小為11×11×3×96,步長為2,輸出向量大小為N×64×64×96,輸出向量的通道數與卷積核的個數一致,輸出特征圖長寬為原圖像的一半,不使用池化過程,可以減小網絡結構,減少計算量,促進系統實時監測.第二層卷積神經網絡的卷積核大小為3×3×96×256,步長為2,輸出向量大小為N×32×32×256.第三層卷積神經網絡的卷積核大小為3×3×256×256,步長為2,輸出向量大小為N×16×16×256.第四層卷積神經網絡的卷積核大小為3×3×256×256,步長為2,輸出向量大小為N×8×8×256.第五層卷積神經網絡的卷積核大小為3×3×256×128,步長為2,輸出向量大小為N×4×4×128.

第二部分為特征融合部分,融合卷積部分提取到的俯視圖像序列和側視圖像序列的深度特征.每張圖片提取到的特征大小均為N×4×4×128,包含128 個用于后續行為分類的特征.采用相同的卷積網絡結構提取到的特征大小一致,可以融合擴展為一個包含全部序列特征的特征:

將第五層卷積神經網絡輸出的特征向量融合,大小為N×4×4×7680.

第三部分為行為分類部分,由全連接神經網絡實現,將融合后的特征向量(F)展開后送入全連接層提取高維深度特征信息(F'),使用Softmax 分類,識別行為活動:

其中,g 為全連接部分的激活函數ReLU,w'和b'為全連接部分的權重參數和閾值參數.

使用交叉熵損失函數約束反向傳播過程:

2.3 實驗數據處理平臺

使用Tensorflow 平臺編寫識別豬行為活動的卷積神經網絡算法,硬件環境為內存16 GB,Intel(R)I5-1607,RTX2080 Ti GPU.

3 結果與分析

為評估本文提出的基于機器視覺的豬行為活動的實時無接觸監測系統的性能核準確率,本文使用標定的數據集,采用五折法訓練測試結果,給出識別各類行為的準確率.五折法是深度學習方法中常用的訓練方法,將原始數據集均等分為5 份,每份所含行為活動種類核數量應大致相當.每次選擇其中4 份用于訓練,剩余一份用于測試,下一次選擇不完全同的4 份訓練,剩余一份測試,5 次訓練核測試后求測試準確率的平均值.首先本文分別使用俯視圖像序列、側視圖像序列以及俯視圖像序列結合側視圖像序列識別豬的行為活動,結果如表1.

表1 豬行為活動識別結果(單位:%)

由表1 結果可以得到3 個結論:在識別運動和呼吸行為時,俯視圖像序列能比側視圖像序列提供更多信息,分類準確率更高;識別跛足、伏地和排泄行為時,由于俯視角度無法獲得豬上下空間中的行為信息,分類準確率比使用側視圖像低;同時使用俯視和側視圖像序列識別豬的行為得到的準確率高于單獨使用單一視角的圖像序列,說明利用俯視和側視視角圖像比單一視角能得到更多的行為識別信息,而且本文提出的識別方法能充分利用融合后的信息,從而更準確地識別豬的行為.

此外,本文還復現了其他基于機器視覺的方法,并使用本文標定的數據集根據五折法測試這些方法的準確率,和本文提出方法作比較.

由表2 可知,本文在檢測識別各行為活動時,準確率均高于或大致等于現有的檢測方法.說明基于卷積神經網絡的機器學習算法,在檢測識別圖像序列中豬的行為活動方面具有顯著優勢,可適用性更廣,更適合應用于在自然場景下實時監測識別豬的行為活動.

表2 豬行為活動識別結果(單位:%)

4 結論和展望

本文提出了一種基于機器視覺技術的無接觸識別豬行為活動的系統,利用卷積神經網絡提取圖像的深度特征,再使用特征融合方法融合行為序列圖像的深度特征,最后根據融合的深度特征識別圖像序列中豬的行為活動.相對于現有基于人工設定特征的行為識別方法,本文提出的方法能自適應地提取行為特征,適用范圍更廣,對自然場景中豬的行為識別準確率更高.但是本文只使用了CCD 相機采集視頻圖像信息,采集信息的方式較為單一,為了更準確地識別豬行為活動,可以優化為使用多傳感器系統采集不同種類的信息,比如紅外相機、壓力傳感裝置和虹膜采集裝置等,這些問題仍待進一步研究.