基于隱馬爾科夫模型的深度視頻哺乳母豬高危動作識別

薛月菊，楊曉帆，鄭 嬋，陳暢新，甘海明，李詩梅

基于隱馬爾科夫模型的深度視頻哺乳母豬高危動作識別

薛月菊1，楊曉帆1，鄭 嬋2，陳暢新1，甘海明1，李詩梅1

（1. 華南農業大學電子工程學院，廣州 510642；2. 華南農業大學數學與信息學院，廣州 510642）

哺乳母豬的高危動作和仔豬存活率有密切關系，能直接體現其母性行為能力，而這些高危動作又與其姿態轉換的頻率、持續時間等密切相關。針對豬舍環境下，環境光線變化、母豬與仔豬黏連、豬體形變等給哺乳母豬姿態轉換識別帶來的困難。該文以梅花母豬為研究對象，以Kinect2.0采集的深度視頻圖像為數據源，提出基于Faster R-CNN和隱馬爾科夫模型的哺乳母豬姿態轉換識別算法，通過Faster R-CNN產生候選區域，并采用維特比算法構建定位管道；利用Otsu分割和形態學處理提取疑似轉換片段中母豬軀干部、尾部和身體上下兩側的高度序列，由隱馬爾科夫模型識別姿態轉換。結果表明，對姿態轉換片段識別的精度為93.67%、召回率為87.84%。研究結果可為全天候母豬行為自動識別提供技術參考。

圖像處理；算法；模型；高危動作；哺乳母豬；Faster R-CNN；隱馬爾科夫模型；定位管道

0 引 言

在養豬場飼養環境下，母豬高危動作主要體現在姿態轉換次數、頻率和持續時間，這也是其母性行為優劣的重要體現，與仔豬成活率密切相關[1]。通過人工眼睛直接觀察或視頻監控觀察母豬姿態轉換具有強主觀性，且耗時費力[2]。母豬姿態轉換行為自動識別可為其母性行為特質和規律研究提供基礎信息，對防止仔豬踩壓死亡，提高仔豬生存率，降低豬場管理的人工成本意義重大[3-4]。

傳感器技術已被用于監測母豬姿態，如Thompson等[4]通過傳感器獲取加速度數據，用支持向量機識別母豬姿態和姿態轉換，姿態轉換識別的精度和召回率分別為 82.60%和76.10%；閆麗等[5]通過在母豬頸部或腿部佩戴MPU6050模塊采集母豬行為數據，對高危動作識別的準確率為81.7%。為克服母豬應激、傳感器脫落或損壞等影響，計算機視覺開始用于獲取母豬姿態信息。如Lao等[2]用深度圖像對母豬的臥、坐、跪、站立和飲食等動作進行識別，準確率分別為99.9%、96.4%、78.1%、99.2%和92.7%；Zheng等[6]和薛月菊等[7]用目標檢測器Faster R-CNN，識別了深度圖像中母豬的站立、坐、俯臥、腹臥和側臥姿態，對5類姿態的平均精度均值分別為87.1%和93.25%。但文獻[2,6,7]的工作僅限于基于靜態圖像的姿態識別。

而哺乳母豬姿態轉換行為是從一個姿態變換到另一個姿態的行為，涉及到轉換的前后姿態及轉換過程。由于未充分利用行為的時間序列信息，已有的靜態圖像目標檢測算法難以直接用于行為識別[8]。需從視頻幀序列中自動分析正在進行的姿態轉換行為。但因視頻的時域和空域都有極強的相關性，伴有大量時空信息和冗余信息，給行為識別帶來了挑戰[9-10]。

為實現行為識別，研究者采用不同方法提取視頻集中的時空信息并對其進行分析。如Wang等[11]提出了基于時空密集軌跡的行為識別方法，在HMDB51數據集上的識別精度達到57.2%；Peng等[12]用堆疊的2個Fisher向量編碼層對文[11]密集軌跡進行編碼，聚合形成視頻的描述特征，以提高行為識別精度，與文[11]相比在HMDB51數據集上的識別精度提高9.59%。但上述手工設計特征的方法過于依賴于專家經驗，模型泛化能力不強，難以應用于真實的實時場景中[13]。最近，卷積神經網絡（conv-olut-ionalneural networks，CNN）被引入至視頻行為識別領域[14-15]中。對于場景中存在多個運動目標的情況，為克服場景中其他運動對象對所關注對象行為識別的影響，研究者基于CNN在視頻幀上進行動作區域檢測，并進行跟蹤和行為分析[16-18]。如Gkioxari等[16]和Saha等[17]分別通過雙通道CNN網絡提取每個候選區域的表觀特征和運動特征，再計算候選區域的動作分數，最后將候選區域在時間維度上利用優化算法進行連接形成動作管道，行為識別效果較好。然而，文[16-17]計算復雜，僅適合短視頻（小于200幀）的動作分類，難以解決長段視頻的母豬姿態轉換行為識別。

為克服自由欄場景下，母豬姿態轉換行為過程中姿態的不確定性和身體的形變，及仔豬對哺乳母豬姿態轉化行為識別的影響，借鑒文獻[16-18]動作管道生成的思路，利用目標檢測-跟蹤-行為分析的方法研究母豬姿態轉換行為識別。以深度視頻圖像為母豬姿態轉換識別的數據源，提出以Faster R-CNN[19]輸出的姿態概率形成疑似轉換片段定位管道，提取定位管道中的母豬高度時間序列特征，然后輸入隱馬爾科夫模型（hidden Markov model，HMM）[20]，實現母豬姿態轉換高危動作識別，試驗驗證本文方法的有效性。

1 材料與方法

1.1 試驗數據采集

本文試驗數據均采集于廣東佛山市三水區樂家莊養殖場，于2016年5月30日、11月29～30日；2017年4月19～20日、4月25日；及2018年9月5～6日共進行5次采集，見表1。其中試驗數據B1和B4以盡可能涵蓋不同哺乳母豬尺寸為目的，每間豬欄采集時間長度為30～50 min不等。試驗數據B2、B3和B5以盡可能涵蓋母豬全天活動為目的，每次僅針對1欄或2欄豬進行采集。每間豬欄長3.8 m×寬2.0 m，均包含一頭哺乳母豬及6～10只日齡為2～21 d的仔豬。通過在豬欄頂部架設Kinect2.0攝像頭垂直向下以5幀/s的速率采集RGB-D視頻圖像。為拍攝豬欄整個區域，攝像機架設的高度為200～230 cm。本文利用512×424像素的深度視頻圖像，研究母豬姿態轉換行為自動識別。

表1 試驗數據集

1.2 訓練集、驗證集和測試集準備

訓練集、驗證集和測試集應保證數據多樣性，涵蓋不同母豬尺寸、姿態和轉換行為。本文選擇表1中B1、B4和B5的部分數據作為Faster R-CNN和HMM訓練集和驗證集，B2和B3作為本文算法的測試集，用于算法的性能評價。

對于Faster R-CNN的訓練集和驗證集，為避免時序相關性等問題，從B1、B4和B5每個母豬姿態未發生變化的視頻段中隨機抽取至多5張深度圖像，并在動物行為專家指導下人工標注母豬邊界框和姿態類別，分別得到站立2 941、坐2 916、趴臥2 844和側臥3 085張。再從每類姿態中各隨機抽取1 500張，共6 000張，分別做順時針90°、180°和270°旋轉以及水平、垂直鏡像擴增，最后形成36 000張圖像作為訓練集，剩余站立1 441、坐1 416、趴臥1 344和側臥1 585張作為驗證集。

對于HMM的訓練集和驗證集，在B1、B4和B5中隨機截取發生與未發生姿態轉換的圖像序列各120段，共240段。根據姿態轉換持續時間的統計結果，每段圖像序列長度為60~120幀不等。隨機抽取其中120段作為訓練集，其余作為驗證集。

選取試驗數據B2和B3作為測試樣本。B2從連續時間長度29.7 h的視頻中人工選取了26個片段，每段長度30～47 min，在切分視頻前剔除了部分母豬長時間保持不動的視頻片段。B3為連續29 h的視頻，為適應圖像處理服務器計算性能和內存的限制，簡單地將29 h的視頻人工切分成34個長視頻，每段長度36～50 min。人工切分并未涉及母豬姿態轉換的起始和結束，僅為適應服務器內存的限制，并在切分時避免切分點落在姿態轉換的過程中。而母豬姿態轉換的起始和結束以及姿態轉換的類別，是通過算法從該部分長視頻識別出來。在各長視頻分析之后，將分析結果按時間順序拼接即可獲得1d以上（29 h）的識別結果。

由于B2和B3視頻數據共包含380 073張深度視頻幀，人工標注每張視頻幀中母豬的邊界框工作量過大，本文從每個母豬姿態未發生變化的視頻段中隨機抽取至多5張深度圖像進行邊界框標注，分別得到站立967、坐940、趴臥972和側臥984張，作為Faster R-CNN測試集。并人工標注了視頻中母豬各類姿態及姿態轉換的起始幀和結束幀，姿態轉換共156次，用于與本文算法自動識別結果對比，評價本文算法的識別精度。

1.3 母豬姿態轉換類別及定義

母豬自高向低的俯身動作對仔豬威脅較大，被稱為高危動作[21]。Weary等[22]通過觀察統計發現，仔豬被擠壓主要發生于以下三類姿態轉換：1）母豬從站立轉至臥，易造成仔豬在母豬腹部被擠壓；2）母豬從坐轉換至臥，其中從坐轉換至側臥對仔豬威脅較大；3）母豬在趴臥與側臥間轉換，該類轉換對仔豬威脅較小。而母豬的身體上升動作極少發生擠壓仔豬的情況。按照對仔豬的威脅程度和發生頻率，本文將母豬的姿態轉換分為4類，見表2。

表2 母豬4類姿態轉換

注：DM1為下行轉換1，DM2為下行轉換2，AM為上行轉換，RL為翻身。下同。

Note: DM1 represents descending movements 1, DM2 represents descending movements 2, AM represents ascending movements, and RL represents rolling. The same below.

2 母豬姿態轉換識別

由于母豬姿態轉換中身體的形變和姿態的多樣性，易導致Faster R-CNN目標定位和姿態識別錯誤。因此，本文提出母豬定位管道算法（詳見2.3節）以修正目標定位錯誤，將疑似姿態轉換視頻片段的定位管道中母豬身體各部分高度序列輸入HMM，來進一步判斷是否發生姿態轉換。

本文姿態轉換識別方法分為5個步驟（見圖1）：第一步，深度圖像質量增強。第二步，用改進Faster R-CNN[7]進行目標定位和姿態分類，選取每幀中概率最大的姿態，形成姿態序列，用于第三步疑似轉換片段的檢測和第五步單一姿態片段的分類；同時保留概率最大的前5個檢測框作為候選區域，用于第三步的管道構建。第三步，針對姿態序列中存在分類錯誤，根據時序相關性，采用時間域中值濾波進行修正，再檢測視頻中的疑似轉換片段，通過維特比算法構建各疑似轉換片段的最大分數定位管道。第四步，在定位管道中，用最大類間方差法（Otsu）[23]分割各幀的母豬，計算各幀母豬軀干部、尾部和身體兩側的高度，形成高度序列特征。第五步，將每個定位管道的高度序列輸入HMM模型，將疑似轉換片段分為姿態轉換與未轉換片段；根據轉換前后單一姿態片段的類別對姿態轉換片段進行分類，最終實現姿態轉換識別。

圖1 母豬姿態轉換識別流程圖

2.1 深度圖像質量增強

豬舍環境下，豬舍內部粉塵阻擋造成Kinect2.0的紅外光無法投射至拍攝對象，且未封閉豬舍四周受陽光直射導致該部分區域反射回的紅外光捕獲困難，因此，采集到的深度圖像存在大量噪聲。本文采用5×5中值濾波器進行去噪，通過限制對比度自適應直方圖均衡化提高圖像對比度。

2.2 母豬深度圖像的目標定位和姿態分類

采用改進Faster R-CNN[7]在視頻幀上進行母豬定位和姿態分類，該網絡主要包含卷積層、最大池化層、正則化層、殘差結構和全連接層。模型在共享卷積層中引入殘差結構，提升模型收斂速度和精度[24]；并引入Center Loss監督信號，以增大不同姿態類別間特征的距離，減少類內差異[25]。

模型的訓練基于Caffe框架[26]，用隨機梯度下降法和反向傳播算法微調參數，最大迭代次數為9×104，其中前6×104次學習率為10-3，后3×104次學習率為10-4，沖量為0.9，權值的衰減系數為5×10-4，mini-batch為256，對網絡層采用均值為0，標準差為0.1的高斯分布初始化。根據深度圖像中母豬的尺寸，將錨點面積設置為962、1282和1602像素，長寬比設置為1:1、1:3和3:1。當檢測框與人工標注框交并比超過閾值0.7并且類別一致，則認為檢測結果正確。

測試時，將B2和B3的深度視頻圖像逐幀輸入至該模型，選取每幀中概率最大的姿態形成姿態序列，用于第三步疑似轉換片段的檢測和第五步單一姿態片段的分類，同時保留每幀概率最大的前5個檢測框作為候選區域，用于第三步定位管道構建。

2.3 疑似轉換片段檢測及定位管道構建

由于母豬姿態轉換行為中姿態連續地變化，其姿態不確定，隨著時間推移可能一定程度上與站、坐、側臥或趴臥其中一種相似，也可能相異于任何姿態。如圖2左右虛線之間部分為母豬從趴臥到站立的轉換。在未轉換前，趴臥姿態概率最高；轉換過程中，4類姿態的概率均較低且最大概率變化頻繁，導致Faster R-CNN輸出姿態類別不確定和頻繁變化；姿態轉換結束后，站立姿態概率最高。

圖2 母豬從趴臥轉站立的前后姿態概率圖

因此，在利用時序相關性以長度為5幀的中值濾波進行姿態類別的修正之后，根據姿態轉換頻繁程度檢測疑似姿態轉換片段。采用長度為20幀、步長為1幀的滑動窗口計算每個窗口內姿態序列的變化次數。通過統計姿態轉換片段中姿態變化次數，最終截取變化次數大于3的片段作為疑似轉換片段，其余片段作為單一姿態片段。在疑似轉換片段中，部分片段是由Faster R-CNN姿態識別錯誤而被誤認為姿態轉換，實際上母豬未發生轉換，將該類片段稱為未轉換片段。因此，需對疑似轉換片段進一步判斷，分為姿態轉換片段和未轉換片段兩類（詳見2.5節）。為降低Faster R-CNN目標定位錯誤對姿態轉換判斷造成的影響，本文參考文獻[16]的動作管道思想，提出母豬定位管道建立方法，對第二步獲得的各幀中最大概率的前5個候選區域，計算相鄰幀候選區域的連接分數：

注：t表示疑似轉換片段中的第t幀。

2.4 疑似轉換片段的高度序列計算

母豬發生姿態轉換時，由于身體的變形和姿態的多樣性難以利用母豬身體形狀信息，而身體高度則會發生相應變化。因此，可用身體不同部位的高度時間序列對疑似轉換片段進行分類。考慮到母豬在站立和坐姿下，頭部高度及朝向經常發生變化，本文利用母豬身體部分高度，而不用頭部高度。

對優化后的定位管道，逐幀在檢測框中采用Otsu和形態學處理將母豬從背景中分割出來。由于在自由欄豬舍中，母豬大部分時間靠墻活動，通過Otsu分割出來的母豬常與墻體和仔豬相連，本文采用霍夫變換檢測Otsu分割結果中的墻壁并將其剔除，再進行閉操作，斷開母豬與仔豬黏連，最后將分割結果映射至原始深度圖像。

不同的母豬姿態豬體各部位的高度值也不同，為提取該高度特征，對豬體劃分區域，見圖4。考慮到圖像中豬體角度不同，在劃分前統一對目標區域進行雙三次插值法旋轉。用圓弧度判斷母豬尾部和頭部，再連接頭尾2點形成直線，于直線1/4和3/4點處分別作垂線，將母豬豬體分為頭部（區域1和4）、軀干部（區域2和5）、尾部（區域3和6）及身體上側（區域2和3）和下側（區域5和6）。計算母豬軀干部、尾部和身體上下兩側各部分的平均高度，合并各幀結果，形成疑似轉換片段的高度序列，即屬性個數為4、長度為60~120不等的高度時間序列特征。對每段高度序列作減均值預處理。

圖4 母豬區域劃分示意圖

2.5 疑似轉換片段再分類

將高度時間序列特征輸入連續型HMM[28]進行分類，并選用混合高斯概率密度函數描述每個隱狀態的分布。一個HMM模型可記為：

式中為隱狀態數，為高斯混合模型中核函數的個數，為隱狀態轉移概率矩陣，為概率分布函數矢量，為初始隱狀態概率矢量。

對HMM設置核函數個數和隱狀態數均為2，最大迭代次數為500，訓練最小誤差為10-6。重復10次試驗，保留準確率最高的模型。測試時，將采集的B2和B3數據中所有疑似轉換片段高度序列輸入至HMM進行分類，其中未轉換片段與單一姿態片段合并，形成分段結果。

考慮到未轉換片段伴有多幀姿態誤分類，對于合并后的單一姿態片段，用片段中姿態序列占比最大的類別作為單一姿態的類別。再根據轉換前后單一姿態片段的類別對姿態轉換片段分類，形成最終結果。

2.6 評價標準

本文采用分類混淆矩陣[29]評價Faster R-CNN模型。用準確率（accuracy）評價HMM模型：

采用成功定位率（success plot）[30]評價定位管道提取結果，反映目標跟蹤的準確性。用召回率（recall）和精度（precision）[31]評價姿態轉換片段識別結果，以綜合反映分段點定位和片段分類的準確性。各指標定義：

3 結果與分析

算法開發環境具體如下：計算機處理器為Intel(R) Xeon(R) E3-1246 v3，主頻3.50 GHz，內存32G，GPU為NVIDIA GTX980Ti，操作系統為Windows7-64bit，算法開發平臺為Matlab 2014b。

在測試集上，按算法流程分別計算Faster R-CNN模型的分類混淆矩陣、管道的成功定位率及HMM模型準確率；最后，整體評價本算法對姿態轉換識別的精度和召回率。

3.1 Faster R-CNN模型評價

表3為Faster R-CNN模型的分類混淆矩陣（IoU>0.7，測試集見1.2節）。四類姿態的平均精度和平均召回率分別為98.49%和92.35%，檢測速度為0.058 s/幀。

表3表明，Faster R-CNN模型識別精度較高，同時檢測時間低于采樣間隔（0.2 s），實時性較強，對于身體花色與尺寸不同的母豬，該模型具有較好的泛化能力。

表3 Faster R-CNN模型在測試集上的分類混淆矩陣

注：STD為站立，SIT為坐立，VTL為趴臥，LTL為側臥。下同。

Note: STD represents standing, SIT represents sitting, VTL representsventral lying, and LTL representslateral lying. The same below.

3.2 定位管道結果評價

圖5表明，優化后的定位管道對豬舍環境下的母豬有良好的跟蹤效果，有效克服了熱燈光線、母豬身體形變等對跟蹤的影響，說明本文算法有較高的魯棒性。

圖5 不同交并比閾值下的成功定位率

3.3 HMM模型評價

通過本文算法的前3個步驟，在測試集中共檢測出433個疑似轉換片段，經人工判別其中158個為姿態轉換片段，剩余275個為未轉換片段。用HMM模型判斷轉換和未轉換片段，真正類、真負類的數量分別為153和266，準確率為96.77%。

HMM模型能有效地對疑似轉換片段進行分類。對實際發生姿態轉換，而算法錯分為未轉換的片段，該類情況主要發生在翻身及坐與趴臥間轉換，原因在于轉換前后母豬身體運動幅度小，高度變化不明顯。對實際未發生轉換，而算法錯分為姿態轉換的片段，主要由于深度圖像噪聲影響導致母豬身體部分缺失，各部位高度計算錯誤。

3.4 本文算法整體結果評價

將B2和B3視頻數據輸入本文算法，可得到姿態轉換識別的結果。表4為4類姿態轉換的分類混淆矩陣（=0.5），測試集中母豬姿態轉換共156次，檢測出的139個姿態轉換片段與人工分段結果類別一致，平均精度為93.67%，召回率為87.84%。

表4 測試集姿態轉換分類混淆矩陣

由于大部分時段母豬姿態轉換頻率較低，為突出本文算法效果，圖6僅從測試集試驗結果中截取轉換次數較多的視頻段進行展示，每段截取長度為15 min。其中，粉紅色的部分為姿態轉換片段，其他顏色分別表示不同的姿態。可以看出，與基于Faster R-CNN單幀檢測相比，本文算法分段效果更好。圖6a中，Faster R-CNN在識別母豬站立、坐的過程中伴有多幀誤分類，通過定位管道和HMM模型將該部分疑似轉換片段歸為未轉換片段，進而修正視頻幀類別；圖6b是將本文算法應用于夜間場景中，所選視頻段環境光線均偏暗，但從分段結果來看，大部分片段定位正確。說明本文算法對光線變化問題有較好的泛化能力，解決了環境光線給識別帶來的困難。但圖6c最后一次轉換分段點位置不夠準確，主要因為在母豬轉換姿態后部分視頻幀分類錯誤，而采用滑動窗口的方法會提取全部姿態序列中變化次數較多的片段，未能準確定位姿態轉換片段的起始和結束幀；圖6d則存在分段點過多的問題，主要原因是母豬在姿態轉換期間為避免踩壓仔豬，會先轉換至其他過渡姿態后暫停，出現環視周圍及拱鼻探查仔豬等母性行為，確保仔豬安全后再進行轉換。該類母豬過渡姿態的不確定性易被誤識別為發生兩次姿態轉換，進而導致分段點過多。

圖7為本文算法對測試集連續29 h視頻（B3）的姿態轉換自動識別結果，共檢測出84次轉換。21:00～7:00母豬處于夜間休息時間，姿態轉換頻率較低，而日間母豬姿態轉換較為頻繁，識別結果符合人工視頻觀察和母豬動物行為的規律[6]。

圖6 部分測試樣本分段結果

圖7 本文算法在29 h連續視頻上的自動識別結果

4 結 論

本文研究可為哺乳母豬高危動作自動識別中的姿態轉換行為識別提供思路，為后續母豬福利狀態評估等研究打下基礎，但仍存在以下不足：1）Faster R-CNN模型識別精度有待提高，深度圖難以辨別母豬部分姿態，后續工作考慮融合RGB圖像。2）分段點定位及片段分類的準確性有待提高，改進分段算法將更有利于識別母豬姿態轉換。

[1] Marchant J N, Broom D M, Corning S. The influence of sow behaviour on piglet mortality due to crushing in an open farrowing system[J]. Animal Science, 2001, 72(1): 19－28.

[2] Lao F, Brown-Brandl T, Stinn J P, et al. Automatic recognition of lactating sow behaviors through depth image processing[J]. Computers & Electronics in Agriculture, 2016, 125(C): 56－62.

[3] Wang J S, Wu M C, Chang H L, et al. Predicting parturition time through ultrasonic measurement of posture changing rate in crated landrace sows[J]. Asian Australasian Journal of Animal Sciences, 2007, 20(5): 682－692.

[4] Thompson R, Matheson S M, Pl?tz T, et al. Porcine lie detectors: Automatic quantification of posture state and transitions in sows using inertial sensors[J]. Computers & Electronics in Agriculture, 2016, 127: 521－530.

[5] 閆麗, 沈明霞, 謝秋菊, 等. 哺乳母豬高危動作識別方法研究[J]. 農業機械學報, 2016, 47(1): 266－272.Yan Li, Shen Mingxia, Xie Qiuju, et al. Research on recognition method of lactating sows' dangerous body movement[J]. Transactions of The Chinese Society for Agricultural Machinery, 2016, 47(1): 266－272. (in Chinese with English abstract)

[6] Zheng C, Zhu X, Yang X, et al. Automatic recognition of lactating sow postures from depth images by deep learning detector[J]. Computers and Electronics in Agriculture, 2018, 147: 51－63.

[7] 薛月菊, 朱勛沐, 鄭嬋, 等. 基于改進FasterR-CNN識別深度視頻圖像哺乳母豬姿態[J]. 農業工程學報, 2018, 34(9): 189－196.Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189－196. (in Chinese with English abstract)

[8] Jhuang H, Gall J, Zuffi S, et al. Towards Understanding Action Recognition[C]// IEEE International Conference on Computer Vision, 2014.

[9] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos[C]. Advances in Neural Information Processing Systems, 2014: 568－576.

[10] Aggarwal J K, Ryoo M S. Human activity analysis: A review[J]. Acm Computing Surveys, 2011, 43(3): 1－43.

[11] Wang H, Schmid C. Action recognition with improved trajectories[C]// Proceedings of the IEEE International Conference on Computer Vision, 2013: 3551－3558.

[12] Peng X, Zou C, Qiao Y, et al. Action recognition with stacked fisher vectors[C]// European Conference on Computer Vision, 2014: 581－595.

[13] Du Y, Yuan C, Li B, et al. Hierarchical nonlinear orthogonal adaptive-subspace self-organizing map based feature extraction for human action recognition[C]// Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[14] Shuiwang J, Ming Y, Kai Y. 3D convolutional neural networks for human action recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(1): 221－231.

[15] Feichtenhofer C, Pinz A, Zisserman A. Convolutional two- stream network fusion for video action recognition[C]. Computer Vision & Pattern Recognition, 2016.

[16] Gkioxari G, Malik J. Finding action tubes[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recogn-ition, 2015: 759－768.

[17] Saha S, Singh G, Sapienza M, et al. Deep learning for detecting multiple space-time action tubes in videos[C]// British Machine Vision Conference, 2016.

[18] Miao M, Marturi N, Li Y, et al. Region-sequence based six-stream CNN features for general and fine-grained human action recognition in videos[J]. Pattern Recognition, 2017, 76: 506－521.

[19] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137－1149.

[20] Rabiner L, Juang B. An introduction to hidden Markov models[J]. IEEE ASSP Magazine, 1986, 3(1): 4－16.

[21] Moustsen V, Hales J, Lahrmann H, et al. Confinement of lactating sows in crates for 4 days after farrowing reduces piglet mortality[J]. Animal, 2013, 7(4): 648－654.

[22] Weary D M, Pajor E A, Fraser D, et al. Sow body movements that crush piglets: A comparison between two types of farrowing accommodation[J]. Applied Animal Behaviour Science, 1996, 49(2): 149－158.

[23] Ohtsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1): 62－66.

[24] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770－778.

[25] Wen Y, Zhang K, Li Z, et al. A Discriminative Feature Learning Approach for Deep Face Recognition[M]. Springer International Publishing, 2016: 499－515.

[26] Jia Y, Shelhamer E, Donahue J, et al. Caffe: Convolutional architecture for fast feature embedding[C]// Proceedings of the 22nd ACM International Conference on Multimedia, 2014: 675－678.

[27] Viterbi A. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm[J]. IEEE Transactions on Information Theory, 1967, 13(2): 260－269.

[28] Guo D, Zhou W, Wang M, et al. Sign language recognition based on adaptive HMMS with data augmentation[C]// IEEE International Conference on Image Processing, 2016: 2876－2880.

[29] Stehman S V. Selecting and interpreting measures of thematic classification accuracy[J]. Remote Sensing of Environment, 1997, 62(1): 77－89.

[30] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[C]// Computer Vision and Pattern Recognition, 2013: 2411－2418.

[31] Gao J, Sun C, Yang Z, et al. TALL: Temporal activity localization via language query[C]// Proceedings of the IEEE International Conference on Computer Vision, 2017: 5277－5285.

Lactating sow high-dangerous body movement recognition from depth videos based on hidden Markov model

Xue Yueju1, Yang Xiaofan1, Zheng Chan2, Chen Changxin1, Gan Haiming1, Li Shimei1

(1.,,510642,; 2.510642,)

The high-dangerous body movements of lactating sows are closely related to the survival rate of piglets, which can directly reflect their maternal behavioral ability, and these movements are closely related to the frequency and duration of posture changing. Under the scene of commercial piggery, the influence of illumination variations, heat lamps, sow and piglet adhesion, body deformation, etc., brings great difficulties and challenges to the automatic identification of the posture changes of lactating sows. This study took the Small-ears Spotted sows raised in the Lejiazhuang farm in Sanshui District, Foshan City, Guangdong Province as the research object, and used the depth video images collected by Kinect2.0 as the data source. We proposed a localization and recognition algorithm of sow posture changes based on Faster R-CNN and HMM(hidden Markov model )models from the depth videos. Our algorithm consists of five steps: 1) a 5×5 median filter is used to denoise the video images, and then the contrast of images are improved by contrast limited adaptive histogram equalization;2) an improved Faster R-CNN model is used to detect the most probable posture in each frame to form a posture sequence, and the first five detection boxes with the five highest probabilities are reserved as candidate regions for the action tube generation in the third step;3) a sliding window with a length of 20 frames and a step size of 1 frame is used to detect the suspected change segments in the video,and then the maximum score of action tube of each suspected change segment is construct by the Viterbi algorithm;4) each frame is segmented by Otsu and morphological processingin the suspected change segments,and the heights of the sow trunk, tail and both sides of body are calculated to formheightsequences; 5) the height sequence of each suspected change segment is fed into the HMM model and then classified as posture change or non-change, and finally the posture change segments are classified according to the classes of before and after segments belonging to single posture segments. According to the threat degree of sow accident and the frequency of sow behavior, the posture changes of sows were divided into four categories: descending motion 1, descending motion 2, ascending motion and rolling motion.The data set included 240 video segments covering different sow sizes, postures and posture changes. The 120 video segments were chosen as the testing set, and the rest of the video segments were used as training set and validation set for Faster R-CNN and HMM. Our Faster R-CNN model was trained by using Caffe deep learning framework on an NVIDIA GTX 980Ti GPU (graphics processing unit), and the algorithm was developed on Matlab 2014b platform.The experimental results showed that the Faster R-CNN model had high recognition accuracy, and the detection time of each frame was 0.058 seconds, so the model could be practicably used in a real-time detective vision system.For sows with different body colors and sizes, theFaster R-CNN model had good generalization ability. The HMM model could effectively identify the posture change segments from the suspected change segments with an accuracy of 96.77%. The accuracy of posture changeidentification was 93.67%, and the recall rate of the 4 classes of posture change i.e. descending movements 1, descending movements 2, ascending movements and rolling were 90%, 84.21%, 90.77%, 86.36%.The success plot was 97.40% when the threshold was 0.7, which showed that the optimized position tube had a good tracking effect for sows in the scene of commercial piggery, effectively overcoming the influence of heat lamps and body deformation of sows. Our method could provide a technical reference for 24-hour automatic recognition of lactating sow posture changes and make a foundation for the following research on sow high-dangerous body movement recognition and welfare evaluation.

image processing; algorithms; models; high-dangerous body movement; lactating sows; Faster R-CNN; HMM(hidden Markov model); action tube

10.11975/j.issn.1002-6819.2019.13.021

TP391

A

1002-6819(2019)-13-0184-07

2018-12-18

2019-04-24

國家科技支撐計劃（2015BAD06B03-3）；廣東省科技計劃項目（2015A020209148）；廣東省應用型科技研發項目（2015B010135007）；廣州市科技計劃項目（201605030013）；廣州市科技計劃項目（201604016122）

薛月菊，漢族，新疆烏蘇人，教授，研究領域為機器視覺與圖像處理。Email：xueyueju@163.com

薛月菊，楊曉帆，鄭 嬋，陳暢新，甘海明，李詩梅.基于隱馬爾科夫模型的深度視頻哺乳母豬高危動作識別[J]. 農業工程學報，2019，35(13)：184－190. doi：10.11975/j.issn.1002-6819.2019.13.021 http://www.tcsae.org

Xue Yueju, Yang Xiaofan, Zheng Chan, Chen Changxin, Gan Haiming, Li Shimei.Lactating sow high-dangerous body movement recognition from depth videos based on hidden Markov model [J]. Transactions of the Chinese Society for Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 184－190. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.13.021 http://www.tcsae.org