基于YOLO 目標檢測的生豬多閾值Otsu 分割方法

李德平，朱偉興

（江蘇大學電氣信息工程學院，江蘇鎮江 212013）

0 引言

我國是豬肉消費大國，也是養豬大國，在生豬養殖過程中對生豬行為進行監測是評價生豬健康的重要環節［1］。商業化養殖場人工監測存在勞動力成本高和主觀誤差等缺點，現代化生豬養殖及其重要。計算機視覺技術的發展降低了生豬養殖場勞動力投入和生產成本，已成為監測生豬養殖的重要手段，對生豬養殖規模化和集中化起著重要作用。計算機視覺技術主要用于生豬行為分析［3-4］和身份識別［5-6］等方面。

俯視群養豬行為和身份分析日益受到關注，而個體層次上的數據分析擁有更多優勢，因此監測生豬養殖一個關鍵步驟和經典難題是將生豬從背景中分離出來，準確提取個體豬信息。對于背景復雜的俯視群養豬視頻序列（如光變化背景、尿漬、水漬、糞便及地上其他物體，不同顏色的前景對象，群居狀態下的擁擠粘連等），目標的有效提取仍然具有挑戰性，需要進一步研究。豬圈中生豬密度越高，分割困難就越大，尤其在采食區域，由于生豬采食時發生擁擠、碰撞和攻擊等劇烈運動，造成目標難以獲取，粘連的情況使分割難度加大。

常用的生豬分割方法有閾值分割、邊緣檢測分割、分水嶺分割、基于圖論分割、幀差法和背景差分法等。Guo等［7-8］采用自適應分區和多閾值分割對飲食區域生豬進行分割。該方法對目標進行兩次分割，第二次分割是在第一次分割結果基礎上劃分有效區域從而進行精確分割。該分割方法雖效果較好，但沒有考慮到粘連情況。孫龍清等［9］結合交互式分水嶺算法提出改進的Graph Cut 算法，交互式分割生豬圖像，明顯提高了分割精度。但是這種方法在分割過程中需要人為標記前景和背景像素，無法達到自動化分割目的。Wang 等［10］采用背景差分獲取生豬目標區域。對于背景差分法首先需要一副背景圖片，而在群養豬條件下將豬移動到其他地方獲得一副背景圖片顯然是不可取的。楊阿慶等［11］利用全卷積神經網絡實現母豬與仔豬的粘連分割。上述基于深度學習的圖像分割方法可以完整分割出生豬目標，但是分割后由于生豬粘連（尤其是在采食區域），無法實現個體豬提取。因此，需要研究更具普適性的生豬目標分割算法。

本文提出一種多閾值的Otsu 分割方法，該方法結合基于深度學習的目標檢測方法完成生豬個體分割。首先訓練一個YOLO 目標檢測模型［12］，對生豬目標進行端到端檢測。該框架能檢測出圖像中所有訓練對象的位置。在原始圖片中檢測到多個目標框，每個目標框內最多只有一頭豬。然后采用多閾值的Otsu 分割方法對框內目標進行分割［13］，得到準確的分割結果。所得到的豬個體可以用來分析豬的飲食行為以及估計豬的體重。

1 材料與方法

1.1 圖像采集與處理

實驗的視頻數據來自江蘇大學國家重點學科農業電氣化與自動化的實驗基地——鎮江希瑪牧業有限公司養殖場。通過改建試驗用豬舍，安裝拍攝俯視視頻的圖像采集系統，對有7 只豬的豬圈進行監控。攝像機位于豬舍（長×寬×高為3.5m×3m×1m）正上方，相對于地面垂直高度約為4m，視頻采集平臺如圖1 所示。攝像機采用灰點公司FL3-U3-88S2C-C 型號攝像機，相機成像芯片為Sony 的CMOS，輸出RGB 彩色視頻，圖像分辨率為1 760×1 840 像素。試驗在天氣晴好的情況下隨機采集5 天視頻，每天8：00-17：00 時間段，除去人工介入等干擾因素影響，共獲得有效視頻400 多輯，每輯時長2min 左右，所拍攝的視頻幀為25 幀/s，從每天的有效視頻中挑選出6 輯視頻，共采集90 000（120×25×6×5）幀圖像。

1.2 個體分割流程

本文算法流程如圖2 所示。該流程主要分為3 個階段，具體方法如下：

（1）使用自適應直方圖均衡化增強技術進行圖片預處理，并劃分采食區域。

（2）在Tensorflow 深度學習平臺上對YOLO 網絡進行微調，然后針對采食區域的生豬進行端到端檢測。

（3）將檢測到的目標框中的個體豬利用多閾值Otsu 分割方法，將圖片像素分為2、3 或4 類，分別劃分1、2 或3 個閾值，然后將屬于前景的區域疊加起來并結合形態學處理，最終得到較為完整的目標輪廓。

Fig.1 Video capture platform and video frame sample acquired圖1 視頻采集平臺及獲取的視頻幀

Fig.2 Individual segmentation flow圖2 個體分割流程

1.3 彩色圖像增強和采食區域劃分

如圖3 所示（彩圖掃OSID 碼可見，下同），豬圈可分為不同的區域，這些區域都與豬的特定行為有關，如豬喜歡擠在角落里，睡在休息區，采食和飲水區的豬總是站在特定位置。圖3（a）為俯視群養豬單幀實驗圖像示例。通過仔細觀察發現，所拍攝的視頻周圍存在大量不必要的區域占用了計算單元，為此手動設置有效區域，如圖3（b）所示，紅框內像素為有效區域。由于大型養豬場采用集中喂養和封閉式管理，從養豬場收集到的圖像光線通常很弱。因此，圖像直方圖的灰度范圍較窄，位于較低層次。本文通過自適應直方圖均衡化有效區域進行增強，增強的主要步驟是將采集到的彩色圖像從RGB 色彩空間轉換到HSV 色彩空間，保持色調（H）、飽和度（S）通道不變，對亮度（V）通道進行自適應直方圖均衡化增強。將增強后的圖像再轉換到RGB 顏色空間，如圖3（c）所示，得到動態范圍較大的增強圖像。

Fig.3 Experimental original picture and processed image圖3 實驗原圖及處理后圖像

從圖3 可以看出，經過自適應直方圖均衡化處理后的圖片亮度和對比度都有所提高，在視覺上前景目標更加清晰。

從圖3（a）可以發現豬的活動范圍有限，每只豬只能在規定的范圍內活動。在豬發生采食行為時，由于不同時間在采食區的豬數量不同，情況較為復雜，因此定義了采食區域。為適應后期的目標檢測任務，將圖片尺寸統一調整為416×416 像素，以食槽中心點為圓心，圖片尺寸（416 像素）的2/3 為半徑劃分采食區域，如圖4 所示。

Fig.4 Division of feeding area（with the center of trough as the center and 416*2/3 as the radius）圖4 采食區域的劃分（以食槽中心點為圓心，416*2/3 為半徑）

2 生豬定位與分割

2.1 生豬目標檢測

本文檢測的目標較大，YOLO 網絡在實時性和檢測精度上完全符合預期，因此對YOLO 生豬檢測進行微調。由于深度學習對于訓練樣本的數量要求較多，而拍攝的視頻數據相似度較高，為提高模型泛化能力，從上述9 000 幅圖片中選取差別較大的200 幅圖片，另外從網絡上下載不同背景的俯視群養豬圖片1 448 幅，共計1 648 幅圖片構成訓練集。YOLO 模型在MSCOCO 上進行預訓練［14］，然后利用自身的數據集對預訓練的權重進行微調。該框架能夠檢測出圖像中所有訓練對象位置。在原始圖片中檢測到多個目標框，每個目標框內最多有一頭豬，將檢測到的目標提取出來，如圖5 所示。

Fig.5 Positioning and extraction of pig targets圖5 生豬目標定位與提取

2.2 Otsu 分割算法

2.2.1 經典Otsu 分割算法

Otsu 自1979 年提出后一直被認為是閾值分割的經典算法，其通過最大類間方差準則來選取閾值。該方法建立在一幅圖像的灰度直方圖基礎上，依據類間距離極大準則確定區域分割門限。

設一幅大小為M×N像素的圖像有L個不同灰度級，ni表示灰度級為i的像素個數，則圖像中像素總個數為MN=n0+n1+n2+...+nL-1，歸一化后的直方圖各灰度級出現的概率，顯然。設以灰度k為門限將圖像分割成兩個區域：①灰度級為1～k的像素區域A（背景類）；②灰度級為k＋1～L-1 的像素區域B（目標類）。A、B 出現的概率分別計算如下：

A 和B 兩類的灰度均值以及圖像總的灰度均值計算如下：

由此得到A、B兩區域的類間方差σB=pA(mA-m0)2+pB(mB-m0)2。顯然，pA、pB、mA、mB、m0、都是關于灰度級k的函數。為得到最優分割閾值，Otsu 把兩類的類間方差作為判別準則最大化，從而最佳閾值k*如下：

2.2.2 多閾值Otsu 分割算法

由于多數圖像并不是簡單的雙峰，是可一分為二的圖像，因此對于那些灰度直方圖的灰度級分布谷底不明顯的復雜圖像，單一使用Otsu 準則并不能從圖像中穩定可靠地將目標分割出來，很難達到滿意的分割效果。因此，將以上的閾值處理方法推廣到多閾值。將一幅圖像分為K個類C1,C2,...、Ck，類間方差如式（4）所示：

從圖1 拍攝的圖像可以看到，豬體顏色主要分為兩種：黑豬和白豬，且與背景存在較大差異，簡單利用傳統的Otsu 算法將圖中像素分為兩類會存在較大誤差，因此考慮采用多閾值的Otsu 分割方法細化像素分類以提取前景目標。

3 實驗

3.1 實驗平臺

采用64GB 內存、NVIDIA GTX1080TI 型GPU、Intel?Xeon（R）CPU E5-2678 v3@ 2.50GHz 處理器作為硬件平臺，操作系統為Win10，并行計算框架版本為CUDA9.0，深度神經網絡加速庫為CUDNN v7.0。采用Python 編程語言在Keras 深度學習框架上實現生豬目標檢測，采用MAT?LAB 2015a 實現多閾值的Otsu 分割。

3.2 實驗結果及分析

Otsu 方法以圖像的相對直方圖（歸一化直方圖）為基礎對一維陣列進行計算，本文首先利用傳統的Otsu 分割方法計算最優閾值。將圖片中的像素分為前景和背景兩類并繪制相對直方圖，如圖6 所示。

在分割之前，需要將彩色圖轉換為灰度圖，然后獲取最佳閾值使得類間達到方差最大。其中，T為該方法求得的最佳閾值，η（eta）表示可分性度量，它是閾值T所對應的最大類間方差σB與全局方差σ0之比。從圖6 可以看出，圖中的可分性度量相對較高，但是分割結果較差，尤其對于第二張圖片來說其分割率尚不到50%。因此傳統的Otsu分割方法對處理前背景相差較大的圖片效果明顯，而對于類似于第二張圖片需要進一步探索精確的分割方法。

Fig.6 Traditional Otsu segmentation results and histogram of relative values圖6 傳統的Otsu 分割結果與相對值直方圖

利用多閾值的Otsu 分割方法，將一幅圖像分為K個類，因此會產生K-1 個閾值（k1、k2、k3...kk-1），將大小低于k1的像素標記為背景，其余為前景像素，將前景像素相加并通過腐蝕膨脹等形態學處理得到如圖7 所示的結果。

從圖7 可以看出，隨著分類的增加分割結果越來越精確。用η評價分割結果，η定義為最大類間方差與全局方差之比，η的值用來度量已存在的類之間的分離性，值越大說明分離性越強，其取值范圍為［0，1］。本文圖片中分的類越多所對應η值越大，分割越精確，同時效率也越低。

將本文算法得到的分割圖像與手動分割后的圖像交并比（IOU）用于評價分割效果，同時與其他分割方法，如迭代法、最大熵分割方法和文獻分割方法［12］進行比較，如表1所示。

Fig.7 Multi-threshold Otsu segmentation results圖7 多閾值Otsu 分割結果

從表1 可以看出，當將圖片中的像素分為兩類時，由于1 號豬和3 號豬與背景相差較大所以分割結果較好。然而對于2 號豬，豬體像素與背景像素較為相似導致分割結果較差，只有43.2%。而采用多閾值的分割方法分類越多分割結果越精確，但同時所消耗的時間也越多。將圖片中像素分為4 類時，相比于分為3 類時的精度提高很少，但所消耗的時間卻是原來的一倍。因此，綜上所述，當將圖像分為3 類時對應的分割結果較好，且算法處理時間適當。

不同數量生豬分割結果如圖8 所示。

從圖8 可以看出，當采食區域生豬數量較多且存在粘連情況時分割結果也相對較差，但是由于豬體存在顏色差異，所以本文方法可以將輕度粘連的生豬分割出來。對挑選出來的500 幀圖片平均分割率（所有在采食區域的生豬被完整分割）為88.5%，相比于文獻［12］的算法分割精度降低，原因是由于采食區域中存在大量的生豬粘連造成分割精度下降。但本文算法對粘連生豬的分割效果較好，且在算法執行效率上也明顯提高。

4 結語

本文結合深度學習和傳統的圖像處理方法提出一種基于目標檢測的多閾值Otsu 分割方法，可以實現群養狀態下的生豬個體分割。該方法首先以采食槽為中心劃分采食區域，然后利用目標檢測算法端到端提取出單只豬的目標區域，在區域內利用多閾值的Otsu 分割方法分割出生豬個體。該方法適用于俯視群養豬采食區域的復雜場景，解決了粘連狀態下的生豬分割難題并取得較好效果。實驗結果顯示，500 幀實驗數據平均分割率為88.65%，與其他分割方法相比，本文方法在精確度和處理時間上效果較好。后續工作一方面是優化目標檢測算法，提高檢測結果精確度，另一方面是改進分割算法，進一步提高圖片分割效率，并在生豬身份識別和重量估計等方面開展研究。