RGB-雙邊濾波增強的二維Otsu閾值分割算法＊

肖夏偉，陳蘇怡，朱偉興

(江蘇大學電氣信息工程學院，江蘇 鎮江 212013)

0 引言

機器視覺技術是一種無接觸、無污染和高效的監控方式，將其應用于豬養殖業，對采集的豬圖像利用分割技術分割出豬個體，進而對其后續行為和身份的識別有重要意義。

基于機器視覺的豬個體前景圖分割的主要研究成果有：ZHANG 等利用Sobel 檢測濾波器在分割豬個體過程中預測目標邊緣提升分割的精度。HU 等將低層邊緣位置特征與高層特征融合，提高對目標邊緣輪廓的識別能力，提高分割精度。GAO 等提出基于雙金字塔網絡的RGB-D 群豬圖像分割方法，利用多個維度輸入增強分割效果。LI 等利用對Otsu 分割方法設置多個閾值對采食區域的生豬進行分割。上述分割方法對只有單個豬的情況分割效果比較明顯，對于嚴重粘連的豬個體分割效果有待提高。

針對多只豬粘連而難以分割的問題，提出了基于RGB-雙邊濾波的增強二維Otsu 閾值分割算法。首先，利用改進的YOLOV4 網絡對采集的群養豬圖像進行豬個體的目標檢測。之后，對目標檢測后的圖像利用RGB-雙邊濾波算法銳化豬個體的輪廓邊緣，并將銳化后的邊緣添加至原圖中。最后，利用增強二維Otsu閾值分割算法對添加后的圖像進行分割。

1 信息采集的方法

群養豬實驗視頻集是通過在豬舍中心的正上方3米的位置架設攝像設備所采集的俯視視頻，出自鎮江希瑪牧業有限公司的養豬場，該場豬舍的長和寬都是2米，每個豬舍中均為7頭豬。獲取的視頻為AVI格式的RGB彩色視頻，分辨率為1760*1840像素，幀率為20幀/秒。

對群養豬中豬個體進行分割，首先要對豬個體進行目標檢測，改進YOLOv4 網絡適用于本文豬個體的目標檢測要求。YOLOV4 主體框架主要由特征提取主網絡CSPDarknet-53、最大池化降維網絡SPP_Block、特征融合網絡PANet 和預測輸出網絡YOLO Head 組成。為適應豬個體目標檢測作一下改進：利用Swish激活函數替代Leaky ReLU，增強的正則化效果。利用3×1 和1×3 的卷積核替代原組CSPRes_block 中的3×3 卷積核，減少參數數量，并去除部分模塊，降低復雜度。在SPP_Block 中引入兩種池化融合的方式替代原單一的最大池化方式，增強特征的細節性。改進模塊如圖1所示。

圖1 YOLOV4改進模塊

2 分割算法

2.1 RGB-雙邊濾波算法

如圖2所示，豬之間會發生粘連現象，由于粘連處邊緣在分割時起不到明顯的作用，導致此時分割效果不佳。原雙邊濾波算子是對單灰度通道進行操作，引入的RGB-雙邊濾波算子同時對三個通道上的圖像進行操作再融合，對邊緣的銳化更有效，使銳化后的邊緣信息在分割時具有引導作用。

圖2 粘連豬示意圖

假設在像素點()x,y處的R、G、B 分量和融合量分別為I(x,y)、I(x,y)、I(x,y)和(x,y),記 為I 、I 、I 和I。像素點(x,y)記為w,為第幾個像素點，其值由1 至M*N,M 和N 為圖像的像素長和寬。利用RGB-雙邊濾波算法計算當前像素點與其中心像素點的空間鄰近系數，并計算對應RGB 通道的當前像素點值與其中心像素點值的值鄰近系數，具體計算如下：

計算對應RGB 通道的融合鄰近系數以及輸出的R、G和B三通道對應的值：

其中W 、W 和W 分別表示RGB 三通道下的融合鄰近系數，表示以中心像素點(x,y)為中心的鄰域內像素點的集合,O 、O 和O 分別表示R、G 和B三通道的對應輸出值。

2.2 增強的二維Otsu閾值分割算法

假設一幅待分割的豬圖像的像素為M*N，像素點坐標為(,)。以像素點(,)為中心，距離為的鄰域內，計算該像素點的平均灰度值。

其中(,)表示像素點(,)的鄰域平均灰度值，(,)表示像素點(,)的灰度值，x與y分別表示像素點(,)在鄰域內兩個方向的移動距離。

四次憲法修改始終與改革開放同步，及時確認了黨領導人民進行改革開放和社會主義現代化建設取得的偉大成就，充分體現了黨在領導人民進行憲法修訂中取得的成功經驗，進一步規范了黨與憲法的關系。以維護社會秩序穩定為基礎、以保障人權為目的，以民主化為路徑，不斷適應發展變化的社會關系和改革開放的新要求，展示出中國特色社會主義道路、理論、制度、文化的發展成果。

計算像素點(,)處灰度值和鄰域平均灰度值組成的二維矢量(,)在整圖中出現次數的頻率值，設立分割初始閾值對(,)，按閾值求對應的豬目標前景和背景中所有二維矢量出現次數的頻率值之和。

其中表示二維矢量(,)在整圖中出現次數的頻率值，表示二維矢量(,)在整圖中的出現次數，I和J分別表示灰度值和鄰域平均灰度值的最大值，P和P分別表示在背景和前景中所有二維矢量在整圖中出現次數的頻率值之和。

分別計算豬個體前景和背景中所有二維矢量的均值矢量和計算整張圖的二維融合均值矢量。

其中τ、τ和τ分別表示背景均值矢量、豬目標前景均值矢量和二維融合均值矢量。

利用三種均值矢量構造分割度量函數：

其中S表示前景和背景之間的類間度量函數，S 和S 分別表示背和前景的類內度量函數，τ()和τ()分別表示背景和前景均值矢量的分量，τ()和τ()分別表示背和前景均值矢量的分量，S表示分割度量函數，表示融合因子，其取值范圍為0至1。最后給出需優化的函數表達式：

其中C表示的取值范圍為1至I和取值范圍為1至J的集合。

3 實驗結果分析

3.1 實驗平臺

采用的硬件平臺內存為64GB、CPU 類型為英特爾E5 2620V4×2，主頻為2.1Ghz，操作系統為Win10；編程軟件為Pycharm；編程語言為Python；圖像處理軟件為matlab 2019a；計算機視覺庫為OpenCV視覺庫。

3.2 銳化邊緣實驗分析

如圖3所示，在單個豬、多只豬不粘連和多只豬粘連的三種情況下，對比原圖與RGB-雙邊濾波后的圖像邊緣。原圖邊緣在單個豬和多只豬不粘連的情況下，豬個體邊緣有部分斷斷續續，邊緣不夠清晰。原圖邊緣在多只豬粘連的情況下，粘連處豬頭處分割效果較差。銳化后的邊緣圖在以上三種情況下，邊緣清晰且連續，表明銳化邊緣提高了多只豬粘連情況下的分割精度。

圖3 銳化邊緣對比圖

3.3 分割實驗分析

在多只豬粘連的200張圖片數據集下進行有銳化邊緣和沒有銳化邊緣的對比實驗。利用分割準確率作為評價指標，其指在預測輪廓內像素點與標注輪廓像素點相交部分占標注總像素點的比例。實驗結果如表1 和表2 所示，本文方法在沒有銳化邊緣的情況下實驗結果與LI方法幾乎一致，但是在有銳化邊緣的情況下，本文比LI等方法準確率至少高3.29%，表明本文方法對于多只豬粘連的情況分割效果優于其他方法。

表1 沒銳化邊緣的情況

表2 有銳化邊緣的情況

在單個豬、多只豬不粘連和多只豬粘連三種數據集下利用本方法進行實驗，實驗結果如表3所示，實驗結果表明本方法對多只豬粘連的情況分割平均準確率也能保持在較高水平，并且其最大與最小準確率的跨度不大，表明該方法的穩定性。

表3 三種數據集下的分割準確率

4 結束語

提出RGB-雙邊濾波增強的二維Otsu閾值分割算法解決豬個體分割時的粘連問題。首先，利用改進的YOLOV4 網絡對采集的群養豬圖像進行豬個體的目標檢測。之后，對目標檢測后的圖像利用RGB-雙邊濾波算法銳化豬個體的輪廓邊緣，并將銳化后的邊緣添加至原圖中。最后，利用增強二維Otsu 閾值分割算法對添加后的圖進行分割。實驗選取有銳化邊緣和沒有銳化邊緣的圖片進行對比，結果表明添加銳化邊緣后對粘連豬的分割更有效。單個豬、多只豬不粘連和多只豬粘連的三種數據集的對比實驗表明本方法在多只豬粘連的情況下分割效果較好且穩定性較高。后期研究可針對邊緣作進一步的增強提升分割效果。