面向長尾分布問題的豬只上方體況研究

賈增業，陳春雨

哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001

我國的畜牧業發展歷史悠久。當前我國畜牧業的發展正處在一個關鍵時期[1]。對于目前的養豬行業，傳統的養豬模式尚存在大量的缺點和不足，例如設備簡陋、生產效率低、容易發生豬瘟等一系列不利于養豬業生產和管理的因素[2]。隨著人工智能的不斷發展和應用，其憑借先進的養豬理念逐漸被廣泛應用于現代化養豬生產過程中，為我國的養豬產業注入了新的發展動力，引領了新一輪的畜牧業產業革命[3]。生豬養殖過程中，體況作為生產性能的一項重要指標，對豬場的經濟效益最大化具有重要影響。傳統的豬只體況評分方法使用目測法進行評分，其存在效率低、易接觸等缺點[4]。為解決傳統豬只體況評分的弊端[5]，結合深度學習技術，提出豬只上方體況評分法。其過程首先由攝像頭采集豬只上方深度圖圖片，經過預處理之后再由模型對豬只體況進行評分。相比于傳統評分方法，上方體況評分法更加便捷高效，有助于豬場實現智能化、無人化管理。研究過程中發現，由于不同體況的豬只數量差別較大，豬只體況分布呈現出長尾分布這一數據不平衡現象。

長尾分布是計算機視覺領域常見的問題，其定義為少數類擁有大量樣本，而多數類只有少量樣本，其本質為數據不平衡。Lin 等[6]提出Focal Loss，通過減少易分類樣本的損失函數權重，使模型在訓練過程中更專注于難分類樣本。Zhou 等[7]提出雙邊分支網絡，通過對不同分支網絡進行重采樣以及特征加權聚合提高分類效果。Kang等[8]提出通過解耦特征學習與分類器學習來提高長尾分布情況下的分類效果。對于豬只上方體況問題，結合實際情況，我們更希望對于任何一頭豬只，模型都能給出相對應的定量的體況預測值。本文以Resnet-50 作為網絡基本框架，并加入注意力機制模塊以及標簽分布平滑算法和特征分布平滑算法解決豬只上方體況研究中遇到的長尾分布問題。

1 數據采集與預處理

1.1 數據采集

本文的數據來自內蒙古正大和吉林金源2 個豬場。數據的采集分為2 個步驟：1) 通過智能自動化設備從豬只上方進行圖像采集，并將采集到的數據保存在硬盤中；2) 由現場工作人員手持視頻拍攝設備從豬只后方進行體況評分視頻的采集，采集完成后的視頻通過上傳到體況數據云平臺，并對其進行體況評分。圖1 為采集的數據。

1.2 數據預處理

數據預處理如圖2 所示。

圖2 數據預處理流程

數據預處理共分為圖2 所示的4 步：

1) 對采集的上方數據進行清洗，得到圖像數據，以及帶有豬場信息、數據采集日期、豬只欄號和體況標簽的匯總文檔。

2) 對現場拍攝的體況評分視頻進行評分。為進一步細化評分分數，本文在圖3 的基礎上再添加2.5 分、3.5 分2 種評分，評分標準按照圖3 所示[9]。

圖3 母豬體況評分標準

接下來由第1)步得到的采集日期、欄號等信息將體況評分值與采集到的上方體況數據進行體況標簽值匹配。由于體況評分視頻的采集存在天數遺漏的情況，對于缺失體況評分的數據，本文利用相鄰日期的體況評分對其做線性插值處理，以得到缺失對應體況評分視頻數據的體況標簽值。使用線性插值法處理后得到的數據量在總數據量中占較大比重。線性插值法使得原始采集數據在一定誤差范圍內得到充分的利用，提高了樣本的多樣性，在一定程度上提升了模型的泛化能力。但是由于引入的插值數據同樣是不均衡的，因此添加插值數據后的數據仍然存在不平衡這一現象。

3) 對深度圖進行渲染，得到如圖4(a)所示的渲染后的深度圖圖像。再使用Mask-rcnn 網絡分割出中間豬只的掩膜，并將除掩膜外的其他區域的像素值設置為0。提取后的掩膜如圖4(b)所示。

圖4 預處理效果

4) 對得到的掩膜做進一步的像素偏移，使其處于圖片的中心位置，方便后續網絡的訓練。最終得到如圖4(c)所示的500×500 像素值的灰度圖。

2 方法介紹

本文使用Resnet-50 作為基本網絡，Resnet 網絡由何凱明等[10]提出，其主要思想是在網絡中加入了直連通道，并提出殘差學習的網絡結構，殘差模塊有效地避免了網絡在信息傳遞時存在的信息丟失、損耗以及梯度爆炸等問題。

針對不同形態大小的豬只，本文在Resnet-50網絡基礎上加入卷積核注意力機制模塊SKConv[11]，通過不同豬只的尺寸信息自適應調節感受野大小。針對豬只上方體況存在的長尾分布問題，本文借鑒標簽分布平滑[12](label distribution smoothing,LDS)算法對損失函數進行加權處理；以及借鑒特征分布平滑[12](feature distribution smoothing, FDS)算法，通過傳遞臨近區間的特征統計信息，校準特征分布中由于數據不平衡造成的偏差。

2.1 上方體況回歸網絡

本文的網路框架如圖5 所示。豬只上方圖像經過預處理之后，首先經過標簽分布平滑模塊計算出有效的標簽分布密度，再將圖像輸入到添加卷積核注意力機制的網絡中進行特征提取，提取到的特征再經過特征分布平滑模塊做進一步的平滑處理，最終經過殘差線性層將不同層之間的特征信息進行融合，最終在計算損失函數時利用之前得到的有效標簽密度對損失函數做加權處理。

圖5 本文網絡框架

2.2 Select Kernel 注意力模塊

卷積神經網絡中，特征的提取主要依靠卷積實現，卷積核作為神經網絡的核心，通常被看做是在局部感受野上，將空間上的信息和特征維度上的信息進行聚合的信息聚合體[13]。卷積核依次與輸入不同位置的圖像做卷積得到輸出，起到了濾波和特征提取的作用。

為了更好地提取圖像中不同大小豬只的特征信息，本文在Resnet-50 網絡的基礎上引入Selective Kernel 卷積，以實現針對不同大小的豬只自適應的調整感受野進行特征提取。Selective Kernel 卷積主要分為3 個步驟：Split、Fuse 以及Select，圖6 所示為雙分支的情況。

圖6 Selective Kernel 卷積

Split：對于任何給定的特征圖，默認情況下雙分支各自通過卷積操作得到對應的特征圖：

Fuse：將2 個分支計算出來的特征進行逐元素相加，然后通過全局平均池化操作生成通道統計信息：

式中s通過空間尺寸H×W收縮特征U計算得到，即s的第c個元素的值是由U的第c維度的特征計算得到：

之后通道統計信息s經過全連接層得到更加緊湊的特征z：

式中： δ為ReLU 函數， β為批量標準化，W∈Rd×C。d變量的值為

Select：在特征z的引導下，通過兩個全連接層矩陣A、B得到長度為C的向量長度為C的向量a、b，對a和b在通道維度上利用softmax操作分別計算不同卷積核對應的權重：

式中：A、B∈RC×d需要在網絡訓練之前初始化為2 個全連接層，為A的第c行元素，a∈RC×1，ac為a的第c個元素。

式中：ac和bc相加的和為1，V=[V1,V2,···,Vc]，Vc∈RH×W。

Selective Kernel 卷積利用多尺度特征匯總的信息在通道層面指導網絡選擇合適的感受野大小，進一步提高了特征提取的效果。

2.3 標簽分布平滑和特征分布平滑

對于缺失對應體況評分視頻的數據，本文采用線性插值的方法對其進行處理。由于體況采集視頻缺失嚴重，存在較多缺少對應體況參考視頻的數據，因此添加的插值數據量占總數據量的75%左右。圖7、圖8 分別為添加插值數據前后的數據分布，橫軸為體況標簽值，縱軸為對應的數據量。由于添加插值數據后的體況種類增多，圖8 橫軸坐標值采用稀釋表示。對比圖7 和圖8可以看到，添加插值后的數據仍然存在不平衡的現象，但是相應的數據量和類別會增多。

圖7 插值前數據分布

圖8 插值后數據分布

為解決上方豬只體況中數據存在的長尾分布現象，本文在現有算法基礎上引入LDS 算法和FDS 算法。

LDS 算法通過使用對稱核函數[15]與標簽密度分布做卷積處理，利用相鄰標簽之間的相似性表達。相比于原來的標簽密度分布，平滑之后的標簽密度與誤差分布具有更好的相關性。LDS 算法為

式中：k(y,y′)為對稱核函數，p(y)為原始標簽密度分布，(y′)為經過卷積之后得到的有效標簽密度。然后利用有效標簽密度的倒數對損失函數做加權處理：

FDS 算法通過使用對稱核函數在特征空間內執行平滑操作，利用鄰域標簽之間的特征相似性，在相鄰標簽值范圍內傳遞特征統計信息。這樣對于訓練樣本不足的數據，其可以通過繼承相鄰標簽范圍內的統計信息來校準由數據不平衡帶來的偏差特征表示，算法表示為

最終將校準后的特征送入后續網路進行回歸并用于損失函數的計算。LDS 算法和FDS 算法通過利用標簽和特征空間中相鄰目標之間的相似性極大的改善了數據分布不平衡問題所帶來的影響。

3 豬只上方體況實驗

3.1 豬只上方體況數據集

目前關于豬只上方體況的研究較少，相關公開數據集難以獲得，本文實驗數據通過在2 個豬場采集所得，采集的圖像均為深度圖圖像，預處理后的深度圖為500×500 像素，經過數據均衡后選取訓練集圖像共111 028 張，測試集圖像共40 974 張。

3.2 環境和設置

本文實驗配置如表1 所示。

表1 實驗配置

模型參數設置上，Batch_size 設置為12，學習率設置為0.000 1，Epoch 設置為60，優化器使用Adam 自適應動量優化算法，動量值設置為0.9，采用端到端的訓練方式進行訓練。

3.3 評價指標

在回歸網絡中，通常使用準確率（accuracy,ACC）為

平均絕對誤差（mean absolute error, MAE）為

均方誤差（mean square error, MSE）為

式中：m為樣本數量，yi為樣本對應的標簽值，f(xi)為模型的預測值。對于ACC，其表示預測值和標簽值的接近程度，值越高代表模型預測的結果和標簽值越接近。對于MAE，其用于評估預測結果和真實標簽值的接近程度，值越小說明預測值和標簽值的擬合效果越好。

3.4 消融對比實驗

3.4.1 注意力機制有效性實驗

該部分實驗使用Resnet-50 以及加入注意力機制的Resnet-50 網絡進行對比實驗，目的在于驗證SKConv 卷積核注意力機制的有效性。實驗結果如表2 所示。

表2 注意力機制對網絡的影響

根據實驗結果可知，在加入注意力機制后的網絡比較原網絡在準確率、平均絕對誤差、均方誤差指標上均有所提升，驗證了SKConv 卷積核注意力機制在豬只上方體況問題中的有效性。

3.4.2 LDS 和FDS 有效性實驗

該部分實驗對LDS 算法和FDS 算法進行消融對比實驗，以Resnet-50 網絡為基礎，在添加注意力機制與不添加注意力機制的情況下，分別對網絡添加LDS 算法和FDS 算法，目的在于驗證LDS 算法和FDS 算法解決長尾分布問題的有效性。實驗結果如表3 所示。由實驗結果可知，在Resnet-50 網絡的基礎上分別添加LDS 算法和FDS 算法或者同時添加兩者都會使網絡性能提升，而同時添加LDS 算法和FDS 算法會獲得最佳效果。在添加注意力機制的基礎上，使用LDS 算法或FDS 算法同樣會對網絡性能進行進一步提升，而兩者同時使用情況下，網絡會獲得最佳性能。驗證了LDS 算法和FDS算法解決長尾分布問題的有效性。

表3 LDS 和FDS 消融實驗

3.4.3 模型性能的可視化

通過對比基本網絡Resnet-50 和添加注意力機制、LDS 算法以及FDS 算法后網絡的模型訓練和測試效果，進一步驗證本文所使用方法的有效性，以及所用方法對模型處理數據不平衡問題的能力的提升。可視化結果如圖9、圖10 所示。圖9和圖10 中橫軸對應藍色點代表標簽值，縱軸對應紅色點代表模型預測值，綠色曲線為模型預測值的均值曲線，即綠色曲線與藍色點擬合程度越高說明模型的性能越好。

圖9 Resnet-50

圖10 Resnet-50+SKConv+LDS+FDS

對比可視化結果，模型的測試效果中圖10(a)的擬合程度要好于圖9(a)，并且模型的預測點較圖9(a)更加緊密；模型的訓練效果同理，圖10(b)的擬合程度要好于圖9(b)。綜上表明本文所使用的方法不僅提高了模型的性能，同時也提高了模型解決數據不平衡問題的能力。但是從圖10 中可以看到，數據的不平衡仍然會對最終的預測結果造成影響，表現在對應兩端數據量較少的類別，模型預測曲線會產生較大震蕩，同時曲線的擬合效果也不理想。

4 結論

針對豬只體況問題，本文提出從上方對豬只體況預測的方法。使用卷積核注意力機制以及標簽分布平滑算法和特征分布平滑算法解決豬只上方體況存在的長尾分布問題。通過實驗證明本文所用方法在豬只上方體況預測中的有效性，通過對模型性能的可視化進一步驗證本文所用方法能夠提高模型解決長尾分布問題的能力。深度學習技術與傳統畜牧業相結合實現豬只體況預測，對生豬養殖具有重要的實際意義。

后續研究可通過進一步完善體況標簽值的匹配方法來減小誤差以及引入生成對抗網絡等方式進一步提高模型解決長尾分布問題的能力。