基于知識蒸餾的疊層籠養蛋雞行為識別模型研究

方 鵬 郝宏運 王紅英

(中國農業大學工學院， 北京 100083)

0 引言

動物行為直接反映動物機體對環境的適應程度，不同的行為方式反映動物自身的不同狀態，是動物福利評估的重要指標[1-2]，而畜禽生產中動物行為的突然改變往往是動物機體發出的預警信號[3]。因此，實現對動物行為的識別檢測對于評估動物福利及健康狀態具有重要意義。

相比于奶牛、豬等大體型動物，蛋雞養殖具有群體大、養殖密度高的特點，其個體行為的識別相對困難[4]。目前，人們主要基于機器視覺技術對蛋雞行為的識別、分類進行了研究。LEROY等[5]對蛋雞輪廓圖像進行橢圓擬合，建立點分布模型，可對單只蛋雞的站立、行走和抓撓行為進行識別。勞鳳丹等[2,6]針對雞只的RGB圖像和深度圖像，基于貝葉斯分類方法實現了對單只蛋雞行為的識別檢測，可對雞只的采食、運動、飲水等10種行為進行有效識別,大多數行為的識別準確率在90%以上。MEHADIZADEH等[7]對雞只采食過程中的頭部位移、喙部張開速度及閉合速度、喙部張開加速度和閉合加速度等參數的自動檢測進行了研究，對雞只采食行為進行了深入的生物力學研究。上述基于機器學習技術的家禽行為識別技術雖然能達到較高的準確率，但由于需人工提取圖像的特征參數，存在模型泛化性、魯棒性差，特征提取困難的缺點。

深層卷積神經網絡的興起為動物行為的精確識別提供了新思路。由于深層卷積神經網絡能夠通過大量樣本對數據特征進行自主學習，尤其對圖像具有極強的表征能力，可以自動提取圖像特征，在目標檢測和分類領域均有優異表現，在動物行為檢測方面也有相關研究。文獻[8-11]通過深層卷積神經網絡對雞只的行為檢測和分類技術進行了研究并取得較高的檢測準確率。然而，深層卷積神經網絡的高準確率是基于更深、更廣和更復雜的網絡結構實現的，網絡性能不斷提升的同時網絡模型的復雜度和參數量呈幾何級數增加，復雜的模型對設備性能要求太高，模型的實時性無法保證，限制了深度學習技術在畜禽生產實際中的應用，因此需在保證模型性能的前提下盡量減少模型參數，對模型進行壓縮。

HINTON等[12]提出的知識蒸餾理論表明，通過用一個或多個復雜、準確的大型網絡來指導簡單、小型網絡訓練的方式可以顯著提升小型網絡的性能。為實現疊層籠養環境下蛋雞行為的識別分類，本文以Faster R-CNN[13]深度學習模型為基礎，基于知識蒸餾理論，構建一種基于多教師模型融合的知識蒸餾蛋雞行為識別模型，用較簡單的卷積神經網絡結構獲得較高的性能，降低網絡對設備性能的要求，為模型的在線實時部署應用提供可能。

1 圖像采集與數據集建立

選擇北京德青源農業科技股份有限公司的蛋雞養殖場作為圖像采集地點，該養殖場為全封閉的8層疊層籠養蛋雞舍，每籠飼養“京紅”蛋雞6只左右，每棟雞舍飼養11萬只蛋雞，蛋雞周齡為34周。

蛋雞圖像的采集由立式三腳架搭載彩色數字相機完成，相機型號為Sony XCG-240C，分辨率為1 920像素×1 200像素，匹配焦距6 mm的Ricoh FL-CC0614A-2M型定焦鏡頭，拍攝時相機曝光時間設置為100 ms。將工業相機正對籠門位置拍攝，攝像頭視野范圍正好覆蓋兩個籠位，對舍內200個籠位的雞只進行圖像采集。采集的圖像如圖1所示。

圖像經過隨機旋轉、顏色變換、添加高斯噪聲的方式增強后，人工挑選出1 000幅蛋雞圖像建立樣本集。隨后，在Labelme圖像標注工具中用矩形工具將雞只標注為“feeding(采食)”和“resting(休息)”兩類，制作成COCO(Common objects in context)格式的數據集。頭部伸入食槽或者有靠近食槽動作的雞只，標注為“feeding”，頭部仰起呈站立姿態的雞只則標注為“resting”。隨機選取70%樣本集圖像(700幅)作為訓練集，用于模型的訓練，選取20%(200幅)作為驗證集，用于模型參數調優，選取10%(100幅)圖像作為測試集，用于評估最終模型的識別能力。在訓練集圖像中，共有4 552個標注樣本，其中雞只采食行為的標注樣本為2 134個，雞只休息行為的標注樣本為2 418個，二者之間比例接近1∶1，樣本分類較均衡。

2 基于Faster R-CNN的蛋雞行為識別網絡建立

本文選擇在Faster R-CNN框架上構建蛋雞行為識別網絡，其結構如圖2所示。Faster R-CNN網絡是目標檢測領域運用最廣泛的模型之一，網絡由特征提取網絡、區域生成網絡及區域卷積神經網絡3部分組成。特征提取網絡主要負責提取輸入圖像特征并共享給后續的區域生成網絡和區域卷積神經網絡；區域生成網絡通過對特征提取網絡輸入的特征圖做進一步處理，輸出若干可能存在待檢測目標的區域，并輸入后續的區域卷積神經網絡判定目標類別，實現目標的定位和分類。

知識蒸餾是模型壓縮的一種手段，其核心思想是利用一個或多個復雜、參數多、準確的大型網絡來指導訓練一個簡單、參數較少的小型網絡，將大型網絡學習到的“知識”傳遞給小型網絡[14-15]，其中復雜、參數多的大型網絡稱為教師網絡，精度高但參數量大，對設備性能要求高，很難在嵌入式小型設備中部署；簡單、參數較少的小型網絡稱為學生網絡，參數少，容易部署，但單獨訓練時模型精確度不高，很難滿足實際應用需求。通過知識蒸餾，可以顯著提升小型網絡的性能，在參數量較少的情況下使其擁有和復雜網絡相近或超越復雜網絡的性能。

以圖像分類任務為例，神經網絡通常會在全連接層之后連接一個Softmax輸出層，將全連接層的輸出向量轉化為一個概率向量[16]，該概率向量表示當前樣本分別屬于每一類的概率，每類的概率pi計算公式為

(1)

式中j——分類的總類別數

zj——全連接層輸出的每類的logit值

zi——當前類的logit值

而知識蒸餾理論通過引入一個參數T，使Softmax層輸出一個更加平緩的概率分布，得到一個軟化后的概率向量q，每類的概率qi計算公式為

(2)

式中，T為溫度系數，T越大，對應的概率分布越平緩，則意味著更多“暗知識”被蒸餾出來，當T=1時，輸出的是沒有經過軟化的概率分布。知識蒸餾通過引入軟標簽(Soft label)，將數據集中離散的標簽屬性轉換成連續的概率分布，提取教師網絡中的“暗知識”，并將其傳遞給學生網絡，從而提升學生網絡模型性能[17]。

3 多教師模型融合的知識蒸餾蛋雞行為識別模型構建

本文對Faster R-CNN網絡的特征提取網絡利用知識蒸餾進行壓縮，利用教師網絡指導學生網絡訓練，通過“暗知識”的傳遞，提升學生網絡性能。現有研究表明，采用多個教師模型誘導訓練的方式可以更有效提升學生網絡性能，且當教師網絡和學生網絡結構較相似時，往往能使學生模型獲得較大的性能提升[18-20]。因此，本文以參數量大，較復雜的ResNeXt[21]、Res2Net[22]、HRNet[23]網絡為教師網絡，以結構較簡單的ResNet 34為學生網絡，通過知識蒸餾訓練蛋雞行為識別網絡。

首先對教師網絡進行訓練。與普通神經網絡訓練方式相同，利用蛋雞行為數據樣本和相應的樣本標簽分別對3個教師網絡進行訓練，得到3個性能強大的復雜模型。隨后，訓練好的教師模型中的logits輸出后除以T并做Softmax計算，得到軟化后的預測概率，3個教師模型的軟化預測概率取平均值后作為最終的軟標簽值。最后對學生網絡進行訓練。學生網絡的訓練分兩部分，一是采用正常的訓練方式得到logits輸出，做Softmax計算后得到預測值，將此預測值與樣本真實標簽比較，用交叉熵損失函數衡量二者之間的差異；二是將輸出的logits值除以T后做Softmax計算得到軟化的預測概率向量，將此預測概率向量與教師網絡輸出的軟標簽值比較，采用相對熵損失函數衡量兩個概率分布的差異。因此，采用混合損失函數[16,24]來表征知識蒸餾過程中的損失，其計算公式為

L=λT2KL(n1,n2)+(1-λ)CE(m,gtrue)

(3)

式中 KL——相對熵函數

CE——交叉熵函數

n1——3個教師網絡經過蒸餾后的平均輸出

n2——學生網絡蒸餾后的輸出

m——學生網絡未經過蒸餾的輸出

gtrue——數據集的真實標簽

λ——比例系數，當λ為0時，相當于網絡沒有經過蒸餾

本文選擇T=2、λ=0.7作為知識蒸餾網絡的超參數配置。知識蒸餾訓練架構圖如圖3所示。圖中t為任意常數。

4 結果與分析

4.1 試驗條件及參數設置

試驗在Ubuntu 18.04系統中進行，試驗用計算機處理器為Intel(R) Core(TM) i7-9700K，主頻3.6 GHz，內存16 GB，顯卡為NVIDIA GeForce RTX 2080(16 GB)，使用GPU加速計算，在Python語言環境中選擇Pytorch框架實現網絡模型的搭建、訓練和調試，使用OpenMMLab開放的預訓練模型作為初始輸入權重，按表1對模型參數進行初始化，采用隨機梯度下降法對蛋雞行為識別網絡進行訓練。訓練迭代120個周期，每10個周期保存一次權重參數，取精度最高的權重為最終模型。

表1 Faster R-CNN初始化訓練參數Tab.1 Training parameters for Faster R-CNN

4.2 模型測試結果分析

采用不同的圖像特征提取網絡進行蛋雞行為檢測試驗，分別為3個教師網絡(ResNeXt、Res2Net、HRNet)、由3個教師網絡融合蒸餾的ResNet 34網絡(KD ResNet 34)及未經知識蒸餾的ResNet 34網絡。模型訓練完成后以準確率、平均精確度、召回率、模型參數量、浮點運算次數及單幅圖像檢測耗時作為評價模型性能的指標，對比結果如表2所示。結果表明，知識蒸餾顯著提升了蛋雞行為識別模型的性能。3個教師網絡具有相似的模型性能，模型平均準確率為95.93%，平均精確度為89.2%，平均召回率為94.10%。未經過知識蒸餾的ResNet 34模型準確率(A)、平均精確度(P)和召回率(R)分別為93.6%、78.7%和86.2%，而KD ResNet 34模型的準確率、平均精確度和召回率分別為96.6%、89.9%和94.6%，相較于未經過蒸餾的網絡，3個指標均有較大幅度的提高，尤其是平均精確度和召回率，分別提高了11.2、8.2個百分點。學生網絡經過3個教師網絡的指導訓練，學習到了教師網絡提取的“暗知識”，性能得到很大提升，學生網絡性能基本達到甚至超越了教師網絡的性能。

模型參數量、模型計算量衡量的是模型的復雜程度，模型越復雜，則其部署應用的難度越大，所需的設備性能要求越高。由表2可知，3個教師網絡模型復雜程度相似，模型平均參數量為5.58×107，模型平均浮點運算次數達2.88×1011。KD ResNet 34模型性能基本達到了教師網絡的性能水平，而其模型復雜程度卻大大降低，模型參數量為3.816×107，模型浮點運算次數為1.916 9×1011，與教師網絡相比，分別降低了32%和33%。模型復雜程度降低意味著模型對設備性能的依賴程度降低，模型將有可能在一些小型的嵌入式設備中部署運用。同時，與教師網絡相比，由于學生網絡有更簡單的網絡結構和更少的參數，模型的推理時間大大降低，在相同的測試環境中，經過知識蒸餾的學生網絡單幅圖像的檢測耗時為0.068 s，顯著低于教師網絡，模型推理時間降低了66%。模型推理時間的降低增加了模型在邊緣設備在線實時部署的可能性。

表2 不同模型性能對比Tab.2 Performance comparison of different models

圖4為特征提取網絡經過知識蒸餾和未經過知識蒸餾的蛋雞行為識別模型對同一幅圖像的檢測結果對比。由圖可知，經過知識蒸餾的蛋雞行為識別模型基本能對雞只行為作出準確判斷，目標定位和分類均較為準確，而未經過知識蒸餾的模型存在較多誤檢測、重復檢測及漏檢測的情況，模型的精度和泛化性均不如經過知識蒸餾的模型。顯然，知識蒸餾顯著提升了檢測模型的性能。

網絡在訓練過程中損失函數的變化情況可以在一定程度上反映訓練完成的模型性能。圖5為經過知識蒸餾和未經過知識蒸餾網絡在訓練過程中的損失值變化曲線。由圖5可知，兩個網絡損失值均在訓練開始后很短時間內下降到較低值。隨著訓練的繼續，網絡損失持續降低，當訓練迭代到一定次數后，損失開始隨迭代次數的增加而緩慢下降，經過16 000次左右的迭代后，損失值變化趨于平緩，幾乎不再下降，網絡實現收斂。可以看到，網絡收斂后，經過知識蒸餾的識別模型最終損失值穩定在0.3左右，而未經過蒸餾的模型最終損失值在0.5左右，知識蒸餾降低了網絡的訓練損失。

圖6為模型經過測試后得到的P-R曲線圖。曲線與橫、縱坐標圍成的區域越大，則說明網絡性能越好，由圖6可知，在不同交并比下，KD ResNet 34網絡的P-R曲線幾乎將ResNet 34網絡的P-R曲線完全包圍，說明經過知識蒸餾的網絡的性能顯著優于未經過蒸餾的ResNet 34網絡。

4.3 類激活熱力圖可視化分析

GRAD-CAM算法[25]可以用來對網絡進行可視化分析，直觀展示網絡在進行預測時重點關注的圖像區域，從而對不同網絡的性能作出直觀判斷，更加清晰地展現知識蒸餾對模型性能帶來的提升。對Faster R-CNN的不同特征提取網絡的輸出進行可視化，本文研究中涉及的Res2Net、HRNet、ResNeXt及ResNet網絡均有4個階段的輸出特征圖進入后續FPN網絡進行融合，因此輸出了主干網絡4個階段的特征類激活熱力圖。

圖7為不同網絡4個階段輸出特征的熱力圖。圖中紅色、黃色覆蓋的區域即為卷積層提取特征時關注的重點區域，可以看出在網絡的第1階段和第2階段，網絡提取的特征沒有針對性，只是對整個圖像的全部特征進行提取，隨著卷積層的加深，網絡提取特征的重點開始傾向于雞只輪廓區域，尤其集中在雞頭部位，最后一個階段的特征熱力圖表明，網絡已經基本實現了背景和目標的區分，提取特征的重點幾乎全部集中在雞只頭部和頸部位置。對比不同的網絡特征熱力圖可以發現，經過知識蒸餾的模型(KD ResNet 34)與3個教師網絡的特征檢測結果相似，提取的特征均能很好地覆蓋雞只輪廓部位，而未經過蒸餾的網絡，熱力值高的區域均集中在圖像上、下部區域的食槽部位，說明網絡沒有很好地提取到雞只的特征，最終模型的識別效果較差。

5 結論

(1)為實現疊層籠養環境下蛋雞行為的識別分類，本文以Faster R-CNN深度學習模型為基礎，構建了蛋雞行為識別模型。同時，針對模型參數量大、結構復雜、對設備性能要求高、無法在線實時部署的缺陷，基于知識蒸餾理論，對模型進行了壓縮，構建了一種基于多教師模型融合的知識蒸餾蛋雞行為識別模型。

(2)特征提取網絡(ResNet 34)經過知識蒸餾后，基于Faster R-CNN框架的蛋雞行為識別模型性能得到顯著提升，模型準確率、平均精確度、召回率分別為96.6%、89.9%、94.6%，與未經過知識蒸餾的模型相比，分別提高了3.0、11.2、8.4個百分點。

(3)經過知識蒸餾后，模型性能基本達到了教師模型的性能水平，而模型復雜程度卻大大降低，與教師模型相比，模型參數量和模型計算量分別降低了32%和33%，模型推理時間減少了66%。