基于改進VGGNet的羊個體疼痛識別方法

韓 丁 王 斌 王 亮,3 侯越誠 田虎強 張世龍

(1.內蒙古大學草原家畜生殖調控與繁育國家重點實驗室，呼和浩特 010030；2.內蒙古大學電子信息工程學院，呼和浩特 010021；3.復旦大學信息科學與工程學院，上海 200433)

0 引言

在羊養殖業中，羊的疼痛往往是由疾病引起的，所以疼痛檢測對羊的福利化養殖和健康生長非常重要，而找到快速、準確的疼痛檢測方法成為關鍵[1-2]。LANGFORD等[3]最早對動物面部疼痛識別進行了研究。對于羊的疼痛，2009年STUBSJ?EN等[4]利用紅外熱成像法(Infrared thermography，IRT)和心率變化法(Heart rate variability，HRV)檢測眼睛溫度變化和心率變化來進行識別，但是以上方法檢測速度較慢并且需要耗費大量人力。由于疼痛往往會導致羊的面部表情發生變化，所以在2016年，一種人工評估羊疼痛的標準方法——羊表情疼痛量表(Sheep pain facial expression scale，SPFES)被提出，這是一種利用羊的面部表情來檢測羊疼痛的標準方法，該方法根據耳旋程度、鼻孔形狀、眼睛的收縮程度等對每個區域可能存在的疼痛進行單獨評分，例如眼睛完全睜開表示沒有痛苦記為0分，半閉合表示可能存在痛苦記為1分，幾乎完全閉合表示存在痛苦的可能性較大記為2分，然后將眼窩、臉頰、耳朵、唇顎、鼻子5個區域的評分相加，如果大于1.5分，則認為該羊存在痛苦，這種方法已被證明能夠高準確性地識別羊的面部疼痛[5]。SPFES的提出證明了利用羊面部表情檢測疼痛是可行的，但是評分人員需要經過專業的培訓，而且可能會存在個體間標準的差異，這種對疼痛評分的人工檢測方法還存在時間長和效率低的問題。

計算機視覺技術在人臉識別、疾病診斷等領域得到了非常好的應用效果[6-8]。在牧場養殖中，計算機視覺技術也能解決許多相關問題[9-10]。在2020年，NOOR等[11]利用計算機視覺技術，提出了基于遷移學習的羊痛苦表情自動分類方法，將羊臉圖像作為輸入，訓練了深度學習模型。數據集圖像中具有復雜的背景環境，但是羊的痛苦表情僅與部分面部特征有關。因此卷積神經網絡會提取到許多無關的特征，對識別的準確率產生影響。在實際的畜牧養殖業中，牧場的養殖規模較大，微小的識別錯誤也會導致牧場的管理秩序產生混亂，因此提升識別的準確率意義重大。然而NOOR等的方法并未將與痛苦無關的面部特征去除或者減弱無關面部特征對分類準確率的影響。

本文在VGGNet(Visual geometry group network)中引入空間變換網絡(Spatial transformer nets，STN)組成STVGGNet，提高對具有復雜背景的羊臉痛苦表情圖像的識別準確率。針對羊臉表情數據集中圖像較少的問題，對羊臉表情數據集進行擴充。利用從牧場和網絡上采集的羊臉痛苦表情的真實圖像對訓練好的檢測模型進行評價。

1 材料和方法

1.1 數據集與預處理

為了將三線插值特征法(Triplet interpolated features，TIF)引入羊臉識別中，YANG等[12]制作了一個包含600幅羊臉圖像的數據集，手動標記了羊臉的邊界框和特征點，該羊臉數據集沒有包含表情標簽，隨后LU等[13]為該數據集添加了相應的表情標簽。2020年，NOOR等開發了一個高分辨率的羊臉數據集，其中羊臉圖像來自于ImageNet、NADIS、Pixabay、Flickr和Gettyimages等不同的網站。在該數據集中，無痛苦的羊臉表情圖像被稱為正常羊臉圖像，具有痛苦的羊臉表情圖像被稱為異常羊臉圖像。該數據集按照SPFES標準將2 350幅圖像劃分為1 407幅圖像組成的正常羊臉數據集和943幅圖像組成的異常羊臉數據集。

本文制作了一個符合SPFES標準的新數據集。SPFES定義的羊面部疼痛特征與耳朵、鼻子、眼睛有關。對于耳朵，SPFES定義了羊臉部正面和側面耳朵旋轉代表的疼痛程度，耳廓可見、部分可見和不可見分別代表沒有疼痛、低痛和高痛。對于鼻子，用鼻孔的形狀定義了疼痛程度，“U”形鼻孔代表沒有疼痛，“V”形鼻孔代表有痛。對于眼睛，完全睜開表示沒有疼痛，而半閉則有疼痛。本文數據集在NOOR等提出的989幅正常圖像和154幅異常圖像組成的部分數據集基礎上，增加了887幅圖像，其中435幅新增圖像來自Pixabay、VCG、VEER和百度網站，其余452幅新增圖像為牧場實地拍攝圖像，數據采集地為內蒙古自治區鄂爾多斯市鄂托克旗億維養殖基地。數據采集裝備為佳能PowerShot-G7-X- MarkⅡ型相機，分辨率為2 400像素×1 600像素。數據采集對象為阿爾巴斯絨山羊，數量為226只，其中成年公羊56只，幼齡斷奶公羊20只，成年母羊125只，幼齡斷奶母羊25只，每只羊選擇拍攝效果較好的2幅為數據集圖像。本文將收集的圖像按照SPFES標準進行了評分和分類，評分結果如表1所示，評分小于1.5分的圖像總計841幅，為正常羊臉圖像，評分大于1.5分的圖像總計46幅為異常羊臉圖像。新的數據集一共由2 030幅圖像組成，其中正常羊臉圖像1 830幅，異常羊臉圖像200幅。圖1為本文數據集部分圖像。

表1 新增羊臉圖像評分結果Tab.1 Score results of new sheep face images

圖1 羊臉數據集部分圖像示例Fig.1 Partial images of sheep face dataset

本文雖然對羊臉表情數據集進行了擴充，但是數據集的尺寸依然較小，存在過擬合的可能。過擬合是指模型將訓練數據集中的采樣誤差，作為數據之間的差異進行擬合，從而導致模型在訓練數據集中的訓練誤差很低，而在測試數據集中的測試誤差很高(或者說泛化誤差高)[14]。通常可以使用數據增強的方法擴充訓練數據，以減少過擬合問題，增加泛化性能[15]。本文數據增強操作有隨機旋轉、隨機翻轉、裁剪。樣本圖像的數量擴充為原來的4倍，即8 120幅羊臉圖像。

1.2 STVGGNet結構分析

1.2.1STVGGNet構建動機

在真實牧場環境中，通常使用固定位置的攝像頭采集羊臉圖像，采集到的圖像中包含了許多與羊臉痛苦表情無關的特征，大幅降低了羊臉痛苦表情識別的準確率[16]。而羊臉痛苦表情僅與部分臉部特征有關，需要開發一種能夠重點關注與羊臉痛苦表情相關特征區域的模型來提高準確率。因此，本文將空間變換網絡加入VGGNet來提高識別羊臉痛苦表情的準確率。

1.2.2實現細節和體系結構可視化

VGGNet由卷積層、池化層和全連接層組成，根據不同的組合方式和網絡深度，有多種不同的網絡配置[17]，本研究選擇其中4種作為基礎網絡。本文依據研究所需的輸入尺寸，對VGGNet的網絡結構參數進行了優化，如圖2所示。

圖2 VGG網絡結構Fig.2 VGG network structure

在VGGNet的卷積層前加入了空間變換網絡。空間變換網絡可以在進行圖像分類之前先學習到分類對象的特征所在區域，并通過旋轉、平移、裁剪等方法生成一個新的圖像，然后將新生成的圖像作為分類網絡的輸入。該方法在MNIST手寫數據集和街景門牌號數據集(Street view house numbers，SVHN)上被證明有很好的效果[18]，本文將空間變換網絡作為羊臉表情相關面部特征區域提取器，提取到的區域圖將取代原始圖像作為羊臉表情分類網絡的輸入。空間變換網絡整體結構如圖3所示，包含定位網絡、網格生成器、采樣器3部分。

圖3 空間變換網絡Fig.3 Spatial transformer network

定位網絡從輸入到輸出的變換公式為

θ=fTθ(U)

(1)

式中fTθ——卷積函數

θ——仿射變換矩陣

U——經過數據增強的羊臉圖像

fTθ是一個卷積神經網絡，用于學習仿射變換矩陣，由2個卷積層、2個最大池化層和2個全連接層組成，一個卷積層使用的卷積核尺寸為8×8，另一個卷積層的卷積核尺寸為7×7。定位網絡并不是直接從數據集學習如何轉換，而是嵌入在圖像分類網絡中，根據分類網絡的損失最小化原則自動學習仿射變換矩陣參數θ。

根據由定位網絡得到的仿射變換矩陣θ，生成一個輸入圖像和轉換圖像之間的坐標對照網格。網格生成器生成的轉換公式為

(2)

將輸入圖像按網格的坐標對照關系，轉換為一個新圖像，轉發給分類網絡，網格轉換圖如圖4所示。STVGGNet的識別過程如圖5所示。VGGNet與STVGGNet的參數數量如表2所示，本文提出的STVGGNet與VGGNet相比，參數數量并沒有明顯的增加。

2 實驗與結果分析

2.1 實驗配置

本文實驗使用的開發平臺為Windows 10，GPU為NVIDA Quadro RTX6000，深度學習框架為Pytorch1.6。進行了多次實驗之后選擇如下參數:優化方法為隨機梯度下降(SGD)算法，動量為0.9，初始學習率為0.01，迭代周期(Epoch)為50。

圖4 網格轉換圖Fig.4 Grid transformation diagram

圖5 STVGGNet識別過程Fig.5 STVGGNet identification process

表2 參數所占內存Tab.2 Memory occupied by parameter

2.2 遷移學習

在計算機視覺應用領域中，為了達到很好的識別效果，需要很大的數據集，但是大型數據集制作成本非常高，另外從頭訓練需要非常高的計算性能。使用遷移學習可以滿足大型數據集和高計算性能的兩大需求，在訓練過程中快速地獲得較好的識別效果[19-20]。新制作的羊臉表情數據集屬于小型數據集，直接進行訓練不能達到很好的訓練效果，故本文使用遷移學習對所有涉及的網絡進行預訓練。本文使用ImageNet數據集對VGGNet和STVGGNet進行預訓練，然后對于VGGNet預訓練模型，凍結全部的卷積層，使用羊臉數據集訓練剩余的3個全連接層；對于STVGGNet預訓練模型，也凍結全部的卷積層，使用羊臉數據集訓練剩余的空間變換網絡和3個全連接層。

2.3 實驗結果

在本研究中，將數據集的70%用于訓練，20%用于驗證，10%用于測試評估VGGNet和1.2.2節中提出的STVGGNet。VGGNet和STVGGNet的分類結果如表3所示。圖6為在羊臉數據集上對VGGNet和STVGGNet進行訓練時的損失值。從表3中可以看出，VGGNet中VGG19的訓練準確率最高，達到了99.80%，而STVGGNet中訓練準確率最高的是STVGG19，達到了99.95%，比VGG19高0.15個百分點。并且STVGGNet的訓練準確率均比VGGNet中對應的網絡高，最多高0.44個百分點，最少高0.06個百分點。

表3 網絡訓練準確率、訓練時間、驗證準確率Tab.3 Training accuracy,training time and validation accuracy of networks

圖6 不同網絡的訓練損失值變化曲線Fig.6 Variation curves of training loss value of different networks

采用STVGGNet能夠提高訓練的準確率，卻導致其相較于VGGNet的參數數量有所增加。參數數量上升會導致訓練時間的增加。雖然STVGGNet與VGGNet相比訓練時間均有所增加，但STVGGNet用較短的時間增加量換取訓練準確率的提升是值得的。

STVGGNet的驗證準確率得到了明顯提升。如表3所示，STVGG19的驗證準確率提升最多，相比于VGG19提升了0.99個百分點。STVGG13的提升最少，相比于VGG13也提升了0.49個百分點。驗證準確率的提升證明了STVGGNet的泛化性能優于VGGNet。

本文對改進后的STVGGNet與VGGNet在羊臉痛苦表情識別中的表現進行定量評估時，使用混淆矩陣(Confusion matrix)、準確率(Accuracy)、錯誤率(Error rate)、精確度(Precision)、召回率(Recall)、F1值(F1 score)來評估兩種模型。兩種模型的測試結果混淆矩陣如圖7所示。本文預測了兩種可能的類別，分別為正常(沒有痛苦)羊臉和異常(有不同程度的痛苦)羊臉。分類器測試了812幅圖像，其中732幅沒有疼痛，80幅有不同程度的疼痛。統計了分類實驗數據的真正樣本(True positive，TP)和真負樣本(True negative，TN)的數量。此外，也統計了預測出的假正樣本(False positive，FP)和假負樣本(False negative，FN)數量。VGG19的測試結果中真正樣本和真負樣本分別有704幅和72幅，假正樣本和假負樣本分別有8幅和28幅，而改進后泛化性能最好的STVGG19的預測結果中真正樣本和真負樣本分別有732幅和76幅，假正樣本和假負樣本分別有4幅和28幅。圖8展示了兩種模型的部分預測結果。

所有模型對測試集預測的準確率、錯誤率、精確度、召回率、F1值如表4所示。評估結果表明，在羊臉痛苦表情分類測試任務中，除了STVGG16與VGG16的測試準確率相同以外，STVGGNet的測試準確率均高于對應的VGGNet，且所有的STVGGNet的F1值均高于對應的VGGNet。從整體上看，STVGGNet的分類性能要優于VGGNet。對于分類性能最好的STVGG19和對應的VGG19，雖然STVGG19的訓練準確率僅比VGG19高0.15個百分點(表3)，但是STVGG19模型的預測準確率高于VGG19模型0.49個百分點(表4)，這說明與VGG19模型相比，STVGG19的泛化性能更好。

表4 準確率、錯誤率、精確度、召回率、F1值Tab.4 Accuracy,error rate,precision,recall and F1 value %

2.4 羊個體姿態與年齡段對識別效果的影響

為探究羊個體姿態對識別效果的影響，從數據集中成年羊站立姿態下提取的羊面部圖像和躺臥姿態下提取的羊面部圖像中隨機抽取各30幅面部圖像，總計60幅圖像。使用VGG19和STVGG19對站姿、臥姿和混合狀態3種情況各進行了10次測試，得到的平均測試準確率如表5所示。

表5 站姿、臥姿和混合姿態的平均測試準確率Tab.5 Average accuracy of standing,lying and mixed posture %

由表5可知，網絡對站姿和臥姿時羊面部疼痛均有較好的識別效果，且站姿的識別準確率略高于臥姿。

為探究羊年齡段對識別效果的影響，從數據集中站立姿態下幼齡斷奶羊提取的面部圖像和成年羊提取的羊面部圖像中隨機抽取各30幅面部圖像，總計60幅圖像。使用VGG19和STVGG19對幼齡、成年和混合年齡3種情況各進行了10次測試，得到的平均測試準確率如表6所示。

表6 幼齡、成年和混合年齡的平均測試準確率Tab.6 Average accuracy of young,adult and mixed age %

由表6可知，模型對幼齡羊和成年羊面部疼痛均有較好的識別效果，而且不同年齡段的測試結果沒有明顯區別。

3 結論

(1)為了提高識別模型的準確率，將空間變換網絡引入羊臉痛苦表情識別中，提出了STVGGNet，該模型先提取羊臉痛苦表情的相關感官特征區域，再進行分類，降低了復雜環境和痛苦表情無關的面部特征對識別效果的影響。

(2)針對羊臉表情數據集不足的問題，收集了887幅羊臉圖像來擴充原有的數據集，通過SPFES方法將圖像分為841幅正常羊臉圖像和46幅異常羊臉圖像。在羊臉表情數據集上使用遷移學習和微調的方法訓練STVGGNet，并進行了測試。STVGGNet獲得的最佳訓練和驗證的效果為99.95%和96.06%，比VGGNet分別高0.15、0.99個百分點，并且定量評估表明，STVGGNet中表現最好的STVGG19相比于VGGNet中表現最好的VGG19，除精確度相同外，召回率和F1值均高于VGG19，STVGG19在實際應用場景中性能更好。對于不同姿態和不同年齡段的羊臉圖像均有較好的識別效果，站姿提取的羊面部表情識別準確率略高于臥姿，不同年齡段識別效果基本無差異。