基于遷移學習和改進ResNet34的豬個體識別方法*

吳瀟，楊穎，劉剛，張倩，寧遠霖

(中國農業大學信息與電氣工程學院,北京市,100083)

0 引言

根據國家統計局統計數據,2022年我國肉類總產量為93 284.4 kt,其中豬肉總產量為55 414.3 kt,占比約為59.4%[1],養豬業已成為我國畜牧業中的支柱產業。豬個體識別通過處理多通道的感知信號獲取個體身份信息,可用于精準飼喂[2],有效減少飼料的浪費以及改善生豬生產性能,還可用于生豬的疾病診斷和追溯,進而為食品安全問題提供有力的保障[3]。近年來,銀保行業對養殖業保險產品的投入和關注持續增加,而參保牲畜的死亡和疾病直接關系養殖戶的保險理賠等相關利益[4],因此,豬個體識別對于提高被保豬個體的身份認證和識別的有效性具有重要的意義。

最早的豬個體識別是以射頻識別技術[5](Radio Frequency Identification,RFID)為核心的侵入式識別方法,該方法的優勢為不受光線強度及豬只外觀影響,且識別效果較穩定,但該方法增加了養殖成本并且容易引起感染并發癥,從而降低了動物福利。近年來,基于視覺的豬個體識別成為研究熱點,Navarro-Jover等[6]提出了一種基于顏色標記的計算機視覺方法用來跟蹤仔豬的位置,識別率為89.1%。郭依正等[7]提出了一種基于等距特征映射(Isometric Feature Mapping,Isomap)和支持向量機的算法(Support Vector Machine,SVM)對俯視群養豬個體進行識別,準確率為92.88%。陳佳黎[8]采用Grab Cut交互式目標提取算法結合閾值分割、形態學處理等方法將豬只從背景中提取出來再利用SVM算法對豬只進行識別。Wada等[9]提出利用特征空間法識別豬臉,手動分割豬眼睛和鼻子周圍的圖像以實現豬個體識別,并取得較好的識別率。

隨著深度學習的發展,學者開始利用深度學習技術來進行豬個體識別。Hansen等[10]提出了基于Grad-Cam類映射的卷積神經網絡(Convolutional Neural Networks,CNN)模型,在1 553張圖片上進行試驗取得了96.7%的正確率。王榮等[11]提出了一種基于多尺度卷積神經網絡在多變環境下的豬個體身份識別模型,取得了較高的識別率。

近年來,遷移學習已經引起了廣泛的關注和研究。魏斌[12]以奶山羊為研究對象,建立羊臉數據集,基于深度學習模型和遷移學習方法完成羊臉檢測和羊臉識別模型的構建,對17只羊共616張圖片進行訓練,模型識別準確率高達91%。韓安琪[13]利用最新的深度學習理論和遷移學習理論進行小樣本人臉識別,識別準確率高達85.7%。同樣為解決數據集不足的問題,黃振文等[14]提出了一種遷移學習模型下的小樣本人臉識別算法。在將預先訓練的卷積神經網絡遷移到小樣本人臉目標集時使用受限玻爾茲曼機RBM,將訓練模型中的全連接層改為RBM,并用小樣本人臉數據重新訓練RBM和SoftMax層,最后用反向傳播算法(Backpropagation Algorithm,BP)進行參數調整。王柯力等[15]提出一種基于參數的遷移策略,采用微調方式再訓練源模型的方法,在修改源模型全連接分類層的基礎上,進一步將高層卷積模塊的權重設置為可訓練以進行自適應調整,最終得到了97.4%的準確率,相較于源模型提高了20個百分點。Wang等[16]為了準確識別牛只,幫助保險公司界定牛只保險理賠幅度并且實現智能養殖,在牛臉數據采集困難和數據量小的情況下,利用一種結合遷移學習的深度學習方法訓練牛臉識別模型,通過參數傳遞來初始化網絡權值,試驗結果表明,在小樣本數據下,該方法可以獲得93%的識別準確率。

針對真實豬舍環境下,豬只樣本采集困難、樣本數據量小,且背景復雜,豬只姿態多變的豬個體識別展開研究,將ResNet34模型卷積層進行優化、設計新的全連接層及引入Dropout和遷移學習的訓練方法,本文將ResNet34模型在ImageNet上預訓練得到的模型參數,遷移到改進后的ResNet34模型上進行豬個體識別。

1 試驗數據及預處理

由于真實養殖場景中,豬舍中的豬只處于運動狀態,很少能配合采集人員正對鏡頭,所以個體數據采集難度極高。因此,本文數據集來源于2017京東金融全球數據探索者大賽拍攝的真實養殖場景的30頭豬的活動視頻片段,其中每段視頻時長約1 min,幀率為50,如圖1所示。為了滿足數據集的多樣性和樣本之間的差異性,將每段視頻按照不同的活動場景分別劃分為該視頻所包含豬只的訓練數據、驗證數據和測試數據,然后從每段視頻中按照固定間隔幀數抽取圖像幀,其中圖像抽取的間隔幀數為50,對于抽取后的圖像幀再人工剔除相似度過高的圖像,最后得到1 597張RGB彩色圖像,每張圖像大小為1 280像素×720像素,將1 597張圖片以6∶2∶2的比例劃分為訓練集、驗證集和測試集。

圖1 部分數據Fig. 1 Part of the data set

為了提高模型的泛化性,對訓練集的圖像進行預處理,首先對訓練圖像進行隨機裁剪,裁剪到大小為224×224,然后將隨機裁剪后的圖像進行水平翻轉,最后對圖像進行歸一化和標準化處理,即首先將圖像的3個通道的像素值Xij(i=1,2,3,j=1,2,…,N,N=224×224)的取值范圍統一到[0,1]區間,歸一化的公式如式(1)所示。然后進行標準化處理,標準化的公式如式(2)所示。

(1)

(2)

式中:Xij——原始圖像第j個像素點的第i個通道的像素值;

X′ij——歸一化處理后的圖像像素值;

X″ij——標準化處理后的圖像像素值;

μi(i=1,2,3)——3個通道像素均值,分別為0.485、0.456、0.406;

σi(i=1,2,3)——3個通道像素值的標準差,分別為0.224、0.229、0.225。

該均值和標準差由ImageNet數據集全部圖像分通道計算得出。

(a) 原圖

(b) 中心裁剪

(c) 水平翻轉

(d) 歸一化及標準化圖2 圖像預處理Fig. 2 Image preprocessing

2 遷移學習與改進ResNet34模型

2.1 遷移學習

卷積神經網絡結合遷移學習的一般流程是:(1)在特定應用之前,先利用相關領域大型數據集對網絡中的隨機初始化參數進行預訓練;(2)利用訓練好的卷積神經網絡,針對特定應用領域的數據進行特征提取;(3)利用提取后的特征,針對特定應用領域的數據訓練卷積神經網絡或者分類器[17]。正如前文所述,本文采用大規模數據集ImageNet對網絡模型進行預訓練,將在ImageNet上訓練過的預訓練權重應用到豬個體識別任務上,加快網絡的收斂速度和識別效率,這就是我們的“遷移”學習過程。

遷移方式的選擇與試驗樣本數量及試驗數據集與源數據集相似度有關[18],由于本試驗數據集規模較小且與ImageNet數據集有較高相似度,因此,本文采用預訓練模型結構及權重,重新訓練全部層。具體為將ResNet34模型在ImageNet數據集上預訓練所得參數作為本文改進ResNet34模型的初始化權重,但由于本文改進ResNet模型與原ResNet網絡模型結構不完全一樣,且設計了新的全連接層,因此,在遷移學習中改進ResNet模型只需繼承預訓練模型中的部分權重參數,無需全部繼承。由于全連接層由于與原模型完全不同,因此,全連接層需要重新訓練,故將新的全連接層權重參數全部隨機初始化。相比非遷移學習的全新學習,采用這種遷移學習方式借助大規模數據集的預訓練網絡和參數,有助于在豬個體識別樣本量較小的情況下加快網絡的收斂,并有效地提高識別精度。

2.2 改進ResNet34模型的構建

一般情況下,分類任務難度越大,所需要的模型層數越大,但模型層數的加深會帶來梯度消失的問題反而使得模型性能下降。He等[19]在2015年提出了ResNet34模型,他在深層網絡中加入殘差機制使得網絡在很大程度上避免梯度消失問題,因此本文選取具有殘差結構的ResNet34模型,并且對模型進行優化后用于豬個體識別研究,圖3是改進后的ResNet34模型和殘差結構。

圖3 改進ResNet34模型Fig. 3 Improved ResNet34 model

圖3中Conv表示卷積層,除第一個卷積層的卷積核大小為7×7,步長為2,填充數為3以外,其余卷積層的卷積核大小均為3×3,步長為1,填充數為1。MaxPooling層表示最大池化層,AdaptiveAvgPool表示平均池化層,FC1和FC2表示兩個全連接層,FC1層包含1 024個節點,FC2層的節點數與總豬只數量相同。網絡層中的“/2”表示該層網絡會將傳入的特征圖大小縮小至原圖的1/2。

改進后的ResNet34模型與原始ResNet34模型主體結構相似,包含有1個卷積核大小為7×7、卷積核個數為64的卷積層,4個layer及全連接層。每個layer由數個basicblock組成,每個basicblock由兩層卷積以shortcut(直連)方式連接構成,layer1～layer4中每層卷積分別包含64、128、256和512個大小為3×3的卷積核。模型層數和識別任務緊密相關,減少layer內basicblock的數量在提高模型訓練以及預測速度同時也能降低模型識別可能性的風險,針對本文的識別任務,在經過多次卷積層數量測試試驗后最終確定4個layer的basicblock個數分別為2、3、4、3,這種輕量化的優化方式既可以提高模型的訓練以及識別速度又不會影響模型識別性能。除了優化卷積層之外,改進ResNet34模型在設計了結合Dropout方法的雙層全連接層,新設計的全連接層可以通過第一層全連接層提取更多特征信息從而提高識別準確率,但同時為了避免模型過于復雜出現過擬合現象,在新的全連接層引入了Dropout方法。Dropout是指在模型訓練階段以某一固定比例隨機地使得某一層神經網絡的節點“失活”,在反向傳播的過程中,被“失活”的神經元不參與參數更新,從而有效防止模型在訓練過程中出現過擬合現象。通過以上策略,既能保證模型充分提取特征信息也能避免模型出現過擬合現象,從而使得本文設計的新的全連接層能夠得到更好的識別效果。應用Dropout方法時,隨機失活節點的比例,即隨機失活率和任務識別效果緊密相關,本文通過試驗選取最佳的失活率。

綜上,改進ResNet34網絡模型共有2×(2+3+4+3)+1=25個卷積層和2個全連接層,共計27層網絡,相較于原來的34層網絡結構,是一種性能更優、更為輕量型的網絡結構。采用改進ResNet模型進行分類識別時,輸入圖像為經過預處理后的圖像,大小為224×224×3,將預處理后的圖像送入網絡中,經四個layer處理后的輸出特征圖大小為7×7×512,經過自適應平均池化層處理后再利用Flatten函數將特征矩陣轉化成一維向量,然后通過兩個全連接層處理后輸出得到各類的概率值,每個概率值表示輸入圖像屬于各類類別的概率大小,再利用Argmax函數取最大概率值對應的類別即為模型預測結果。

2.3 改進ResNet34模型的試驗條件與訓練流程

本文試驗的硬件環境為:Intel(R) Core(TM) i9-10900K CPU @3.70 GHz,運行RAM為64 G,顯存12 G;軟件環境為:試驗的訓練與測試均在PyTorch框架下完成,CUDAVersion-11.4,CUDNN-8.1.1,PyTorch-GPU-1.9.0,PYTHON-3.8.11,Linux Ubuntu18.0.4操作系統。經過多次訓練發現在本軟硬件環境下,算法在120個Epoch(一個Epoch代表訓練完一次全部數據集)內均可收斂,因此所有的試驗Epoch總數均為120,每個Epoch包含訓練與測試兩個階段。圖4為模型訓練流程圖。

圖4 模型訓練流程圖Fig. 4 Flow chart of model training

首先將PyTorch官方提供的ResNet34模型預訓練參數遷移至改進ResNet34模型中,在模型的遷移過程中,圖3中虛線框內的參數,需先將原ResNet34預訓練權重進行相同的優化處理,其次再進行參數遷移;實線框內的參數僅作初始化處理即可。其次將最后一層全連接層的網絡節點個數修改為分類任務數,為了適應實驗電腦顯存將batch_size(批處理圖片數量)設置為32,其次將經過預處理后的圖片及其label送入修改后的模型中進行前向傳播、計算Loss、反向傳播、梯度下降,重復此流程直至訓練次數達到指定訓練輪數,損失函數使用多分類問題常用的交叉熵損失函數,優化器使用Adam優化器。

3 試驗結果與分析

3.1 遷移學習對模型識別性能的影響

4種模型的預訓練試驗結果如圖5所示。

(a) AlexNet

(b) GoogleNet

(c) ResNet34

(d) VGG16圖5 不同模型遷移學習與全新學習訓練結果對比Fig. 5 Comparison of training results between transfer learning and migration learning

如前所述,遷移學習可以有效提升模型在小樣本數據上的性能[20]。為了驗證遷移學習對模型性能的影響,本文選擇4種常見的網絡模型,分別為AlexNet、GoogleNet、VGGNet16和ResNet34,比較每種模型在遷移學習和全新學習(不遷移)下的識別性能。

從圖5可以看出,在遷移學習訓練模式下,AlexNet、GoogleNet、Vgg19及ResNet34模型分別在第17、31、51、72個Epoch的時候達到最高準確率,最高準確率分別為90.3%、94.5%、91.0%、97.4%。而在全新學習訓練模式下,上述四組模型分別在第70、97、91、84個Epoch的時候達到最高準確率,最高準確率分別為79.6%、91.6%、78.0%、89.7%。相較全新學習模式,在遷移學習訓練模式下模型訓練速度分別提升了75.7%、68.0%、44.0%、14.3%,準確率分別提升了13.4%、3.2%、16.7%、8.6%,并且在遷移學習模式下,4個模型的初始準確率均高于全新學習。在模型收斂之前,遷移學習訓練曲線斜率均大于全新學習模式下的訓練曲線斜率,表明遷移學習可以有效提高模型的訓練效率和準確率。

相較之下,ResNet34模型識別準確率最高,因此本文選取ResNet34模型作為試驗模型并對其進行優化。

3.2 超參數對模型識別性能的影響

3.2.1 學習率對模型性能的影響

學習率過大或過小均會使得模型不易收斂甚至不收斂。因此設置5組試驗,使用遷移學習方法訓練ResNet34模型,選取不同數量級的學習率進行試驗比較,試驗學習率依次為0.001、0.000 1、0.000 01、0.000 001、0.000 0001。

神經網絡模型參數更新方式如式(3)所示。

θ′k=θk-L·Gradk

(3)

式中:θk——第k層網絡權重參數;

θ′k——第k層網絡更新后的權重參數;

L——學習率;

Gradk——第k層的梯度。

當學習率過大的時候,參數更新幅度較大,容易跳過最優解,產生較大的震蕩,導致準確率較低;當學習率過小的時候,參數更新幅度較小,容易陷入局部最優解,導致準確率較低。因此當學習率為0.001或0.000 000 1的時候,模型均不收斂。當學習率為0.000 1、0.000 01、0.000 001的時候,參數更新幅度適中,模型能夠收斂,且當學習率為0.000 001的時候,模型取得最高的準確率,因此本文選取學習率為0.000 001,結果如圖6所示。

圖6 不同學習率下的模型訓練結果對比Fig. 6 Comparison of model training results between different learning rates

3.2.2 Dropout的隨機失活率對模型性能的影響

Dropout的隨機失活率取值范圍在0～1之間,本文設置9組試驗,利用遷移學習方法訓練ResNet34模型,學習率為0.000 001,在[0.1,0.9]內每隔0.1選取一個數值分別作為9組試驗的Dropout的隨機失活率p。由圖7可知,當p值為0.6的時候,模型準確率最高,因此本文選擇隨機失活率為0.6。

圖7 不同Dropout參數值下的模型訓練結果對比Fig. 7 Comparison of model training results between different Dropout parameter values

3.3 模型改進對模型識別性能的影響

本文對ResNet34模型的卷積層進行了優化并且設計了新的全連接層,改進后的模型與原模型性能對比如表1所示。

表1 模型改進前后性能對比Tab. 1 Comparison of model performance before and after improvement

其中浮點運算量指的是圖片輸入模型到獲得預測結果之間的加減乘除計算次數,代表了模型的時間復雜度。驗證準確率指的是模型訓練完成以后對驗證集每一張圖片進行檢測,用檢測結果中預測正確的圖片數量除以數據集圖片總量。平均檢測時間指的是模型對驗證集里每一張圖片進行類別預測所用時間的總和除以驗證集圖片總數。訓練時間指的是模型對所有訓練集圖片進行一次訓練所用時間。

從表1中可以看出,與原ResNet34模型相比,僅優化卷積層的ResNet34模型的驗證準確率不變,但總參數量和浮點運算量分別降低了12.7%和25.3%,且平均檢測時間和訓練時間分別降低了15.8%和14.3%,說明本文提出的卷積層的優化方法在保證正確率不變的情況下可有效降低模型的單幅圖片預測時間并且提升了模型訓練效率。同時,與原ResNet34模型相比,僅修改全連接層的ResNet34模型總參數量、浮點運算量、平均檢測時間及訓練時間幾乎沒有改變,但驗證準確率提升了1.9個百分點,說明本文新設計的全連接層和Dropout策略相比原模型,不會加大運算量,和單層全連接相比卻可以提取更多特征信息,從而有效地提升模型的驗證準確率。將本文改進的ResNet34模型和原ResNet34模型對比,浮點運算量降低了約25.3%,總參數量降低了約10.3%,平均檢測時間和訓練時間分別減少了15.8%和14.3%,準確率提高了1.9個百分點,充分證明本文改進的ResNet34模型不論在性能還是效率上均優于原模型。

3.4 改進后的ResNet網絡模型與其他網絡模型識別性能對比

為了驗證本文改進后的ResNet模型的有效性,將本文提出的模型分別與遷移后的AlexNet、VGG16、VGG19、GoogleNet、ResNet50、ResNet34進行對比,試驗結果如表2所示。

表2 改進后的ResNet網絡模型與其他網絡模型識別結果對比Tab. 2 Comparsion of the results between the improved ResNet and other models

6種卷積神經網絡模型中,VGG系列的模型浮點運算量和模型總參數量最多,因而其平均檢測時間以及訓練時間也最長,準確率均為91%。AlexNet模型浮點運算量最低,平均檢測時間和訓練時間較短但驗證準確率最低,為90.3%。GoogleNet網絡性能較為均衡,準確率為94.5%,ResNet系列網絡性能最好,改進ResNet34和ResNet50的驗證準確率分別為98.7%、97.4%,每輪訓練時間分別為4.2 s、8.2 s,并且,相較于ResNet50模型,改進ResNet34的準確率提高1.3個百分點,且平均檢測時間降低約38.5%,訓練時間也降低約48.8%。因此,改進ResNet34模型綜合性能均優于其他網絡模型。

3.5 本文提出的模型對豬個體識別的測試結果及可視化分析

混淆矩陣[21]對模型分類性能具有較好的顯示性,可以同時顯示出分類正確和分類錯誤的豬個體數。利用測試集數據對本文提出的改進ResNet34網絡性能進行測試,混淆矩陣可視化結果如圖8所示。

混淆矩陣中用于衡量性能模型性能的指標有準確率(Accuracy)、精確率P(Precision)、召回率R(Recall Ratio)及特異度(Specificity),計算公式如式(4)～式(7)所示。

(4)

(5)

(6)

(7)

式中:TP——豬只類別為真實種類,模型預測為正確類別的數量;

TN——豬只類別為真實類別,模型預測為錯誤的類別的數量;

FP——豬只類別為錯誤類別,模型預測為正確的類別的數量;

FN——豬只類別為錯誤類別,模型預測錯誤的類別的數量。

測試集中30只豬個體的準確率、精確率、召回率及特異度分別為97.8%、98.1%、97.7%、99.9%,這表明本文改進ResNet34模型性能較優,能夠應用于復雜背景下的豬個體識別。

3.6 改進ResNet34模型對單幅圖片預測結果

測試集共有30頭豬,第M類豬只表示第M頭豬。從測試集圖片中隨機挑選30類不同豬個體圖片,用改進ResNet34模型進行預測,部分預測結果如圖9所示。

(a) 第1只豬

(b) 第9只豬

(c) 第14只豬

(d) 第29只豬圖9 改進ResNet34模型對單幅圖片預測結果Fig. 9 Result of improved ResNet34 model predict the single picture

圖9展示了第1、第9、第14和第29類的豬只識別概率,剩余26類豬只的識別概率分別為98.3%、96.8%、99.6%、99.9%、99.5%、99.9%、97.8%、94.8%、99.9%、99.5%、98.0%、99.4%、97.6%、93.6%、99.7%、99.5%、99.3%、92.6%、99.7%、98.5%、97.3%、99.7%、99.9%、99.8%、97.9%、99.9%(類別號由小到大),因此,改進ResNet34模型對豬個體具有較高的識別準確率。

3.7 豬個體識別系統試驗

為驗證所提出方法的實用性,開發了一款豬個體識別軟件進行試驗驗證。軟件工作流程和識別圖例如圖10和圖11所示。用戶可以通過拍照或者獲取本地圖庫兩種方式獲取需檢測圖像。拍照時需盡量保證豬個體的完整性以提高識別準確率。軟件包括前端展示界面和后臺處理兩部分,前端部分利用PyQt5進行布局,后端通過Python語言調用PyTorch深度學習庫對豬個體進行識別。

圖10 工作流程圖Fig. 10 Work flowchart

圖11 豬個體識別軟件識別圖例Fig. 11 Identification legend of pig individual identification software

4 結論

1) 針對豬個體識別的任務特點和特征提取要求,對ResNet34模型的卷積層進行了優化,重新設計了全連接層并且引入了Dropout方法,并且討論了學習率、Dropout超參數及模型改進部分整體識別性能的影響,并將改進后的模型與其他常見網絡模型進行對比,整體性能均優于其他模型。此外,試驗結果表明改進ResNet34模型的驗證準確率為98.7%、平均訓練時間為4.2 s/epoch、單張圖片平均預測時間為0.003 2 s,與原ResNet34模型相比,驗證準確率提高了1.9%,平均訓練時間降低了14.3%,單張圖片檢測耗時降低了15.8%,模型總參數量和浮點運算量分別降低了10.3%、25.3%。

2) 針對豬個體識別任務的樣本量小和訓練數據有限,在改進模型基礎上通過遷移學習有效地提升了模型訓練速度及準確率,相較于全新學習,對改進后的ResNet34模型使用遷移學習進行訓練,模型訓練速度提升了14.3%,準確率提升了8.6%。

3) 本文極個別測試用例的豬個體在整幅圖像中占位較少,則模型對此類個體的識別效果較低,后續會針對此問題作進一步的改進和優化,提高模型的泛化性。