基于遷移學(xué)習(xí)的多尺度特征融合牦牛臉部識別算法

摘要：牦牛個體身份標(biāo)識是實現(xiàn)個體建檔、行為監(jiān)測、精準(zhǔn)飼喂、疫病防控及食品溯源的前提。針對智慧畜牧智能化、信息化等養(yǎng)殖平臺中動物個體識別技術(shù)應(yīng)用需求，本研究提出一種基于遷移學(xué)習(xí)的多尺度特征融合牦牛臉部識別算法（Transfer Learning-Multiscale Feature Fusion-VGG， T-M-VGG）。以預(yù)訓(xùn)練的視覺幾何組網(wǎng)絡(luò)（Visual Geometry Group Network ，VGG）為骨干網(wǎng)絡(luò)構(gòu)建基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型，獲取其 Block3、Block4、Block5輸出的特征圖，分別用 F3、F4、F5表示，將 F3和 F5經(jīng)過三個不同膨脹系數(shù)的空洞卷積組成的并行空洞卷積模塊增大感受野后，送入改進(jìn)的特征金字塔進(jìn)行多尺度特征融合;最后利用全局平均池化代替全連接層分類輸出。試驗結(jié)果表明，本研究提出的 T-M-VGG算法在194頭牦牛的38，800張數(shù)據(jù)集中識別準(zhǔn)確率達(dá)到96.01%，模型大小為70.75 MB。隨機(jī)選取12張不同類別牦牛圖像進(jìn)行面部遮擋測試，識別準(zhǔn)確率為83.33%。本算法可以為牦牛臉部識別研究提供參考。

關(guān)鍵詞：牦牛;臉部識別;遷移學(xué)習(xí);特征金字塔;T-M-VGG

中圖分類號：TP391;S823.8+5"""" 文獻(xiàn)標(biāo)志碼：A"""""""" 文章編號：SA202201001

引用格式：陳占琦 ， 張玉安 ， 王文志 ， 李丹 ， 何杰 ， 宋仁德.基于遷移學(xué)習(xí)的多尺度特征融合牦牛臉部識別算法[J].智慧農(nóng)業(yè)（中英文）， 2022， 4（2）：77-85.

CHEN Zhanqi， ZHANG Yu'an， WANG Wenzhi， LI Dan， HE Jie， SONG Rende. Multiscale feature fusion yak face recognition algorithm based on transfer learning[J]. Smart Agriculture， 2022， 4（2）：77-85.（in Chinese with Eng‐ lish abstract）

1引言

牦牛素有“高原之舟”之稱，能夠帶動青藏高原地區(qū)牧民脫貧致富。但目前藏區(qū)牦牛養(yǎng)殖仍處于傳統(tǒng)模式，缺乏信息化、智能化管理設(shè)備的廣泛應(yīng)用。對于中小規(guī)模養(yǎng)殖戶來說，牲畜識別的主要方法是打耳標(biāo)、顏色標(biāo)記、熱鐵烙印等傳統(tǒng)方法。耳標(biāo)通過穿孔的方式安裝在動物的耳朵上，會有細(xì)菌感染的風(fēng)險，相互摩擦也會導(dǎo)致標(biāo)簽丟失。傳統(tǒng)接觸式識別技術(shù)不能為識別過程提供持久的保障。

目前國內(nèi)外研究人員利用卷積神經(jīng)網(wǎng)絡(luò)（ Convolutional Neural Networks ， CNN ）在牛、羊、豬等動物個體識別和行為識別方面開展了大量研究，但是對牦牛識別研究較少。秦興和宋各方[1] 基于雙線性 CNN ，利用視覺幾何組網(wǎng)絡(luò)（Visual Geometry Group Network ，VGG ）作為特征提取器對200頭豬的2110張照片測試，面部識別準(zhǔn)確率達(dá)到95.7%，試驗環(huán)境下運行時間為4d，模型體量較大，在實時性應(yīng)用場景中存在一定局限性。何嶼彤等[2] 基于改進(jìn)的 YOLOv3（ YouOnly Look Once）進(jìn)行豬臉檢測識別，雖然提高了模型精度，但是仍存在小樣本檢測邊界定位問題。劉忠超和何東健[3] 參考手寫體字符識別 CNN （ LeNet-5）對奶牛發(fā)情行為識別，準(zhǔn)確率為98.25%，漏檢率為5.8%，能夠?qū)崿F(xiàn)奶牛發(fā)情爬跨的實時監(jiān)測。楊秋妹等[4]使用 GoogleNet對豬只頭、背、尾部分類識別進(jìn)而判斷飲水行為是否發(fā)生，識別準(zhǔn)確率為92.11%，有效地提高了養(yǎng)殖管理效率。張宏鳴等[5]提出了一種融合空間信息的注意力機(jī)制的羊臉識別模型，在開集驗證中識別率為88.06%。魏征[6]采用基于局部保持投影的2D 線性判別分析算法，研究全局和局部特征相結(jié)合的不完美牛眼虹膜圖像識別問題，但對牦牛來說虹膜采集實施過程存在不便性。何東健團(tuán)隊[7，8] 利用 CNN 提取奶牛背部和軀干特征，但適用于身體特征明顯的牛只識別。陳爭濤等[9] 采用基于遷移學(xué)習(xí)的并行 CNN 牦牛臉識別算法，識別準(zhǔn)確率達(dá)到91.2%，訓(xùn)練時間為2 d，但并行的基于遷移學(xué)習(xí) VGG16網(wǎng)絡(luò)會增加模型存儲成本。 Hansen 等[10] 和 Marsot 等[11] 使用 CNN 對豬只進(jìn)行面部識別，識別準(zhǔn)確率分別為96.7%和83.0%。Kumar等[12]研究基于深度學(xué)習(xí)的牛鼻紋識別，準(zhǔn)確率為98.9%。Jung 等[13]利用 CNN 對牛進(jìn)行聲音分類和行為分析，準(zhǔn)確率為94.1%。 Salama 等[14] 采用貝葉斯（Bayesian）優(yōu)化尋找最佳 CNN 進(jìn)行羊臉識別，準(zhǔn)確率為98%。鑒于人臉識別和動物識別任務(wù)的相似性，已有研究將人臉檢測與識別技術(shù)遷移到動物檢測和識別的相關(guān)工作中。Wada 等[15] 利用特征臉（Eigenfaces）算法對10頭豬進(jìn)行識別，準(zhǔn)確率為77%。Rashid 等[16] 以遷移學(xué)習(xí)為基礎(chǔ)，訓(xùn)練一個能夠找出人臉和動物面部特征相似性映射空間的網(wǎng)絡(luò)來實現(xiàn)檢測，由于牦牛面部毛發(fā)影響，給檢測和識別過程帶來挑戰(zhàn)。雖然虹膜、鼻紋以及聲音識別具有唯一性、穩(wěn)定性的特點，但設(shè)備安裝成本過高，且牦牛在采集虹膜和鼻紋過程中不易被控制，因此不適用于高原牧區(qū)的中小規(guī)模養(yǎng)殖場。牦牛體毛顏色特征差別很小，存在季節(jié)性退毛，因此很難對身體軀干部位展開識別研究。雖然以上研究中提出的非接觸生物特征識別技術(shù)實施起來存在一些困難，但是利用捕捉到的面部圖像進(jìn)行識別具有一定優(yōu)勢。本研究參考以上文獻(xiàn)中的方法，結(jié)合遷移學(xué)習(xí)訓(xùn)練速度快、VGG16提取特征能力強(qiáng)的優(yōu)勢，使用遷移學(xué)習(xí)結(jié)合特征金字塔來實現(xiàn)牦牛個體面部圖像識別。

2材料與方法

2.1數(shù)據(jù)集采集

數(shù)據(jù)采集地點為青海省玉樹藏族自治州，數(shù)據(jù)集中包含194頭牦牛臉部信息。在試驗過程中將每頭牦牛視為一個類別。用連續(xù)兩天的上午完成數(shù)據(jù)采集，對每一頭牦牛拍攝大約2 min時長的視頻，拍攝設(shè)備為 GoPro8，畫面分辨率為1920×1080，并將每一段視頻轉(zhuǎn)換成圖像幀。部分?jǐn)?shù)據(jù)集如圖1所示。

2.2數(shù)據(jù)集處理

為避免視頻中連續(xù)幀之間相似性過高，使用結(jié)構(gòu)相似性 （Structural" Similarity ， SSIM ）算法[17]進(jìn)行處理。SSIM算法通過計算兩幅圖像之間的方差、協(xié)方差和平均強(qiáng)度來判斷兩幅圖像是否相似，從而篩選淘汰掉相似度較高的圖像。

為平衡各類別樣本間的分布，增強(qiáng)模型的魯棒性，對數(shù)據(jù)集中樣本數(shù)量較少的類別采用數(shù)據(jù)增強(qiáng)擴(kuò)充策略。

首先，將處理過的數(shù)據(jù)利用 Python圖像處理工具裁剪出分辨率為512×512、320×320的圖片，將不同大小的圖片縮放成同一分辨率256×256。

其次，利用 OpenCV的相關(guān)函數(shù)隨機(jī)增強(qiáng)圖像數(shù)據(jù)：順時針旋轉(zhuǎn)角度為5°和10°，亮度降低參數(shù)設(shè)置為0.85、亮度增強(qiáng)參數(shù)設(shè)置為1.3，椒鹽噪聲和高斯噪聲系數(shù)分別設(shè)置為0.15和0.2。

最后，對于樣本數(shù)量明顯過多的類別，隨機(jī)剔除一部分樣本，驗證集的每一個類別數(shù)量保持相同。經(jīng)過整理，數(shù)據(jù)集共計38，800張，對每個類別的樣本順序編號，其中訓(xùn)練樣本31，040張，占比80%，每個類別訓(xùn)練數(shù)量保持在170～210張;驗證樣本7760張，占比20%，每個類別的驗證數(shù)量保持在40張。其中訓(xùn)練集和驗證集樣本 ID互斥。

2.3試驗條件

試驗配置環(huán)境如下： Ubuntu 18.04.5 LTS 64位系統(tǒng)，" GeForce" GTX 1080Ti 圖形處理器（Graphics Processing Unit ， GPU ）加速， CUDA 和 CUDNN 版本分別為10.0和7.4.1.5，編程語言為 Python3，基于 Tensorflow的 Keras深度學(xué)習(xí)框架完成試驗訓(xùn)練及驗證。

2.4 T-M-VGG 網(wǎng)絡(luò)構(gòu)建

基于 CNN 的遷移學(xué)習(xí)能夠把數(shù)據(jù)量充足的源域所學(xué)到知識遷移到數(shù)據(jù)體量較小的目標(biāo)領(lǐng)域，提升目標(biāo)領(lǐng)域任務(wù)的學(xué)習(xí)效果[18， 19]。本研究以 VGG16網(wǎng)絡(luò)的遷移學(xué)習(xí)為基本架構(gòu)，在此基礎(chǔ)上增加并行的空洞卷積模塊和改進(jìn)的特征金字塔結(jié)構(gòu)完成試驗。

2.4.1 并行的空洞卷積

空洞卷積可以在不改變參數(shù)量大小的同時增加感受野?？斩淳矸e計算如公式（1） 所示。

其中，Input （ x，y）為輸入特征層; dr為空洞率;K （m，n）為核函數(shù);h和 w為特征圖的大小。

假設(shè)空洞卷積的卷積核大小為 k ，空洞率為dr ，則等效卷積核大小 k'如公式（2） 所示。

當(dāng)前感受野大小如公式（3）所示。

其中，F(xiàn) （i +1）為當(dāng)前感受野大小;F （i）為上一層感受野大小;L為不包括當(dāng)前 F（i +1）層以外的前 i個層步長之間的乘積。

Liu 和 Huang [20]在 InceptionNet [21]加入空洞卷積，擴(kuò)大感受野，增強(qiáng)網(wǎng)絡(luò)的提取特征能力。借鑒其思路，建立并行的空洞卷積模塊，稱其為 P_DConv （ Parallel Dilated Convolution ）。如圖2所示。

輸入的特征層通過1×1卷積降低通道數(shù)，經(jīng)過3個不同空洞率的空洞卷積后將特征進(jìn)行融合，組合 Shortcut結(jié)構(gòu)輸出特征圖。

2.4.2特征金字塔

特征金字塔網(wǎng)絡(luò)通過提取不同層的特征圖，將高層與底層的信息融合形成多維度增強(qiáng)的特征。常見的特征金字塔結(jié)構(gòu)如圖3所示。

參考文獻(xiàn)[22—24]提出的結(jié)構(gòu)，構(gòu)建本研究的特征金字塔結(jié)構(gòu)如圖4所示。

F3至 F6為特征提取網(wǎng)絡(luò)輸出的特征層，藍(lán)色節(jié)點的執(zhí)行順序為 P65、 P54、 P43、 P53、P64、P 。實現(xiàn)細(xì)節(jié)參照文獻(xiàn)[24]，特征金字塔算法實現(xiàn)偽代碼如下。

將上述提出的并行空洞卷積和改進(jìn)的特征金字塔結(jié)構(gòu)與基于遷移學(xué)習(xí)的 VGG16網(wǎng)絡(luò)組合形成最終模型 T-M-VGG （Transfer Learning-Multi‐scale Feature Fusion-VGG ），如圖5所示。

首先獲取 VGG16網(wǎng)絡(luò)第三、第四和第五個卷積層輸出的特征圖 F3、F4、F5，將 F3、F5分別送入并行的空洞卷積模塊 P_DConv 中。其次將 P3、P4、P5、P6送入特征金字塔進(jìn)行特征融合，P6由 P5最大池化生成。最后把融合后的特征送入分類器輸出結(jié)果。

2.5試驗參數(shù)設(shè)置

本研究的遷移學(xué)習(xí)實現(xiàn)方式為凍結(jié)預(yù)訓(xùn)練模型的全部卷積層，只訓(xùn)練自定義的全連接層，同時將全連接層更換為全局平均池化層。為更好地驗證所提結(jié)構(gòu)的有效性，采取對比試驗形式，對比對象包括 CNN 結(jié)構(gòu)[9-11，25]、VGG16[26]、Mo ‐ bileNetV3[27]" （Large 和 Small 兩個版本）、 Incep ‐ tionV3[28] 和人臉識別 FaceNet 結(jié)構(gòu)（Inception‐ ResNetV2） 以及采用預(yù)訓(xùn)練的基于遷移學(xué)習(xí) VGG16方法，其中基于遷移學(xué)習(xí)的 VGG16記為 Tr-L-VGG16， MobileNetV3 （Large） 記為 Mb- Net-L ， MobileNetV3 （ Small ） 記為 Mb-Net-S。為防止模型訓(xùn)練發(fā)生過擬合，試驗過程中所有方法采用早停機(jī)制，監(jiān)控器為驗證集的準(zhǔn)確率 val_acc ;容忍因子 min_delta=0.001;容忍步長 patience=3。試驗采取控制變量的方法，比對各個網(wǎng)絡(luò)結(jié)構(gòu)的性能，試驗參數(shù)設(shè)置如表1所示。

2.6試驗評價指標(biāo)

采用適合評價多分類任務(wù)的 F1值（Macro_f1）和準(zhǔn)確率（Accuracy）來評估模型的性能，各評價指標(biāo)函數(shù)形式如下所示。

其中，N 為類別個數(shù)，個;f 1_scorei 為第 i個類別的f 1_score值。

其中，NumTREUE 為驗證集中所有類別預(yù)測正確的個數(shù)，個;NumTOTAL 為驗證集中所有樣本的個數(shù)，個。

3 結(jié)果與分析

3.1 VGG 系列算法結(jié)果與分析

早停機(jī)制使各個模型的訓(xùn)練及驗證過程不同。圖6和圖7分別為不同試驗方案在驗證集生成的準(zhǔn)確率和損失值結(jié)果。圖例中 T-M-VGG（train）表示經(jīng)過訓(xùn)練集產(chǎn)生的結(jié)果;T-M-VGG（val）表示經(jīng)過驗證集產(chǎn)生的結(jié)果。

為使得模型評價角度多元化，將模型大小、可訓(xùn)練參數(shù)量作為輔助評價指標(biāo)，結(jié)果見表2所示。

從圖6和圖7可以看出本研究所使用的各個方法隨著迭代次數(shù)增加，準(zhǔn)確率不斷地升高，損失值不斷地降低，達(dá)到一定次數(shù)后曲線趨于平緩。Tr-L-VGG16凍結(jié)卷積層后，自定義全局平均池化層參與訓(xùn)練的參數(shù)量較少，損失值下降緩慢，準(zhǔn)確率曲線上升平緩，識別效果很差; VGG16采用預(yù)訓(xùn)練模型參數(shù)初始化后，準(zhǔn)確率提升很快，迭代次數(shù)為7時達(dá)到收斂狀態(tài);損失值在 0.5 附近;從表 2 中可以了解，Tr-LVGG16 方法由于可訓(xùn)練參數(shù)量最小，所以準(zhǔn)確率最低。VGG16 經(jīng)過訓(xùn)練、驗證后模型大小為 502.48 MB，所有方法中數(shù)值最高，不僅影響加載速度還增加存儲開銷。文獻(xiàn)[9]模型大小為 166.33 MB，準(zhǔn)確率為 88.03%，并行的遷移學(xué)習(xí)結(jié)構(gòu)仍會增加模型大小。T-M-VGG 模型大小為 70.75MB，準(zhǔn)確率為 96.01%，對比 VGG16、 Tr-L-VGG16 準(zhǔn)確率分別提高近 3 個和 68 個百分點;對比文獻(xiàn)[9]，牦牛識別方法準(zhǔn)確率提高近8個百分點，模型大小減少約96 MB ，這說明了并行空洞卷積和特征金字塔的有效性。

3.2其他算法結(jié)果與分析

從圖6可知，文獻(xiàn)[10]、文獻(xiàn)[11]和文獻(xiàn)[ 25]中的網(wǎng)絡(luò)結(jié)構(gòu)在本研究超參數(shù)設(shè)定下走勢相近，收斂狀態(tài)時準(zhǔn)確率保持在83%附近; FaceNet 結(jié)構(gòu)和InceptionV3網(wǎng)絡(luò)收斂速度較快。從表2可以看出， T-M-VGG 模型相比于文獻(xiàn)[10]、文獻(xiàn)[11]和文獻(xiàn)[25]在準(zhǔn)確率、可訓(xùn)練參數(shù)量兩個方面保持著優(yōu)勢;對比 InceptionV3和 FaceNet結(jié)構(gòu)，雖然準(zhǔn)確率相差近1個百分點，但是模型占用空間分別減少了約100和348 MB。觀察Mb-Net-L （MobileNetV3-Large）和Mb-Net-S （ MobileNetV3-Small ）算法，雖然模型較小，但是準(zhǔn)確率低于 T-M-VGG 近2個百分點，收斂速度較慢。

綜合上述分析，遷移學(xué)習(xí)方法能夠顯著地降低參數(shù)量，提升牦牛識別效果，特征金字塔結(jié)構(gòu)能夠提取豐富的牦牛面部特征進(jìn)而完成識別過程。

3.3識別效果可視化

為更好地檢驗所提模型的魯棒性，從數(shù)據(jù)集中隨機(jī)選取12張圖像，對其部分區(qū)域進(jìn)行遮擋操作生成偽圖，將偽圖送入 T-M-VGG 模型預(yù)測得到效果圖，可視化結(jié)果如圖8所示。

從標(biāo)簽號為1、42、49、76、83、161、168、172和192效果圖可知，在遮擋牦牛非面部區(qū)域（身體，耳標(biāo)，背景）的情況下，只有標(biāo)簽號76被預(yù)測為73，說明模型經(jīng)過訓(xùn)練學(xué)習(xí)到的主要是面部特征，而非環(huán)境特征;從標(biāo)簽號為75和78效果圖了解到，即使遮擋少部分臉部區(qū)域（非重要特征區(qū)域），模型仍然能夠預(yù)測準(zhǔn)確，但觀察標(biāo)簽號為180的效果圖，由于改變其面部明顯特征，導(dǎo)致預(yù)測結(jié)果錯誤，這屬于模型的正常表現(xiàn)。在12個類別中共有10個類別被 T-M-VGG預(yù)測正確，準(zhǔn)確率為83.33%。

4結(jié)論與展望

本研究先后建立了并行的空洞卷積模塊和改進(jìn)的特征金字塔結(jié)構(gòu)，結(jié)合遷移學(xué)習(xí)思想進(jìn)行整合從而實現(xiàn)牦牛臉部識別算法，主要結(jié)論如下。

（1） 提出的 T-M-VGG 模型在194頭牦牛數(shù)據(jù)集中識別準(zhǔn)確率為96.01%，模型大小為70.75 MB 。

（2） 在本研究構(gòu)建數(shù)據(jù)集上通過和其他方法對比驗證，說明了多尺度融合和遷移學(xué)習(xí)結(jié)合在牦牛面部識別過程中的優(yōu)越性。

（3） 從準(zhǔn)確率和模型大小等多個角度分析，采取輸入分辨率大小為256×256的模型結(jié)構(gòu) T-M-VGG 能夠在降低存儲要求的同時提升準(zhǔn)確率，基本滿足實際的識別需求。

模型還存在不足之處，下一步工作將致力于以下幾個問題的研究：（1） 繼續(xù)增加牦牛類別數(shù)量，擴(kuò)大分類樣本，對面部特征極為相似的牦牛識別進(jìn)一步優(yōu)化，提升模型的性能;（2）探究牦牛生長周期中體征變化對識別的影響;（3）結(jié)合目標(biāo)檢測算法完成實時識別。

參考文獻(xiàn)：

[1] 秦興， 宋各方.基于雙線性卷積神經(jīng)網(wǎng)絡(luò)的豬臉識別算法[J].杭州電子科技大學(xué)學(xué)報（自然科學(xué)版）， 2019， 39（2）：12-17.

QIN X， SONG G. Pig face recognition algorithm based on bilinear" convolution neural network[J]. Journal" of Hangzhou Dianzi University （Natural Sciences）， 2019， 39（2）：12-17.

[2] 何嶼彤， 李斌， 張鋒， 等.基于改進(jìn) YOLOv3的豬臉識別[J].中國農(nóng)業(yè)大學(xué)學(xué)報， 2021， 26（3）：53-62.

HE" Y，" LI" B，" ZHANG" F，" et" al. Pig" face" recognition based on improved YOLOv3[J]. Journal of China Agri‐ cultural University， 2021， 26（3）：53-62.

[3] 劉忠超， 何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛發(fā)情行為識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報， 2019， 50（7）：186-193.

LIU Z， HE D. Recognition method of cow estrus be‐ havior" based" on" convolutional" neural" network[J]. Transactions of the CSAM， 2019， 50（7）：186-193.

[4] 楊秋妹， 肖德琴， 張根興.豬只飲水行為機(jī)器視覺自動識別[J].農(nóng)業(yè)機(jī)械學(xué)報， 2018， 49（6）：232-238.

YANG Q， XIAO D， ZHANG G. Automatic pig drink‐ ing behavior recognition with machine vision[J]. Trans‐ actions of the CSAM， 2018， 49（6）：232-238.

[5] 張宏鳴 ， 周利香 ， 李永恒 ， 等.基于改進(jìn) Mobile‐FaceNet的羊臉識別方法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報：1-10[2022-05-13].

ZHANG H， ZHOU L， LI Y， et al. Sheep face recogni‐ tion method based on improved mobilefacenet[J/OL]. Transactions of the CSAM， 1-10[2022-05-13]. http：// kns." cnki." net/kcms/detail/11.1964." S. 20220317.1251.014.html.

[6] 魏征.基于全局和局部特征相結(jié)合的不完美牛眼虹膜識別技術(shù)研究[D].南京：東南大學(xué)， 2017.

WEI Z. Research on iris recognition technology of im ‐ perfect bull's eye based on the combination of global and localfeatures[D]. Nanjing：SoutheastUniversity， 2017.

[7] 趙凱旋， 何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法[J].農(nóng)業(yè)工程學(xué)報， 2015， 31（5）：181-187.

ZHAO K， HE D. Recognition of individual dairy cattle based" on" convolutional" neural" networks[J]. Transac‐tions of the CSAE， 2015， 31（5）：181-187.

[8] 何東健， 劉建敏， 熊虹婷， 等.基于改進(jìn) YOLOv3模型的擠奶奶牛個體識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報 ， 2020，51（4）：250-260.

HE D， LIU J， XIONG H， et al. Individual identificationof dairy cows based on improved YOLOv3[J]. Transac‐tions of the CSAM， 2020， 51（4）：250-260.

[9] 陳爭濤， 黃燦， 楊波， 等.基于遷移學(xué)習(xí)的并行卷積神經(jīng)網(wǎng)絡(luò)牦牛臉識別算法[J].計算機(jī)應(yīng)用， 2021， 41（5）：1332-1336.

CHEN Z， HUANG C， YANG B， et al. Parallel convolu‐tional" neural" network" yak" face" recognition" algorithmbased on transfer learning[J]. Journal of Computer Ap‐plications， 2020， 41（5）：1332-1336.

[10] HANSEN M F， SMITH M L， SMITH L N， et al. To‐wards on-farm pig face recognition using convolution‐al neural networks[J]. Computers in Industry， 2018， 98：145-152.

[11] MARSOT M， MEI J， SHAN X， et al. An adaptive pigface" recognition" approach" using" convolutional" neuralnetworks[J]. Computers and Electronics in Agriculture，2020， 173： ID 105386.

[12] KUMAR S， SINGH S K， SINGH R， et al. Deep learn‐ing framework for recognition of cattle using muzzlepoint image pattern[J]. Measurement， 2018， 116：1-17.

[13] JUNG D H， KIM N Y， MOON S H， et al. Deep" learn‐ing-based" cattle" vocal" classification" model" and" real-time" livestock" monitoring" system" with" noise" filter‐ing[J]. Animals， 2021， 11（2）： ID 357.

[14] SALAMA A，" HASSANIEN A E，" FAHMY A. Sheepidentification using a hybrid deep learning and Bayes‐ian" optimization" approach[J]. IEEE Access， 2019， 7：31681-31687.

[15] WADA N， SHINYA M， SHIRAISHI M. Pig face recog‐nition" using" eigenspace" method[J]. ITE" Transactionson" Media" Technology amp; Applications， 2013， 1（4）：328-332.

[16] RASHID M， GU X， LEE Y J. Interspecies knowledgetransfer" for" facial" keypoint" detection[C]// The" IEEEConference on Computer Vision and Pattern Recogni‐tion. Piscataway， USA： IEEE， 2017：1600-1609.

[17] WANG Z， BOVIK A C，" SHEIKN H R，" et" al. Imagequality" assessment： From" error visibility to" structuralsimilarity[J]. IEEE Transactions on Image Processing，2004， 13（4）：600-612.

[18]陳桂芬， 趙姍， 曹麗英， 等.基于遷移學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的玉米植株病害識別[J].智慧農(nóng)業(yè) ， 2019， 1（2）：34-44.

CHEN G， ZHAO S， CAO L， et al. Corn plant diseaserecognition based on migration learning and convolu‐tional" neural" network[J]. Smart" Agriculture， 2019， 1（2）：34-44.

[19]李淼 ， 王敬賢 ， 李華龍 ， 等.基于 CNN 和遷移學(xué)習(xí)的農(nóng)作物病害識別方法研究[J].智慧農(nóng)業(yè) ， 2019， 1（3）：46-55.

LI M， WANG" J， LI H，" et" al. Method" for identifyingcrop" disease" based" on" cnn" and" transfer" learning[J].Smart Agriculture， 2019， 1（3）：46-55.

[20] LIU S， HUANG D. Receptive field block net for accu‐rate and fast object detection[C]// The European Con‐ ference" on" Computer" Vision. Cham，" Switzerland： Springer， 2018：385-400.

[21] SZEGEDY" C，" WEI" L，" JIA" Y，" et" al. Going" deeperwith convolutions[C]// The IEEE Conference on Com ‐ puter" Vision" and" Pattern" Recognition. Piscataway， USA： IEEE， 2015：1-9.

[22] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyr‐amid networks for object detection[C]// The IEEE Con‐ ference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2017：2117-2125.

[23] LIU S， QI L， QIN H， et al. Path aggregation networkfor" instance" segmentation[C]// The" IEEE" Conference on" Computer Vision" and Pattern Recognition. Piscat‐ away， USA： IEEE， 2018：8759-8768.

[24] TAN M， PANG R， LE Q V. Efficientdet： Scalable andefficient object detection[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2020：10781-10790.

[25]樊湘鵬， 周建平， 許燕， 等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下玉米病害識別[J].農(nóng)業(yè)機(jī)械學(xué)報 ， 2021，52（3）：210-217.

FAN X， ZHOU J， XU Y， et al. Corn disease recogni‐tion under complicated background based on improvedconvolutional" neural" network[J]. Transactions" of theCSAM， 2021， 52（3）：210-217.

[26] SIMONYAN K， ZISSERMAN A. Very deep convolu‐tional networks for large-scale image recognition[J/OL].arXiv：1409.1556.2014.

[27] HOWARD A， SANDLER M， CHEN B， et al. Search‐ing for Mobilenetv3[C]// The IEEE International Con‐ference on Computer Vision. Piscataway， USA： IEEE，2019：1314-1324.

[28] SZEGEDY C， VANHOUCKE V， IOFFE" S， et al. Re‐thinking" the" inception" architecture" for" computer" vi‐sion[C]// The" IEEE" Conference" on" Computer" Visionand" Pattern" Recognition. Piscataway，" USA： IEEE，2016：2818-2826.

Multiscale Feature Fusion Yak Face RecognitionAlgorithm Based on Transfer Learning

CHEN Zhanqi1 ， ZHANG Yu'an1* ， WANG Wenzhi1 ， LI Dan1 ， HE Jie1 ， SONG Rende2

（1. Department of Computer Technology and Application， Qinghai University， Xining 810016， China;2. Animal Disease Prevention and Control Center of Yushu Tibetan Autonomous Prefecture， Yushu 815000， China ）

Abstract： Identifying of yak is indispensable for individual documentation， behavior monitoring， precise feeding， disease preven‐ tion and control， food traceability， and individualized breeding. Aiming at the application requirements of animal individual identification technology in intelligent informatization animal breeding platforms， a yak face recognition algorithm based on transfer learning and multiscale feature fusion， i. e.， transfer learning-multiscale feature fusion-VGG（T-M-VGG） was proposed. The sample data set of yak facial images was produced by a camera named GoPro HERO8 BLACK. Then， a part of dataset was increased by the data enhancement ways that involved rotating， adjusting the brightness and adding noise to improve the robust‐ ness and accuracy of model. T-M-VGG， a kind of convolutional neural network based on pre-trained visual geometry group net‐ work and transfer learning was input with normalized dataset samples. The feature map of Block3， Block4 and Block5 were considered as F3， F4 and F5， respectively. What's more， F3 and F5 were taken by the structure that composed of three parallel dilated convolutions， the dilation rate were one， two and three， respectively， to dilate the receptive filed which was the map size of feature map. Further， the multiscale feature maps were fused by the improved feature pyramid which was in the shape of stacked hourglass structure. Finally， the fully connected layer was replaced by the global average pooling to classify and reduce a large number of parameters. To verify the effectiveness of the proposed model， a comparative experiment was conducted. The experimental results showed that recognition accuracy rate in 38， 800 data sets of 194 yaks reached 96.01%， but the storage size was 70.75 MB. Twelve images representing different yak categories from dataset were chosen randomly for occlusion test. The origin images were masked with different shape of occlusions. The accuracy of identifying yak individuals was 83.33% in the occlusion test， which showed that the model had mainly learned facial features. The proposed algorithm could provide a refer‐ ence for research of yak face recognition and would be the foundation for the establishment of smart management platform.

Key words： yak; face recognition; transfer learning; feature pyramid structure; T-M-VGG