基于深度學(xué)習(xí)的群豬圖像實例分割方法

高 云 郭繼亮 黎 煊 雷明剛 盧 軍 童 宇

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.生豬健康養(yǎng)殖協(xié)同創(chuàng)新中心， 武漢 430070；3.華中農(nóng)業(yè)大學(xué)動物科技學(xué)院動物醫(yī)學(xué)院， 武漢 430070； 4.華中農(nóng)業(yè)大學(xué)理學(xué)院， 武漢 430070)

0 引言

機器視覺技術(shù)是檢測豬養(yǎng)殖狀況、評價豬福利的重要技術(shù)手段之一，具有易安裝、無侵入、設(shè)備平價等優(yōu)點。目前，機器視覺技術(shù)較多應(yīng)用于單體豬只的監(jiān)測，主要用于識別豬只飲水行為[1]及監(jiān)測豬只的飲水量[2-3]、監(jiān)測母豬的分娩行為[4]、檢測生豬的瘦肉率[5]、監(jiān)測豬只藍耳病疫情[6]等。對于群體飼喂階段，由于豬群有聚集在一起的習(xí)性，特別是躺臥時，當(dāng)使用機器視覺跟蹤監(jiān)測豬只時，圖像中存在較多的粘連豬體，且分割困難。目前要對群養(yǎng)豬個體進行追蹤和監(jiān)測，尚未有較為成熟的應(yīng)用。但群養(yǎng)模式無論是在種豬場還是商品肉豬場均占有較大的比重[7-8]，對群養(yǎng)豬行為進行監(jiān)測有利于全面改進豬場養(yǎng)殖管理水平，提高豬場的生產(chǎn)效率，從而提高豬場的經(jīng)濟效益。因此，解決群養(yǎng)豬圖像中粘連豬體的分割問題是實現(xiàn)群豬視覺追蹤和監(jiān)測的關(guān)鍵步驟。

為了分割群養(yǎng)豬圖像中的粘連豬體，采用傳統(tǒng)數(shù)字圖像處理結(jié)合模式識別的方法已有較多研究[9-13]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)方法[14-20]能夠在背景知識不清晰，推理規(guī)則不明確情況下，通過訓(xùn)練，自動提取圖像中目標特征，避免了通過人為觀察來設(shè)計算法提取目標特征的過程，得到的算法模型普適性較強。GIRSHICK等[21]提出了將R-CNN(Regions with CNN)應(yīng)用到候選區(qū)域(Region proposal)的策略，訓(xùn)練模型用于定位目標物和圖像分割，其分割的精度、效率均不高。為了提高分割精度，LONG等[22]對 CNN 進行改進，提出了全卷積網(wǎng)絡(luò)(Fully convolutional networks，F(xiàn)CN)的圖像語義分割算法，主要用來理解場景中存在的感興趣對象，實現(xiàn)像素級別的分割，有研究人員也將該方法應(yīng)用到母豬個體識別和分割方面[23]。語義分割可以分割出同一類物體，但無法分割出同一類物體中的不同個體，不適用于分割群養(yǎng)豬中的粘連豬個體。

實例分割主要用來分割同類物體的不同個體。SILBERMAN等[24]在2014年用實例分割來分析室內(nèi)場景。LI等[25]實現(xiàn)了全卷積端到端實例分割模型(Fully convolutional instance-aware semantic segmentation，F(xiàn)CIS)。實例分割是一個多任務(wù)架構(gòu)網(wǎng)絡(luò)，通過卷積神經(jīng)網(wǎng)絡(luò)先提取初級特征，并提出感興趣區(qū)域(Region of interest，ROI)。對于每個ROI區(qū)域，通過對ROI池化層處理提取出對應(yīng)的特征。所提取特征共享給檢測目標任務(wù)的網(wǎng)絡(luò)，完成目標檢測、圖像分割與圖像分類任務(wù)。實例分割將圖像中不同類別和個體的感興趣對象分別進行分割和標記[26]。HE等[27]構(gòu)建的Mask R-CNN網(wǎng)絡(luò)將實例分割推上了一個新的高度，對各種不同的粘連物體表現(xiàn)出了很好的分割性能。 ZHANG等[28]對道路兩側(cè)粘連汽車圖像進行了實例分割研究。WARD等[29]采用深度學(xué)習(xí)網(wǎng)絡(luò)Mask R-CNN實現(xiàn)了植物葉片的實例分割。實例分割框架在語義分割的基礎(chǔ)上，將相互粘連的同一類對象分割為不同的實例個體，為豬群中粘連個體的分割提供了可能性。目前還未見將實例分割用于粘連豬體分割的研究。

本文采用深度學(xué)習(xí)方法，對實例分割網(wǎng)絡(luò)進行修改，并將其用于對群豬圖像中的粘連豬體進行分割。通過對網(wǎng)絡(luò)進行訓(xùn)練，得到有效的分割模型，并通過試驗驗證算法的可行性與有效性。

1 試驗材料與方法

1.1 圖像采集

于2018年3月12日— 4月8日在華中農(nóng)業(yè)大學(xué)試驗豬場進行圖像數(shù)據(jù)采集，6頭9.6 kg左右的大白保育豬養(yǎng)殖在環(huán)境多變量控制養(yǎng)殖箱內(nèi)。環(huán)境多變量控制養(yǎng)殖箱[30]是課題組按集約化豬舍設(shè)計標準設(shè)計的，已申請專利。根據(jù)養(yǎng)殖豬頭數(shù)，按集約化豬場的豬只需占空間面積，設(shè)計豬欄的長、寬為2.0 m×2.0 m。豬舍內(nèi)的料槽和鴨嘴式飲水器為商用豬舍產(chǎn)品。豬舍底部為全漏縫地板，地板下有水泡糞糞池，按照水泡糞的模式，水面超出10 cm，糞池容量設(shè)計為一周抽糞一次。箱內(nèi)用LED燈照明，豬生活區(qū)域照度根據(jù)豬場光照標準控制在50 lx左右[31]。1080 p高清攝像頭安裝于箱頂部正中間，垂直向下，采集RGB圖像，鏡頭距漏縫地板高度為180 cm，如圖1所示。采集速率為3幀/s，圖像為1 920像素×1 080像素的RGB彩色圖像，存儲為JPG格式。

圖1 圖像采集平臺Fig.1 Image acquisition platform 1.高清攝像頭 2.數(shù)據(jù)線 3.計算機 4.環(huán)境多變量控制養(yǎng)殖箱

1.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的群養(yǎng)豬分割模型

已有研究采用FCN對粘連情況復(fù)雜的圖像進行分割。FCN是一種深度學(xué)習(xí)的全卷積神經(jīng)網(wǎng)絡(luò)模型，其處理分割問題時性能較好。FCN網(wǎng)絡(luò)的優(yōu)勢[32]包括：①去掉了末端的全連接層，用卷積層代替，實現(xiàn)端到端的卷積網(wǎng)絡(luò)訓(xùn)練。②對圖像的每個像素都進行預(yù)測分類，實現(xiàn)像素級分割。但對于粘連嚴重的豬群圖像，F(xiàn)CN網(wǎng)絡(luò)結(jié)構(gòu)[32]上采樣采取簡單的反卷積方式，這種方式的上采樣使得圖像失去了許多細節(jié)特征，導(dǎo)致最終分割圖中豬體輪廓模糊，難以對粘連嚴重的豬群進行很好的分割。

Mask R-CNN網(wǎng)絡(luò)是一種實例分割(Instance segmentation)[27]方法，其檢測出每個目標，并用邊界框、標簽和不同顏色掩模對目標個體進行分割描述。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)基于REN等[33]提出的Faster R-CNN框架，該框架將特征抽取、方案(Proposal)提取、bounding box 回歸、分類整合在同一個網(wǎng)絡(luò)中。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)是在Faster R-CNN框架分類和回歸層之后增加了一個針對每一個ROI的FCN網(wǎng)絡(luò)分支，實現(xiàn)對圖像目標進行實例分割。Mask R-CNN網(wǎng)絡(luò)采用ROIAlign操作替換了ROIPool操作，保留目標空間位置的精度。ROIAlign是一個修正空間量化特征提取錯位的層[27]，利用雙線性插值計算輸入對應(yīng)ROI bin上的4個坐標值，作用是保留其網(wǎng)絡(luò)輸入和輸出之間的像素到像素的空間位置精度。Mask R-CNN網(wǎng)絡(luò)將判斷類別(Class)和輸出掩模(Mask)這兩個任務(wù)解耦合，用平均二值交叉熵損失對每個目標獨立地預(yù)測一個二值掩模，避免引入類別間競爭，大大提高了分割性能。本文中的每個目標即為豬群中的每頭豬只區(qū)域，對每頭豬只預(yù)測一個二值掩模。

本文在Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，對Mask R-CNN網(wǎng)絡(luò)框架的網(wǎng)絡(luò)深度和寬度進行優(yōu)化調(diào)整，在已經(jīng)有一定訓(xùn)練基礎(chǔ)的參數(shù)上，進行遷移學(xué)習(xí)，用粘連群養(yǎng)豬圖像作為訓(xùn)練集，比較不同層數(shù)和不同卷積核的網(wǎng)絡(luò)模型的分割準確率，確定較優(yōu)的分割粘連豬體圖像的網(wǎng)絡(luò)參數(shù)和模型。

最終，本文確定優(yōu)化模型為PigNet，其網(wǎng)絡(luò)較Mask R-CNN網(wǎng)絡(luò)做了兩點優(yōu)化改進：①針對本文試驗場景中類別單一的不同實例對象，將Mask R-CNN主干網(wǎng)絡(luò)第4階段卷積的69層卷積層結(jié)構(gòu)調(diào)整為12層(PigNet)，這樣不僅防止了特征損耗，而且減少了卷積運算量。②Mask R-CNN網(wǎng)絡(luò)的Mask分支最后一層卷積層通道數(shù)80修改為2(PigNet)，代表類別數(shù)為兩類(pig類和background類)。PigNet具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 PigNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 PigNet network structure

PigNet主干網(wǎng)絡(luò)采用44層卷積層，有5個卷積階段，每1階段的卷積均采用殘差學(xué)習(xí)結(jié)構(gòu) (Building block)[34]，如圖3所示，藍色弧線包含的3個卷積層結(jié)構(gòu)中，3×3×256層表示卷積核為3×3、通道數(shù)為256的卷積層(圖3中類似的結(jié)構(gòu)，依此類推)，1 024表示向量維數(shù)為1 024的全連接層。殘差學(xué)習(xí)結(jié)構(gòu)的首端和末端采用1×1卷積核，中間采用3×3卷積核。殘差學(xué)習(xí)結(jié)構(gòu)的優(yōu)點在于：其極大地降低了參數(shù)的數(shù)目，減少計算量的同時保持了精度，如第2階段的第1個1×1的卷積將256維通道降到64維，然后再通過1×1卷積恢復(fù)到256維通道。殘差學(xué)習(xí)結(jié)構(gòu)有很多的旁路即藍色弧線，將輸入直接連接到后面的層，一定程度上解決特征損耗、梯度消失等訓(xùn)練問題。第1階段卷積層后連接有BatchNorm層、Scale層、ReLU激活層，之后連接有池化層，采用卷積核為3×3的Max pooling操作。BatchNorm層和Scale層作用是批量歸一化，ReLU激活層有利于訓(xùn)練收斂更快。后面的每層卷積層的滑動步長(Stride)為 2 個像素，經(jīng)過一個殘差學(xué)習(xí)結(jié)構(gòu)的卷積、池化把尺寸縮小至原來的1/4，PigNet主干網(wǎng)絡(luò)滑動步長不停的縮減尺寸，輸出通道數(shù)持續(xù)增加，達到2 048。

圖3 PigNet主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Backbone network structure of PigNet

主干網(wǎng)絡(luò)的特征提取分兩方面：一方面是網(wǎng)絡(luò)模型的conv4_12卷積層輸出的特征圖(Feature map)經(jīng)過區(qū)域候選網(wǎng)絡(luò)(Region proposal networks，RPN)計算處理，提供計算后提取的特征信息；另一方面是繼續(xù)向前傳播，生成特征圖。主干網(wǎng)絡(luò)所提取的特征圖由ROIAlign層處理。RPN的作用是更快地選取ROI。ROIAlign從ROI提取特征并保留輸入和輸出之間的像素的精準空間位置。從ROI分出來兩個分支，一個分支經(jīng)過7×7卷積核、通道數(shù)256的卷積層，再經(jīng)過兩個1 024維特征向量的全連接層，最后完成預(yù)測類別和回歸框任務(wù)；另一Mask分支經(jīng)過5次14×14卷積核、通道數(shù)為256的卷積層運算，再進行上采樣生成 28×28的特征圖，最后使用28×28卷積核、通道數(shù)為2的卷積層對每個ROI目標(本文為每頭豬只)預(yù)測輸出一個掩模。

PigNet實例分割網(wǎng)絡(luò)的損失函數(shù)包括3部分，公式[27]為

L=Lcls+Lbox+Lmask

(1)

式中L——損失函數(shù)

Lcls——分類誤差

Lbox——檢測誤差

Lmask——分割誤差

Lcls、Lbox利用全連接層處理，預(yù)測出每個ROI的所屬類別和回歸框坐標值。Lmask對每個ROI的目標進行分割，并賦予掩模表示。Class分支、Box分支、Mask分支共享卷積計算得出ROI。對于每個ROI，Lcls負責(zé)預(yù)測該目標的類別，若預(yù)測感興趣區(qū)域ROI為pig類，則在分割該ROI過程的損失時只使用pig類的相對熵誤差作為誤差值進行計算，其他類別(如background類)的相對熵誤差不參與到該ROI的損失函數(shù)中，避免了類別間競爭。Lbox用來控制該目標的回歸框的位置坐標。Lmask用來控制該目標生成精準的掩模。Class分支預(yù)測感興趣區(qū)域ROI為pig類，則Lmask僅僅單獨考慮ROI目標的回歸框的pig類別相對熵誤差來預(yù)測該感興趣區(qū)域?qū)儆趐ig類別的像素點，精準地分割出目標輪廓，分割得到不同層深度的精準輪廓位置坐標信息，分割圖中使用不同顏色的掩模來表示不同層深度的目標。對于本文測試圖像，PigNet網(wǎng)絡(luò)模型卷積計算得6個感興趣區(qū)域，Lcls預(yù)測每個感興趣區(qū)域類別為pig，Lbox預(yù)測6個目標的回歸框的位置坐標，Lmask采用平均二值交叉熵損失并使用Sigmoid函數(shù)對6個回歸框的位置均獨立地預(yù)測一個二值掩模，6個目標分割的目標輪廓信息放置在6個不同層深度，在分割圖中用6種不同顏色的掩模來表示6個目標。對于數(shù)量更多的豬群圖像，PigNet模型對每個豬體分割生成一個對應(yīng)的二值掩模。

1.3 訓(xùn)練參數(shù)設(shè)置

本文網(wǎng)絡(luò)激活函數(shù)采用修正線性單元(Rectified linear units，ReLU)和基于批量隨機梯度下降法(Mini-batch stochastic gradient descend)的優(yōu)化模型，使用GPU運算。批量訓(xùn)練的方法將數(shù)據(jù)集數(shù)據(jù)分為多個批次，設(shè)置迭代次數(shù)為10，每個批次訓(xùn)練系數(shù)為100，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)損失函數(shù)損失收斂，訓(xùn)練集和驗證集的準確率趨于穩(wěn)定，調(diào)整動量因子參數(shù)為0.9，正則化權(quán)重衰減系數(shù)為0.000 1，網(wǎng)絡(luò)權(quán)重參數(shù)的基礎(chǔ)學(xué)習(xí)率為0.001。

2 群養(yǎng)豬圖像分割試驗

2.1 試驗硬件及軟件

本文分割算法處理平臺為臺式計算機，處理器為 Inter Core i5-7500，主頻為3.40 GHz，32 GB內(nèi)存，2TB 硬盤，顯卡為NVIDA GeForce GTX1060。軟件環(huán)境為Windows 10 64位系統(tǒng)，編程語言為Python，采用TensorFlow深度學(xué)習(xí)開源框架，使用Microsoft visual studio軟件編寫深度神經(jīng)網(wǎng)絡(luò)層。

2.2 試驗方法

連續(xù)采集28 d圖像，包含了群養(yǎng)豬日常生活的吃食、飲水、躺臥、運動等多種行為的圖像樣本。為了確保訓(xùn)練樣本的多樣性，本文抽取試驗前5 d中全天各時段不同行為狀態(tài)下的群養(yǎng)豬圖像2 000幅作為訓(xùn)練集。為了確保驗證集與訓(xùn)練集之間無重疊圖像數(shù)據(jù)，抽取第6、7天的各個時段的群養(yǎng)豬圖像500幅作為驗證集，總計2 500幅群養(yǎng)豬圖像樣本。

使用Labelme軟件制作訓(xùn)練數(shù)據(jù)集。標注時，將每頭豬標注為一個獨立的連通域。試驗對象為6頭保育豬，因此每幅圖像中標出6頭豬個體連通域，即6個目標，人工每采集一個豬體目標輪廓就給該豬體目標賦予具體的標簽。6個豬體目標標簽依次命名為pig1、pig2、…、pig6。標注完一幅圖像后得到一個對應(yīng)的.json文件。解析.json文件，提取中位深度為24位的label.png標簽圖像，再將24位label.png圖像轉(zhuǎn)換為8位的label.png圖像，完成一幅圖像數(shù)據(jù)的制作。

若將6個豬體目標直接標簽標注為pig，則6個目標會放置在同一個通道層，被識別為同一目標對象。若把6個豬體目標命名為不同的標簽，將會被識別為6個不同對象。因此在圖像中用6種不同顏色表示，對應(yīng)Mask R-CNN網(wǎng)絡(luò)對不同的實例目標需要放在不同層中的輸入要求。但是上述標注后6個不同的標簽代表6個類別，而在主網(wǎng)絡(luò)訓(xùn)練中要求6個豬體目標是屬于1個類別標簽，即pig大類別標簽。本文采用w×h×n三維數(shù)組將在6個深度層的6個類別轉(zhuǎn)換為在6個深度層的1個類別，作為Mask R-CNN網(wǎng)絡(luò)的輸入。w和h分別為輸入圖像的長和寬，n為輸入圖像中實例目標的豬頭數(shù)，本文設(shè)為6。讀取6個豬體目標的類別標簽為pig。

由于本研究的目是分割粘連的群養(yǎng)豬，準確識別出獨立的豬個體目標位置和個數(shù)，而圖像中豬個體區(qū)域的像素級別的差別，不在本文的研究范圍內(nèi)。因此分割算法將圖中的自然豬個體分割成獨立的連通域，即判為分割正確。本文采用準確率指標[35]評價PigNet模型分割效果，準確率為分割模型正確分割豬個體的圖像數(shù)占驗證集圖像數(shù)的百分比。

使用已在COCO(Common objects in context)數(shù)據(jù)集上訓(xùn)練好的Mask R-CNN模型權(quán)重對群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet進行初始化(Fine-tuning)[36]。COCO 數(shù)據(jù)集由微軟提供，數(shù)據(jù)集中含有類別、位置信息等圖像目標的標注信息，是大多數(shù)深度神經(jīng)網(wǎng)絡(luò)圖像分割算法性能評價的常用數(shù)據(jù)集。COCO數(shù)據(jù)集不包含豬，但包含了貓、狗、馬、羊、牛等四肢行走動物作為訓(xùn)練對象，訓(xùn)練集包含數(shù)十萬幅圖像。訓(xùn)練好的Mask R-CNN模型其權(quán)重已包含了動物的常見特征，在此基礎(chǔ)上使用遷移學(xué)習(xí)方法來訓(xùn)練群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet，可以更快地學(xué)習(xí)豬只特征，大大地縮短了訓(xùn)練模型的時間。

為了進行效果對比，使用PigNet模型與基于ResNet101網(wǎng)絡(luò)的Mask R-CNN模型及其改進模型對圖像進行分割，對比分析其分割結(jié)果。

2.3 試驗流程

群養(yǎng)豬圖像的具體分割試驗流程如圖4所示，具體步驟如下：

3.4 在高寒沙區(qū)利用機械固沙和生物固沙相結(jié)合，無灌溉條件下扦插、直播造林相結(jié)合的植被恢復(fù)綜合技術(shù)，是改善沙區(qū)生態(tài)環(huán)境的最有效的手段之一。

(1)從采集的群養(yǎng)豬圖像數(shù)據(jù)中抽取訓(xùn)練集，其中訓(xùn)練圖像盡量包含群養(yǎng)豬日常4種不同形態(tài)圖像，且驗證集與訓(xùn)練集無交叉重復(fù)數(shù)據(jù)。

(2)使用Labelme軟件對訓(xùn)練集圖像進行標注，對應(yīng)標簽圖像，完成訓(xùn)練集的制作。

(3)將制作好的數(shù)據(jù)集作為深度卷積網(wǎng)絡(luò)的輸入。

(4)搭建群養(yǎng)豬分割卷積網(wǎng)絡(luò)PigNet網(wǎng)絡(luò)。

(5)以Mask R-CNN網(wǎng)絡(luò)訓(xùn)練好的模型作為群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet的初始化(Fine-tuning)，經(jīng)訓(xùn)練得PigNet模型。

(6)使用驗證集圖像測試群養(yǎng)豬圖像分割模型——PigNet模型，得分割圖像。

(7)采用準確率指標評價PigNet模型的分割結(jié)果。

(8)根據(jù)評價結(jié)果調(diào)整PigNet模型的參數(shù)。

(9)重新訓(xùn)練PigNet模型，重復(fù)步驟(5)～(8)，直至訓(xùn)練集指標與驗證集指標接近。

圖4 群養(yǎng)豬圖像分割試驗流程圖Fig.4 Flow chart of group pig image segmentation test

3 結(jié)果與分析

3.1 PigNet特征圖可視化分析

分析PigNet模型的識別過程，模型的部分卷積層的可視化輸出如圖5所示。從圖5中可以看出，每層卷積提取出的特征各有側(cè)重，使PigNet模型學(xué)習(xí)豬個體顏色特征、形狀特征、紋理特征等特征。隨著卷積層層數(shù)的增多，PigNet模型學(xué)習(xí)的特征信息越來越趨于抽象，使PigNet模型學(xué)習(xí)了更為深度的豬個體特征。

圖5 群養(yǎng)豬圖像分割網(wǎng)絡(luò)算法的卷積特征圖可視化Fig.5 Convolutional characteristic map visualization of pig image segmentation network algorithms

3.2 PigNet模型性能分析

已訓(xùn)練的PigNet模型在2 000幅訓(xùn)練集、500幅驗證集上的分割結(jié)果用評價指標分析，結(jié)果如表1所示。其中，訓(xùn)練集4種行為圖像各500幅，驗證集4種行為圖像各125幅。由表1可知，PigNet模型在訓(xùn)練集和驗證集上均取得較好的分割結(jié)果，總分割準確率均大于85.00%，訓(xùn)練集為86.15%，驗證集為85.40%。在各行為樣本中，PigNet模型對吃食、飲水、運動等行為圖像分割性能較好，訓(xùn)練集和驗證集準確率均不小于86.40%。驗證集對運動行為圖像分割準確率高達92.00%。躺臥樣本圖像中豬體粘連情況最為嚴重，所有的樣本圖像中都有嚴重的豬體粘連現(xiàn)象，其它行為樣本中，粘連現(xiàn)象都不同程度地出現(xiàn)，如圖6所示。算法的總體準確率及每種行為的驗證集準確率與訓(xùn)練集近似，較訓(xùn)練集略低，表明PigNet模型泛化性能較好。

表1 PigNet分割評價指標分析Tab.1 Analysis of PigNet segmentation evaluation index

PigNet模型對分割不同形態(tài)的粘連群養(yǎng)豬具有較好的分割性能。如圖6所示，不同行為下，豬體有保持直線、彎曲、多豬粘連等情況，并未影響分割準確率。由于攝像頭并未將整個豬欄區(qū)域完全覆蓋，有些豬體超出圖像范圍，算法對拍攝不完整的豬體分割也較為準確，如圖6a、6c、6d所示。圖6d的分割難度最大，所有的豬只都聚集在一起，造成某些豬的部分豬體被其它豬只遮擋，導(dǎo)致無法拍攝部分豬只完整輪廓，算法也可準確將其分開，說明PigNet網(wǎng)絡(luò)模型對粘連豬群能有效分割。

圖6 不同行為測試圖像的分割結(jié)果Fig.6 Segmentation results of diversity behavioral images

在用本文算法完成分割的樣本中，兩類行為模式的樣本出現(xiàn)少量錯誤，如群養(yǎng)豬的運動和吃食圖像，如圖7所示。豬只個體存在頭部與頭部、頭部與尾部粘連嚴重或跨爬行為，造成圖像中的單個豬體被分為兩部分，從而引起分割錯誤。

圖7 分割錯誤圖像Fig.7 Split error images

3.3 改進模型參數(shù)設(shè)置

為了得到較優(yōu)的分割粘連豬體圖像的網(wǎng)絡(luò)參數(shù)和模型，本文分別對Mask R-CNN主干網(wǎng)絡(luò)的卷積層數(shù)和寬度進行了調(diào)整。調(diào)整后的網(wǎng)絡(luò)結(jié)構(gòu)模型的參數(shù)設(shè)置、分割準確率如表2所示。從表2可以看出，網(wǎng)絡(luò)模型的深度對分割準確率有明顯的影響。改進模型1的準確率最高，從最終圖像分割的質(zhì)量來看，改進模型4～8的過分割現(xiàn)象明顯，故較101層和200層卷積深度，44層卷積層深度是較為適合豬群分割的層數(shù)。同時，改進模型的第1階段的conv1卷積層采用不同卷積核，影響了網(wǎng)絡(luò)提取的豬體特征，最終體現(xiàn)在了網(wǎng)絡(luò)模型的分割準確率。由表2可看出，改進模型1、4、6的分割準確率均高于同一網(wǎng)絡(luò)深度的其他改進模型。如改進模型1較改進模型3，其分割準確率高出0.6個百分點。從表2整體來看，卷積層數(shù)對網(wǎng)絡(luò)分割準確率影響較大，卷積核對網(wǎng)絡(luò)分割準確率影響較小。本文采用改進模型1為分割粘連豬體圖像的模型，即確定PigNet模型卷積層數(shù)為44，第1階段的conv1卷積層卷積核為7×7。

表2 改進網(wǎng)絡(luò)的參數(shù)設(shè)置和分割準確率Tab.2 Parameter setting and segmentation accuracy of improved network

3.4 不同分割模型對比分析

將本文算法模型與Mask R-CNN模型的分割效果進行對比。采用同樣的2 000個訓(xùn)練樣本和500個驗證樣本，訓(xùn)練Mask R-CNN(ResNet101-FPN)模型。兩種網(wǎng)絡(luò)模型在500個驗證樣本上的分割性能比較如表3所示。

表3 不同分割模型的性能比較Tab.3 Comparison of different segmentation networks performances

本文算法模型相較Mask R-CNN(ResNet101-FPN)模型，其準確率高11.40個百分點，說明主干網(wǎng)絡(luò)的卷積層不是越深越好，合適的卷積層深度有利于分割性能的提高。本研究的目的是分割粘連的群養(yǎng)豬，獲得獨立連通域的豬個體。增加網(wǎng)絡(luò)卷積層運算和粘連豬體的權(quán)重因子，有利于提高分割準確率，但同時也容易導(dǎo)致分割性能的過擬合，將豬體部分區(qū)域分割為一個豬個體，造成同一目標豬個體的過分割，如圖7所示。本文算法模型相較Mask R-CNN(ResNet101-FPN)模型較好地權(quán)衡了分割性能和模型過擬合，一定程度上減少了卷積參數(shù)，精簡了模型，同時使模型分割性能略有提高。

本文算法模型比Mask R-CNN(ResNet101-FPN)模型的單幅圖像分割處理時間縮短了30 ms。本文算法模型的層結(jié)構(gòu)較Mask R-CNN(ResNet101-FPN)模型，精簡了卷積層結(jié)構(gòu)，也減少了單幅圖像的分割處理時間。

4 結(jié)論

(1)提出了基于實例分割框架的粘連豬體圖像分割算法PigNet網(wǎng)絡(luò)模型，有效地解決群養(yǎng)豬俯視圖像中難以解決的豬體粘連問題。PigNet網(wǎng)絡(luò)模型在Mask R-CNN主干網(wǎng)絡(luò)基礎(chǔ)上建立PigNet主干網(wǎng)絡(luò)，經(jīng)過區(qū)域候選網(wǎng)絡(luò)提取的特征和主干網(wǎng)絡(luò)前向傳播提取的特征均被ROIAlign所共享。ROIAlign操作從ROI提取特征并保留輸入和輸出之間的像素精準空間位置。從ROI分出兩個分支，一個分支完成預(yù)測類別和回歸框任務(wù)，另一Mask分支對每個ROI的目標預(yù)測輸出一個掩模。

(2)PigNet模型在訓(xùn)練集和驗證集上均取得較好的結(jié)果，總分割準確率均大于85.00%，訓(xùn)練集為86.15%，驗證集為85.40%。與Mask R-CNN模型及其改進模型進行分割效果對比，PigNet網(wǎng)絡(luò)模型驗證集的準確率較Mask R-CNN(ResNet101-FPN)模型高11.40個百分點，且分割運算時間較Mask R-CNN(ResNet101-FPN)模型短30 ms。本文算法模型對不同形態(tài)、粘連嚴重的群養(yǎng)豬分割效果較好，能準確地分割粘連嚴重的豬群圖像，可用于各種群養(yǎng)行為模式下的粘連豬體分割。