基于改進SegNet的雞只檢測算法

吉訓生，孫貝貝，夏圣奎

(1.江南大學 物聯網工程學院，江蘇 無錫 214122；2.南通天成現代農業科技有限公司 獸醫部門，江蘇 南通 226000)

0 引 言

雞禽養殖場規模大、雞只數量多且環境較差，自身免疫抵抗力弱或環境等原因會造成雞只死亡。巡檢死雞通常利用人工檢查法。一方面該方法效率不高，另一方面雞場環境復雜，不利于身體健康，且人員可能攜帶外界病菌，造成雞群二次傷害。因此研究利用計算機視覺等技術檢測出死亡雞只具有重要意義。瞿等[1]提取雞冠離底部的距離和雞爪的形狀特征送入支持向量機中訓練，先判斷雞冠是否在底部，再根據雞爪的形狀得到是否為死雞。但分步檢測較為復雜，且雞冠和雞爪易被遮擋，難以提取特征。語義分割[2]是計算機視覺的重要技術之一，本文將采用端到端的解決思路，利用語義分割技術檢測雞只狀態。

傳統語義分割方法包括基于閾值的分割算法[3]、基于邊緣的分割算法[4]和基于遺傳學的分割算法等，其效率高，計算不復雜，但提取的特征較淺，沒有挖掘數據深層特征，在環境背景復雜時分割效果差，抗噪聲能力弱。隨著深度學習神經網絡的出現，促進了語義分割的發展。由Badrinarayanan等[5]提出的深度卷積編碼解碼器結構SegNet所采用的獨特采樣方式可減少模型的可訓練參數，從而減少內存，被眾多學者引用[6]。有君悅等[7]提出將SegNet網絡的輸出連接條件隨機場用于作物病害圖像分割。王坤等[8]提出一種新的深度粗到細監督網絡模型來分割視網膜血管，模型由兩個U形架構組成，較其它網絡更容易實現先進性能。

本文基于編碼解碼器結構的語義分割模型SegNet，在不降低特征分辨率的情況下，使用空洞空間金字塔池化[9](atrous spatial pyramid pooling，ASPP)捕獲多視野的上下文信息。提出一種多尺度融合模塊，以并聯方式嵌入SegNet編碼解碼器間，豐富解碼器信息，提高分割準確率。采用多層深度可分離卷積替代標準卷積層，減小計算量提高實時性，同時增強網絡提取深度特征的能力，進一步提升分割效果。最后計算兩幅雞群圖像的分割結果交并比，與閾值對比判斷雞只狀態。實驗結果表明，改進的AT-SegNet對雞群目標分割更精細，能夠顯著提高雞只狀態檢測準確率。

1 改進的AT-SegNet結構

SegNet是一種采樣時不引入額外參數的編碼解碼結構對稱網絡，結構如圖1所示。下采樣時保留池化窗口對應的最大值位置，上采樣時把特征圖數據根據對應層索引位置放置，其它位置直接置零，生成稀疏特征圖，再通過卷積層訓練學習生成密集特征圖，能夠保持高頻細節的完整性[10]。編碼部分采用VGG16網絡，主要用于提取圖像特征，包含13層卷積與5次下采樣。解碼部分用于像素定位，包括5次上采樣與13層卷積，最終得到與輸入同尺寸的特征圖，用于像素預測。但經過層層卷積和采樣操作，特征圖先降維再升維，會降低定位準確性，丟失目標像素和周圍像素間的空間關系，導致分割邊緣不清晰，分割效果較差。

圖1 SegNet結構

針對上述問題，為實現目標與背景的二分類，提出一種改進模型AT-SegNet，結構如圖2所示。保留編碼器中的主干網絡VGG16，其采用的連續小卷積能夠替代大卷積層提取特征，具有更多的非線性，保證增加網絡深度的同時提高學習能力。經過編碼器得到語義信息最豐富、分辨率最低的特征圖Layer5，利用ASPP模塊將不同感受野特征融合，聚合上下文信息，將特征整合后再進行解碼。提出一種三尺度注意力級聯融合(three-scale attention cascade fusion，TACF)模塊，如圖2中框線所示。模塊有3輸入和1個輸出，將編碼路徑中提取的特征圖通過卷積塊注意力機制[11](convolutional block attention module，CBAM)在空間和通道維度中進行重構，加強目標區域特征權重。并使用軟池化[12](SoftPool)的采樣方式，以加權

方式計算特征貢獻度，在下采樣激活映射中保留更多重要信息，將高維特征圖分辨率降低，經過3×3卷積消除下采樣混疊效應后，與低維特征圖經過1×1卷積、解碼路徑上采樣特征圖以通道融合的方式將高層豐富語義信息與低層精準目標位置相結合，增強編碼路徑信息。AT-SegNet結構共嵌入3次TACF，分別以Layer3、Layer4和支路1及Layer2、Layer3和支路2及Layer1、Layer2和支路3作為輸入。最后一層中將支路4與Layer1經過CBAM模塊的特征圖融合。經過解碼路徑深度可分離卷積和上采樣，恢復至輸入分辨率，逐像素分類，得到分割結果。

1.1 ASPP

空洞卷積[13]即在卷積核部分插入空洞，空洞位置填0后再進行卷積。與傳統卷積相比，空洞卷積可使卷積核膨脹，能夠在不增加參數、不進行池化的情況下增大感受野，聚合上下文信息。擴張后的感受野大小與擴張率有關。設卷積核大小為k，擴張率為r，添加空洞后的卷積核感受野K為

K=(r-1)*(k-1)+k

(1)

原理如圖3所示，圖3(a)中的標準3×3卷積擴張率r=1，感受野為3×3。圖3(b)中r=2，在原有3×3卷積核的每兩個像素間插入空洞，感受野增大，相當于5×5的卷積核視野，輸出包含的語義信息更廣。當r=3時，擴張后的卷積核視野大小為7×7。

圖3 空洞卷積

DeepLabv2[14]結合空洞卷積提出ASPP，DeepLabv3[9]在其基礎上進行了優化。結構如圖4所示，第1層是1×1卷積，本文根據輸入特征分辨率大小，2到4層的3×3卷積空洞率分別設為3、6和9。為防止3×3的卷積濾波器退化為簡單的1×1濾波器，提出使用圖像級特征，即第5層中，對圖像全局平均池化后再雙線性上采樣恢復空間維度。并行支路通過通道拼接方式融合后再進行1×1卷積。

圖4 ASPP結構

1.2 TACF

TACF模塊由CBAM和SoftPool組合，能夠增強目標區域特征權重，將高層豐富語義信息與低層位置信息結合，以并聯方式嵌入結構中，挖掘更重要的特征信息。

1.2.1 CBAM

注意力機制能夠捕獲輸入的重要特征，獲取更多關注目標的細節信息，提高目標區域權重，抑制其它無用信息，被廣泛用于語音識別、自然語言處理等任務中[15]。CBAM是一個輕量級注意力模塊，通常卷積運算是將跨通道信息和空間信息混合在一起提取特征，而CBAM則各自學習每個特征通道和特征空間的重要程度，增強語義信息表征能力，且內部模塊相互獨立，既節省計算力又易于集成到網絡架構中[16]，結構如圖5所示。

圖5 CBAM結構

CBAM有兩個順序子模塊：通道和空間注意力模塊，能夠自適應細化中間特征圖。輸入特征圖F經過通道注意力模塊后與輸入點乘，得到中間特征圖F1，再經過空間注意力模塊后輸出與F1點乘得到加強特征圖F2，整個模塊操作可由下式表示

F1=MC(F)?F

(2)

F2=MS(F1)?F1

(3)

MC(I)=σ(MLP(MaxPool(I))+MLP(AvgPool(I)))

(4)

MS(I)=σ(f7×7([MaxPool(I)；AvgPool(I)]))

(5)

式中：I表示模塊輸入，Mc(I)和Ms(I)分別是通道注意力和空間注意力操作，F1和F2分別為經過通道注意模塊和空間注意模塊的輸出特征圖，?表示element-wise乘法(兩個特征圖同一個位置的值直接相乘)，σ指激活函數sigmoid，MLP是多層感知器，AvgPool(I)表示全局平均池化操作，MaxPool(I)表示全局最大池化，f7×7表示卷積核大小為7×7。

1.2.2 SoftPool

軟池化[12]是一種可微的、以指數加權方式累加激活的池化方法，能夠保留原圖中更多細節。基于softmax函數進行加權保留輸入的基本屬性，同時放大更大強度的特征激活，并在反向傳播過程中為每個輸入獲得一個梯度，一個最小的非零權值將被分配給一個核區域內的每一個激活。池化操作如圖6所示。

圖6 軟池化原理

假設a1、a2、a3和a4是2×2的激活映射核鄰域，先利用函數計算相應權重，表示為該激活的自然指數與鄰域R(R=2)內所有激活的自然指數之和的比值

(6)

將權重與激活映射對應相乘再相加即得到池化結果

(7)

1.3 深度可分離卷積

深度可分離卷積[17](depthwise separable convolution)將傳統卷積分解為一個深度卷積(depthwise convolution)和一個1×1的逐點卷積(pointwise convolution)，這種分解相比于標準卷積可減少模型參數量與計算量，提高卷積的實時性。假設輸入特征圖大小為DF×DF×M，采用的標準卷積尺寸為DK×DK×M×N，結構如圖7所示。輸出特征圖為DG×DG×N，則標準卷積計算量為DK×DK×M×N×DF×DF。

圖7 標準卷積結構

深度可分離卷積將卷積塊分為兩部分。深度卷積大小為DK×DK×1×M，輸出為DG×DG×M，計算量為DK×DK×M×DF×DF。逐點卷積能夠擴大通道數，其大小為1×1×M×N，結構如圖8所示，輸出為DG×DG×N，則計算量為M×N×DF×DF。

圖8 深度可分離卷積結構

深度可分離卷積的總計算量為DK×DK×M×DF×DF+M×N×DF×DF，即深度卷積與逐點卷積計算量之和。深度可分離卷積與標準卷積的計算量之比為

(8)

當DK為3時，深度可分離卷積的計算量可壓縮至傳統卷積的1/9。

2 實驗過程與結果分析

2.1 數據集及實驗環境

實驗基于64位Windows系統，配置為Core(TM)i7-7700CPU，顯卡型號為顯存8 G的Nvidia GeForce GTX 1080，使用Tensorflow深度學習框架搭建模型，Python作為編程語言，軟件平臺為CUDA10.0、CUDNN7.4.1.5、Tensorflow-gpu1.13.2和Keras2.1.5。

訓練過程設置總迭代次數50次，批次為2。為減少梯度消失和過擬合等問題，模型中激活函數采用修正線性單元ReLu函數，表達能力強，能夠使模型收斂速度維持在穩定狀態。本文研究目標包括雞身和雞群背景兩類，損失函數使用二分類損失函數即二元交叉熵函數(binary cross entropy loss，bce loss)

(9)

其中，n是訓練樣本總數，x是輸入數據，a是實際輸出，y是對應的目標輸出。模型使用自適應矩估計Adam[18]優化器，初始學習率lr設置為0.0001。當模型性能在迭代3次后不再提升，將lr縮放至0.5倍，在反向傳播過程利用上述損失函數調整參數。

2.2 結果與分析

2.2.1 傳統圖像分割算法結果

本文首先通過傳統圖像算法——K-means[19]，對雞群圖像進行分割。雞身顏色呈紅棕色，經對比發現，色彩空間LAB對紅色更敏感。對圖像預處理后，將圖像從RGB空間轉為XYZ空間再轉到LAB空間，分離三通道，對通道A進行聚類分割。本文是二分類分割，因此K=2。對分割后的結果進行腐蝕、膨脹等形態學運算，得到分割結果如圖9所示。

圖9 傳統圖像算法分割結果

從分割結果可以看到，由于雞群環境背景復雜，雞身顏色深淺不一，K-means算法分割不夠理想，且分割性能依賴形態學運算的結構元r。r較小時，目標分割較完整，但噪點過多；r增大后，去除噪點的同時分割區域也被腐蝕，魯棒性較差。因此，運用傳統圖像分割算法難度較大。

2.2.2 與其它算法的對比實驗

將語義分割數據集在FCN8s、U-Net[20]、PspNet[21]及SegNet網絡上進行多組實驗以驗證改進網絡的有效性。采用像素精準率(Precision)、召回率(Recall)以及均交并比(MIou)作為本實驗語義分割的評價指標，分別定義為

(10)

(11)

(12)

其中，Tp是真正樣本數量，Fp是虛假正樣本數量，Fn是虛假負樣本數量，GT是實際標注區域，Pred是預測結果。Time是處理一幀圖像所用時間，單位是秒。

定量分析不同主流模型在同數據同條件下的分割性能，實驗結果見表1。本文在同一數據集下采用的其它4種算法進行對比得到ROC曲線如圖10所示。從表1中數據和圖10可以看到，與其它算法相比，改進模型AT-SegNet在精準率、召回率以及均交并比上均優于其它網絡，處理速度優于原模型，且AUC值最大，與其它算法相比分割性能顯著提高，驗證了AT-SegNet模型的優越性。

表1 不同網絡定量測評結果

圖10 5種算法ROC曲線

選取4張雞群圖像，采用不同網絡結構得到分割結果如圖11所示。其中圖(b)是實際標注區域。從圖中可以看到，圖(c)中的FCN8s的分割結果邊緣有毛刺，出現欠分割、分割不連續現象，說明網絡學習能力較差。圖(d)、圖(e)分別是U-Net與SegNet網絡分割結果，分割較為粗略，暗雞身區域難以完整分割，且U-Net模型在第4幅圖中未分割出左側小目標。而圖(f)中PspNet模型得到的分割結果邊緣定位不夠準確，導致像素誤分類為背景。圖(g)是改進模型AT-SegNet分割得到的結果，邊緣平滑且完整，大、小目標均被檢測到，較其它模型結果更接近于真實標注，進一步說明改進模型更注重細節特征，能夠檢測到不同尺度的目標，有效提升了圖像的分割效果。

圖11 語義分割模型對比實驗結果

2.2.3 改進模型的消融實驗

為充分驗證本文算法的有效性，設計了消融實驗分別驗證深度可分離卷積、TACF模塊和ASPP對分割性能的影響。實驗共設置5組，第1組SegNet從零訓練，第2組利用深度可分離卷積替代SegNet編碼器卷積層，第3組去除TACF中CBAM模塊，直接將編碼路徑的特征圖作為輸入到TACF中，第4組增加TACF，最后一組實驗即改進模型AT-SegNet。僅更改實驗對比部分，使用相同數據集在同樣的實驗環境下訓練。采用Precision、Recall及MIou參數評估模型性能，對照組模型與改進模型的實驗結果見表2。

表2 消融實驗

根據分割性能可以看到，第3組實驗增加多尺度級聯后，相比第1組、第2組精準率和召回率等提升較大，將層級之間不同尺度融合得到了優越的特征表達能力。第4組在第3組的基礎上增加了CBAM模塊，能夠學習每個特征通道和空間的重要程度，突出檢測目標。實驗結果表明，將三尺度特征融合有效地結合了高、低層提取的特征，利用低層的強幾何細節表征能力將高層語義分割信息表達出來，進一步增強了像素分類準確率。最后一組通過ASPP整合上下文信息，進一步捕獲不同感受野的特征信息，與第4組相比，精準率提升了2.23%。與SegNet模型相比，改進模型在精準率、召回率以及均交并比上分別提高了13.49%、7.17%和16.63%。上述實驗結果表明，改進模型較原算法優越性更高，學習能力更強，有利于提高雞只狀態檢測準確率。

2.3 雞只狀態檢測結果

2.3.1 檢測原理

正常雞只站立于籠內，死亡雞只趴在籠底部占地面積較大，故采用計算交并比的方法判斷雞只狀態。在雞群處拍攝第一幅圖像，10 min后在該位置拍攝第二幅，計算兩幅圖像分割結果的交并比，當交并比大于閾值T，判斷此處為死雞。

交并比(intersection over union，IoU)即分割結果A與B的交集與并集的比值，定義為

(13)

如圖12所示，理想情況下，A與B完全重合，IoU為1。由于籠內其它雞只的活動，死雞位置會有微小變動且兩幅圖像拍攝位置有些許誤差，因此兩幅分割結果的交并比遠小于1。籠內無死雞時，理論上交并比接近于0。圖13展示了兩處雞群圖像基于改進模型的分割結果及交并比操作。

圖12 IoU原理

圖13 雞只檢測原理

2.3.2 檢測結果

閾值T的選取會影響檢測準確率。T值過大，漏檢數目增加；T值過小，將正常雞誤檢為死雞的可能性增大。因此，本文探究了不同T值對檢測性能的影響。

基于改進模型和原算法的分割結果，設置不同的閾值T得到對應的檢測性能如表3和圖14所示。從結果中可以看到，T小于0.6時，檢測準確率達80%以上，T在0.1到0.4之間時，檢測準確率變動較小。隨著T增大，誤檢率減小但漏檢率增加。因此，選擇T=0.4作為判斷雞只狀態的閾值，其檢測準確率高達96.5%，相較于原分割算法提高了25.17%，漏檢率為5.2%，誤檢率為1.08%，分別比原算法降低36.25%、4.3%。進一步說明改進的語義分割模型有效性增強，更有利于檢測雞只狀態。

表3 基于改進模型和原算法下不同閾值對應的檢測結果

圖14 不同閾值對于檢測結果的影響

3 結束語

本文研究了一種基于語義分割檢測死雞的算法。基于SegNet分割模型，通過空洞空間金字塔池化捕獲不同感受野特征，聚合上下文信息。利用注意力機制和軟池化提出一種新的三尺度特征融合模塊，將高層語義與低層位置信息結合，解決了深層網絡由采樣引起的信息缺失問題，豐富解碼器細節特征，提高預測準確率。解碼部分采用多層深度可分離卷積替代標準卷積層，增加網絡提取特征深度的同時提高實時性。最后計算兩幅雞群圖像分割結果交并比，與閾值對比判斷雞只狀態。利用本文算法檢測雞只狀態準確率高達96.5%，能夠在復雜雞群環境下準確地發現死亡雞只。