基于語義部位分割的條紋斑竹鯊魚體運動姿態解析

劉 斌，王凱歌，李曉蒙，胡春海

（燕山大學河北省測試測量技術重點實驗室，秦皇島 066004）

0 引 言

條紋斑竹鯊（Chiloscyllium plagiosum，以下簡稱條斑鯊），屬于淺海底棲板鰓類軟骨魚。在中國，主要分布于東海和南海海域[1]。條斑鯊蛋白質含量高，無機質豐富均衡，可食用也可供觀賞[2-3]。由于鯊魚具有較強的免疫力和抗腫瘤特性，條斑鯊也被用于生物學和藥理研究[4-5]。因此，人工馴養條斑鯊具有較高的經濟價值和醫用研究價值。但是，海生魚類對水質、溫度等養殖環境因素要求較高[6]，養殖過程中，時常導致魚群出現大規模病死現象，極易造成經濟損失。如能對魚體異常行為進行自動識別和早期預警，將有效提高養殖養護水平。

智能監控和視頻行為分析已成為動物行為學研究中觀測、記錄和量化行為模式的重要技術手段。勞鳳丹等[7]早在2012年已經提出了利用計算機視覺技術對單幅蛋雞圖像進行圖像識別的方法，可識別蛋雞的日常行為活動。高云等[8]提出了基于深度學習的方法識別群養豬侵略性行為。范良忠等[9]基于計算機視覺技術研究了運動魚體的檢測算法。宋懷波等[10-12]研究了基于視頻分析的奶牛行為監測技術。薛月菊等[13]研究了深度學習的哺乳母豬姿態識別算法，可以全天監測豬舍中母豬姿態并進行識別。視頻分析技術對于鼠、果蠅、斑馬魚等典型模式生物的行為學研究起到了重要的推動作用[14]。

當前研究大多針對動物對象整體繪制質心運動軌跡，或依據可視外觀輪廓劃分身體區域進行視頻圖像處理和行為分析。這些方法無法對不同的身體組成部位進行有選擇性的細致觀察，也無法利用動物身體各構成部位在時間序列圖像中呈現出具有統計性的空間變化規律進行運動姿態的解析。所謂語義部位分割，是將單幀圖像中同一目標對象按照其身體部位的不同，分割成不同的圖像區域。語義部位分割結果可用于表示和描述視頻觀測對象姿態和行為，還可用于細致觀測和量化區分對象的某個局部構件[15-16]、完成遮擋等復雜條件下的檢測定位[17]、跟蹤[18]和姿態估計[19-20]，以及研究各部位在動作行為表現中的時空關系[21]，具有重要的應用價值。

本文通過對視頻觀測對象的魚體可視部位的語義劃分，在自建數據集基礎上，利用編解碼深度網絡實現對魚體各組成部位的語義部位分割，應用分割結果的語義標簽和空間信息表征魚體姿態，通過建立隨體坐標判明魚體動作。研究結果可為人工養殖條斑鯊的異常行為識別和開展面向鯊魚的行為學試驗提供參考。

1 材料與方法

1.1 建立魚體語義部位圖像樣本數據集

當前，國內外視頻分析相關研究大多針對具備海量公共數據樣本集的人體目標，調試各種深度網絡模型。尚未見有針對鯊魚的公共數據樣本。本文首先建立了條斑鯊魚體語義部位圖像樣本數據集。

1.1.1 條斑鯊魚體語義部位劃分

語義部位分割任務與傳統語義分割任務具有顯著的不同。傳統語義分割是按照圖像中不同的目標類別進行區域劃分。魚體語義部位分割的目標是將單體目標按照身體部位劃分為不同的組成部分。這些部位的選擇不僅要考慮監控對象實際的身體構成，而且還要考慮監控視頻的視點，即監控對象在監控相機成像面上的投影影像。此外，魚體部位的劃分應有助于表示目標姿態和行為。

按照視頻中魚體可視部位的形態結構，魚體劃分為：頭、軀干、左胸鰭、右胸鰭、左腹鰭、右腹鰭、尾共計7個互不重疊的組成部分，并分別標注語義標簽，如圖1所示，圖中利用顏色分別標記。給定一幅子圖圖像，語義部位分割方法將自動計算出身體組成部位的語義分割預測結果，在后續的試驗結果輸出中，采用圖1b所示顏色作為各個組成部位的標簽顏色，它們分別對應各自的部位名稱，即為各部位的“語義”。

1.1.2 圖像樣本數據集的建立

全景養殖監控視頻采用彩色GigE相機MV-E800C拍攝，分辨率為2 048×2 048像素，幀頻為10幀/s，人工馴養條斑鯊視頻監控系統示意圖如圖2所示，其中，攝像機固定且垂直于水池拍攝全景視頻。在全景視頻序列圖像中，抽取單體的運動子圖用于研究魚體部位分割和姿態解析問題。利用高斯混合背景模型算法獲取魚體運動子圖，共抽取近900張魚體子圖圖像數據，每幅圖像尺寸為256像素×256像素，其中也有一些不相關內容摻雜在內，例如多條魚影響，養殖池邊緣，白色管道和雜物等。為了能夠獲得較清晰的魚體圖像，選擇了干擾較少，噪聲影響小，水波幅度小且魚體完整的476幅圖像作為訓練網絡模型的候選圖樣。

使用labelme開源標注工具[22]進行手工標記，建立標準像素級標簽數據集，形成了與原始圖像對應的地面真實值圖像（Ground Truth，GT）作為標準標簽圖像與原始圖像一一對應，為下一步研究提供可靠的數據依據。通過平面旋轉方式將原始數據集擴增到1 944幅圖像樣本，降低模型的過擬合。將圖像樣本數據集按照6:4的比例隨機劃分為訓練集和測試集，其中訓練集為1 166幅圖像，測試集為778幅圖像，有效類別數為7（背景類別除外）。

1.2 研究方法

本試驗環境為PC機（Windows 10操作系統，硬件環境為Intel（R）HD Graphics 630，GPU為NVIDIA GeForce GTX 1070，軟件平臺為MATLAB R2019a）。在前文所述自建數據集基礎上，利用編解碼深度網絡進行條斑鯊魚體語義部位分割的流程，如圖3所示。

主要過程描述如下：1）在室內養殖環境下的魚養監控視頻中進行魚圖像原始樣本采集；2）得到的樣本數據使用labelme工具進行手工標記制作數據集；3）將原始樣本數據和標簽樣本數據進行數據擴增，防止在訓練過程中模型發生過擬合現象；4）模型訓練前，將樣本數據集和標簽數據集分為訓練樣本和測試樣本，對模型的訓練參數進行優化調整；5）在搭建好的網絡模型上利用訓練樣本進行訓練，得到魚體部位分割模型；6）利用具有最優參數的網絡結構對所有測試圖像樣本進行分割，得到最終分割結果；7）對分割結果進行后處理，首先采用數學形態學閉運算填充空洞，再通過計算連通區域面積，剔除小面積雜散區域，獲取最終魚體部位完整區域；8）對分類結果與對應的標簽進行逐像素匹配計算，得出混淆矩陣，對分割結果進行評價。

1.2.1 基于編解碼深度網絡的條斑鯊魚體語義部位分割方法

編解碼深度學習網絡常被用于進行圖像語義分割，多用于區分場景中不同類別目標個體。這里則嘗試采用編解碼深度學習網絡模型自動區分圖像中同一目標的不同身體部位，并對FCN和SegNet編解碼深度網絡模型進行試驗對比研究。

基于FCN網絡的條斑鯊魚體部位分割流程如圖4所示。傳統FCN網絡[23]通過反卷積層對最后一個卷積層的魚體部位特征圖進行上采樣得到對每個像素的預測，然后在與輸入圖像尺寸相同的256×256像素的特征圖上進行像素分類，基于此過程的語義分割的最終預測層的輸出步長為32的像素限制了上采樣輸出的細節尺度導致分割結果粗糙。該架構定義了一個跳躍結構FCN-8s，以具有13層卷積層、5個池化層和3層全連接層的VGG16網絡[24]作為主干網絡，并將3層全連接層替換為全連接卷積層，具體操作為：將分別對應1 000個類別的概率并且長度為4 096、4 096、1 000的一維向量的3層全連接層表示為卷積核大小（通道數，寬，高）分別為（4 096,7,7），（4 096,1,1），（1 000,1,1）的全連接卷積層。對于輸入的魚體圖像，經歷了5次卷積和池化操作后的部位特征圖縮小為原圖的1/32，而跳躍層結構保留了第3、4次的結果，首先，第3次的結果與經過第5次的特征圖進行上采樣的結果進行結合為原圖1/16，然后與第三次卷積池化結果結合為原圖1/8，經過8倍上采樣后輸入到softmax層以恢復到保留了空間信息的原始圖像中魚體各個部位像素大小，從而輸出最大概率魚體部位類別的結果。基于傳統的FCN網絡架構雖然網絡結構較為簡單，但在推理過程中占用了大量內存，同時需要進行上采樣學習，存在分割效果粗糙等問題。

本文采用一種高效的像素級語義分割框架-SegNet網絡[25]，結合了全卷積網絡和編碼器-解碼器架構[26-27]，可以避免由于FCN的池化層導致的空間分辨率損失，起初應用在道路場景理解中[28-31]。基于Segnet網絡的條斑鯊魚體部位分割流程如圖5所示。Segnet網絡的一個關鍵學習模塊就是編碼器-解碼器網絡。編碼器采取了VGG16網絡的前13層sam卷積層來提取特征，對單魚圖像中的每一個像素點進行提取，具體操作是網絡中的每一個編碼器與濾波器組進行卷積產生一組與尺寸為256×256像素的單魚圖像的特征映射。然后執行帶有2×2濾波器和步長為2的最大池化索引并將其在魚體部位特征中的最大區域的位置保存，目的是便于解碼器利用其來進行非線性上采樣。解碼器在結構上與編碼器為對稱關系，使用一個可訓練的濾波器組對上采樣后恢復到原圖尺寸的稀疏映射進行卷積，以重建輸入圖像生成密集的魚體部位特征圖。由于編碼器在每次池化后濾波器都會丟失3個權重，將這些在池化過程中的所在2×2濾波器中最大權重的位置保存下來，在解碼過程中上采樣就可以根據位置放入輸入特征圖找回丟失的信息。最后的解碼器輸出被提供給一個分類器softmax，以產生每個像素獨立的類概率，從而實現語義分割。

Segnet網絡和FCN網絡的思路十分相似，在網絡訓練過程中，Segnet網絡對每次卷積后的結果添加規范化（Batch Normalization）處理[32]和激活函數ReLu，FCN網絡對每次卷積后的結果添加激活函數ReLu。它們的編碼和解碼技術有所不同。在FCN網絡的解碼器中，上采樣使用一個固定的或可訓練的多通道上采樣核通過反卷積來執行。Segnet網絡使用的解碼技術沒有涉及到任何學習，上采樣映射與可訓練的多通道解碼器濾波器進行卷積，以增強其稀疏輸入的密度。設計Segnet網絡的目的旨在產生平滑的分割，并將目標根據其形態描繪出來。這兩種深度網絡結構多用于進行語義分割，且建立在海量大數據和強標注基礎上，能否針對實際應用總的小樣本數據實現有效語義部位分割尚待研究。

1.2.2 基于語義部位分割的魚體姿態解析

基于語義部位分割的魚體姿態解析利用上述語義部位分割結果，利用不同顏色標記的魚體部位可以定位魚體不同的身體部件，解析計算單幀圖像中目標的姿態，進而判明幀序列中魚體游動的動作變化。主要步驟分為：1）繪制隨體坐標；2）解析計算魚體朝向；3）判明運動方向。

1）繪制隨體坐標。不同于常見的人體監控視頻圖像，魚體在全局監控視頻俯視視點下呈四周朝向，并非如人體呈直立朝向，因此，建立隨魚體變動的局部坐標系，對于計算魚體姿態朝向，進而判明魚體動作變化是必要的。顯然，前文所述魚體目標的語義部位分割結果有助于定量描述各個部位的位置關系。具體而言，就是根據分割網絡得到魚頭、左右胸鰭、左右腹鰭、軀干、魚尾7個語義部位來判定各自區域質心位置，作為魚體部位關鍵點。以軀干和頭部質心的連接線作為魚體坐標系的縱軸，并且箭頭方向指向頭部，橫軸穿過軀干質心并垂直于縱軸，至此，完成魚體隨體坐標系的繪制。

2）計算魚體朝向。由于監控相機和水池是相對固定的，通過計算魚體隨體坐標系與視頻幀圖像坐標的相對方向，即可計算單幀圖像中魚體的朝向角（方向角）α，如圖7所示。首先根據語義部位分割方法和局部區域中心計算方法得到魚體頭部中心點C(x1,y1)和魚體旋轉中心點Cr(x2,y2)和，連接兩點得到方向向量α，方向由Cr指向C，代表魚體頭部朝向。已知豎直向下且以Cr為起點并且平行于圖像直角坐標系x軸的單位向量n，利用余弦定理，魚體朝向角α(°)的計算公式如下：

式中y1和y2分別代表C和Cr的縱坐標位置。y1≥y2表示頭部中心點位于旋轉中心的右側，此時計算方向角的范圍在[0,180°]；y1＜y2表示頭部中心點位于旋轉中心左側，將單位向量n進行反向處理(豎直向上)，且計算的方向角需加上180°，使朝向角的范圍在[180°, 360°]，最后α的取值范圍在[0, 360°]。

3）判明運動方向。在條紋鯊運動過程中，尾鰭左右擺動推進魚體前進，使魚體保持穩定，而胸鰭擺動時魚體向不動的一側轉彎，運動完成。根據魚體的隨體坐標系縱軸方向與全景圖像坐標系橫軸方向的夾角α變化可以判斷出魚體的運動方向的變化。在α取值范圍內，當α持續增加時，判斷魚體在逆時針轉向，即左轉，反之，當α減小時，則在順時轉向，即右轉。

2 結果與分析

2.1 試驗環境與模型參數設置

采集存儲的全景監控數據利用前文所述方法建立條斑鯊魚體語義部位圖像樣本數據集。在模型訓練前，對語義分割網絡模型主要參數進行設置，動量參數（Momentum）的作用是加速模型收斂，設為0.9的隨機梯度下降算法進行優化；學習率是模型訓練中最為重要的一個參數，不僅可以控制模型的學習進度，還會直接影響訓練結果，初始學習率（Learning rate）設置為0.001，使得模型在一定范圍內快速收斂；訓練批尺寸（Batchsize）表示一個批次輸入到模型中進行訓練的圖像數量，本文設為4；迭代次數（EpochNum）設為100次；使用交叉熵損失函數作為訓練網絡的損失函數，直到結果達到收斂為止。對使用的兩種語義分割模型設置為完全一樣的上述訓練參數，并對其分割結果進行對比分析。

2.2 試驗評價

為了合理客觀地評價網絡模型在魚體部位語義分割任務上的性能以及對比不同方法的分割性能，使用區域重合度（Intersection over Union，IoU），準確率（Accuracy）,邊界輪廓匹配分數（MeanBFscore）進行評價。

1）區域重合度IoU分數（Jaccard相似系數）表示真實值集合和預測值集合中相交的像素與總像素的比值，計算式為2）準確率Accuracy表示正確分類的魚體部位像素與該類像素總數的比值，計算式為

3）邊界輪廓匹配分數MeanBFscore表示各類預測邊界與真實邊界的匹配程度，計算式為

式中本文中使用的A為網絡分割后的帶有像素標簽的分割圖，B為手動標記標有類別標簽的真值圖。以評估魚頭部位為例，TP為預測為魚頭區域的像素，實際也為魚頭區域像素；FP為預測為魚頭區域的像素，實際不為魚頭像素區域；FN為預測為不屬于魚頭區域的像素，實際為魚頭區域；TN為預測為不屬于魚頭區域的像素，實際不為魚頭區域，單位均為像素Pixels。

2.3 語義部位分割試驗結果與分析

語義部位分割試驗選取運動子圖數據集，共有1 944張魚體圖像，其中按照比例6∶4劃分為訓練集和測試集。兩種方法訓練后的部分預測結果如圖6的第一行所示，可以看出基于FCN-8s和SegNet網絡的語義分割方法能夠準確地分割出魚體的各個部位，但是也存在一些不足之處，比如邊界位置信息的描述不是很平滑。在訓練過程中，訓練集圖像共計1 166張，迭代29 100次，基于FCN-8s網絡的訓練歷時24 151 s，Segnet網絡訓練過程歷時18 292 s；在測試過程中，測試集圖像共計778張，基于FCN-8s網絡處理每幅圖像的平均時間為0.46 s，Segnet網絡處理每幅圖像的平均時間為0.31 s。

圖7為2種網絡模型對測試集條斑鯊中每類對象的分割結果。首先，在測試集里的魚體單圖圖像進行了IoU評價，對于給定的一張輸入圖像，測試其在網絡分割方法分割后的性能，第一，由于標準數據集下的魚體受到的干擾較小，分割后的魚體語義部位圖無需進行后處理就可以達到較好的分割效果，各類魚體部位類別準確率很高，如圖7a所示。基于SegNet網絡分割結果相比于FCN-8s網絡的各個部位的邊界更平滑，與真值圖的各類目標的吻合程度更高，這是由于SegNet網絡融合了更低層的卷積網絡特征，保留了更多細節信息。第二，由于魚體大小和動作行為均不相同，分割結果幾乎未受到尺度影響，具有尺度不變性，很好解決了魚體顏色不均勻，又與背景顏色相近的問題。第三，通過分割結果評估和視覺檢查，可以得出靠近魚鰭或魚的邊界像素更容易被錯誤地分類為魚鰭，導致4個魚鰭的分割精度較低。

由于訓練好的深度網絡模型對于復雜背景下或者在有干擾的環境下分割結果不理想，添加如方法流程圖所述的后處理步驟來提高魚體部位語義分割的精度。在保證分割后的魚體部位完整的情況下去除不連通區域，例如水中雜質，障礙物的干擾等等。選取在測試集中帶有干擾的魚體圖像，如多魚干擾，障礙物遮擋和水光波照影響等各30張圖像并經過后處理進行評價對比，如圖8所示。Segnet網絡在頭部，右胸鰭，左胸鰭，右腹鰭，左腹鰭，軀干，尾巴部位的準確度分別高出基于FCN-8s深度網絡的分割方法1.50，4.70，6.95，6.56，6.01，0.85，0.84個百分點。

從圖8可以看出，在多魚干擾的情況下，FCN-8s分割方法出現較明顯的錯誤分割現象，魚體部位的邊界較為模糊，在有障礙物干擾的情況下，SegNet能較好地分割出魚體的各個部位，而FCN-8s存在一定的錯誤分割現象，有的區域被混淆且邊界模糊。當水中魚體受到光照影響的情況下，導致條斑鯊所在的環境曝光過度，但是FCN-8s網絡和SegNet網絡大體上都能將魚體部位分割出來，無明顯的錯誤分割現象，說明網絡對關照影響有較好的魯棒性。FCN-8s對圖像中的低亮像素分割性能較差。

2.4 魚體姿態解析試驗結果與分析

將運動子圖數據集劃分為左轉、直行和右轉三類不同的運動子圖序列，共計35組。在三類中隨機抽取任一序列，按照前述方法，采用基于SegNet網絡的語義部位分割方法進行魚體部位劃分，建立隨體坐標，計算單幀朝向，各運動序列中魚體朝向角α在圖像上標記，如圖9所示。

依據本文算法擬定的坐標方向規則，針對不同運動序列子圖進行多組試驗，統計得出魚體不同運動姿態下方向角變化規律：在[0°,360°]范圍內，左轉序列圖中，方向角α會逐漸增大；右轉序列中，α逐漸減小；直行序列中，方向角α小范圍內波動。魚體目標如持續左轉(或右轉)，則方向角α增加至360°（減小至0°）臨界值后，跳變至0°(360°)重新開始計算，將呈現鋸齒圖樣。所以，從α的波動圖可以判明魚體目標定向/非定向、直行/靜止的運動姿態變化。在某時段內，目標定向左/右轉時，α呈鋸齒形變化；目標非定向左/右轉時，α呈拱形變化；當目標直行時，α呈小幅度范圍內波動變化；目標靜止時，α基本保持恒定。

在此基礎上，針對一段包含多種運動方向變化的魚游序列姿態解析計算結果如圖10所示。幀中，角度變化幅度較小，表示魚體為直行狀態。對于試驗中所用包含35幀圖像的運動序列子圖，語義部位分割計算和姿態解析的運算時間不超過11 s。所以，視頻序列中魚體隨體坐標系縱軸方向與單位矢量坐標軸橫軸的夾角方向變化可以判斷出魚體的運動方向。可見，在語義部位分割基礎上，可根據魚體方向角α變化規律判明魚體運動方向，為進一步開展魚體行為學觀測提供考慮。

隨著魚體的不斷運動和位置變化，魚體朝向角α也會呈現出規律性變化。在第1幀到第6幀圖像中角度明顯增大，表示魚體在向左轉；而第7幀到16幀中角度明顯減小，表示魚體再向右轉；在第17幀到23幀圖像中，角度趨近于不變，表示魚體為靜止狀態；第24幀到35

3 結 論

1）本文利用人工馴養條斑鯊養殖監控視頻，建立了條斑鯊語義部位樣本數據集，選用FCN-8s網絡和segnet網絡作為訓練模型，開展了針對人工馴養鯊魚的語義部位分割工作，并將其結果應用到魚體姿態解析中。

2）將深度網絡語義分割模型運用于條斑鯊的小樣本魚體語義部位分割的實際應用中，得到了較好的分割結果。然后對兩種網絡的分割結果進行對比分析證明，Segnet網絡在頭部，右胸鰭，左胸鰭，右腹鰭，左腹鰭，軀干，尾巴部位的準確度分別高出基于FCN-8s深度網絡的分割方法1.50、4.70、6.95、6.56、6.01、0.85、0.84個百分點。

3）利用魚體語義部位分割結果，建立了魚體坐標系，從而完成在局部坐標系下朝向不同的魚體進行各部位空間關系的解析，可以直接用于判別魚體動作，為進一步開展人工馴養條斑鯊的行為識別工作提供考慮。

4）養殖監控視頻中，不同條斑鯊魚體外觀高度近似，水面雜波、反光等復雜因素也會對魚體跟蹤和部位分割結果產生嚴重的負面影響，導致目標興趣區域偏離和魚體部位缺失或異位，這些問題將在后續研究中重點加以解決。

本文工作建立在手工標注的有限樣本數據集基礎上，下一步將研究借助海量的人體部位分割公開數據集，利用遷移學習方法，重新設計網絡訓練結構，以期克服實際應用中各種復雜條件干擾，進一步提高語義部位分割效果。