基于目標檢測及邊緣支持的魚類圖像分割方法

覃學標 黃冬梅,2 宋 巍 賀 琪 杜艷玲 徐慧芳

(1.上海海洋大學信息學院， 上海 201306； 2.上海電力大學電子與信息工程學院， 上海 200090)

0 引言

在漁業養殖過程中，需要定期地對魚的生長狀況進行監測[1-2]。受成本、安全和對生物體毀壞等因素的影響，依靠人工觀測以獲得魚類的體長等生物學信息比較困難[3]。利用各種遠程可操控的潛水設備替代人工觀測是良好的解決方案，通過這些設備可以大范圍地收集魚類在水下活動的圖像[4]。但要獲得所需要的生物學信息，仍然需要進行大量的人工處理[5]。近幾年，基于機器學習的圖像處理方法獲得較快發展，如何利用這些方法對潛水設備收集到的魚類圖像進行處理，是當前研究的熱點[6-11]。

將魚類目標從圖像背景中分割出來是提取魚類生物學信息的關鍵步驟，其分割精度決定信息提取的準確程度。國內外諸多學者開展魚類圖像分割相關的研究，王帥等[12]提出改進K-means聚類算法的金魚陰影去除及圖像分割方法，用于分析魚類的行為。馬兆敏等[13]使用閾值方法對金魚圖像進行分割。ZHOU等[14]依據邊緣拐角和骨架形狀對重疊的魚類圖像進行分割。雖然上述魚類圖像分割方法獲得了較高精度，但其原理是對整幅圖像進行分割，無法對多條魚逐一進行分割。

基于深度學習的圖像分割方法可以對多目標進行分割，目前被廣泛地應用于各類圖像分割任務中。RONNERBERGER等[15]提出的U-Net模型在醫學圖像上獲得較好的分割效果。CHEN等[16]提出的DeepLabv3模型廣泛應用于遙感圖像的分割[17]。對于魚類圖像，YU等[18]基于Mask R-CNN開展魚類圖像分割研究，用于測量魚的體長。SALEH等[19]基于ResNet-50開展魚類圖像分割研究。LARADJI等[20]通過在ResNet-38網絡上添加類同分支的方式，進一步提高魚類圖像的分割精度。ISLAM等[21]基于VGG-16網絡開展魚類圖像分割研究。基于深度學習的魚類圖像分割方法獲得了較高的精度，但當前的研究主要是基于海中采集的數據開展實驗，海中水下圖像比較清晰，魚的體型較小，較少出現相互遮擋以及截斷的情況。在養殖條件下，水下圖像比較模糊，由于魚的體型較大，存在較多相互遮擋以及截斷的情況。運用深度學習方法對這類圖像進行分割時，易出現較多錯檢漏檢的問題，分割精度較低。

本文提出基于目標檢測及邊緣支持的魚類圖像分割方法。應用目標檢測的方法將魚類目標界定在一定區域內，將整幅圖像分割轉化為區域分割，避免整幅圖像分割過程中因遮擋或截斷帶來的噪聲干擾；運用邊緣支持對區域內的魚類圖像進行分割，以提高模型對模糊水下魚類圖像的適用性。

1 數據集構建與標注

使用GoPro RX0水下攝像機在室外水深1 m的養殖池中采集數據。采集時間為2020年5—6月13:00—16:00，圖像分辨率為1 920像素×1 080像素，幀速率為50 f/s。受渾濁水體的影響，所采集的圖像較模糊。將視頻每10幀輸出1幅圖像，從中取出具有一條或多條完整輪廓的魚圖像，得到3 595幅魚類圖像。按比例7∶3將數據劃分為訓練集 2 517 幅圖像和測試集1 078幅圖像。使用標注軟件LabelImg將圖像中的魚、魚頭和魚尾標注為“fish”、“head”和“tail”。其中“fish”定義為肉眼可辨別為魚的目標，截斷或遮擋的目標均進行標注；“head”定義為肉眼可辨別為魚頭的目標，范圍從魚嘴到魚顎的部分，大部分截斷或遮擋的目標不進行標注；“tail”定義為肉眼可辨別為魚尾的目標，范圍從魚肛門到尾鰭夾角的部分，大部分截斷或遮擋的目標不進行標注，如圖1所示。

圖1 LabelImg標注效果Fig.1 LabelImg annotation

訓練圖像分割模型需要目標的掩碼作為標注信息，使用Labelme對數據集進一步進行標注。標注對象為圖中具有完整輪廓的“fish”類目標，大部分截斷或遮擋的目標不進行標注。數據經過清洗，圖中至少有一條具有完整輪廓的魚，如出現多條具有完整輪廓的魚，均對其進行標注，如圖2所示。

圖2 Labelme標注效果Fig.2 Labelme annotation

2 圖像分割方法

本文方法分為目標檢測和圖像分割兩部分。首先對魚、魚頭和魚尾進行目標檢測，依據檢測結果對圖像中具有完整輪廓的魚類目標進行提取，然后在此區域內運用邊緣支持的方法對圖像中的魚進行分割，框架如圖3所示。

圖3 圖像處理方法框架Fig.3 Framework of proposed method

2.1 基于目標檢測的完整輪廓提取

提取魚類的生物學信息要求目標具有完整性，需要對遮擋或截斷的魚進行排除。另外，在圖像存在較多截斷或遮擋的情況下，對圖像中所有的目標進行分割會產生較多的噪聲點，影響分割精度。基于以上兩點，本文方法應用目標檢測方法對圖像中具有完整輪廓的魚類目標進行提取，并對不完整的目標進行排除。

YOLO模型在魚類檢測上取得了較好的檢測效果，本文選擇其作為魚類目標檢測器[22-24]。假設一條完整的魚類目標應該具有可檢測到的魚頭和魚尾，據此分別對圖像中的魚、魚頭和魚尾進行檢測，記輸出的檢測框為Bfish、Bhead和Btail。若結果中包含遮擋或截斷的目標，需要對其進行排除。當魚頭和魚尾的檢測結果相較于魚的檢測結果誤差小于圖像長寬之和的1%時，判定這條魚可檢測到魚頭和魚尾，是一條完整的魚類目標。計算公式為

(1)

式中W——圖像長H——圖像寬

xfish——魚檢測框Bfish左上角x坐標

yfish——魚檢測框Bfish左上角y坐標

wfish——魚檢測框Bfish長

hfish——魚檢測框Bfish寬

xhead——魚檢測框Bhead左上角x坐標

yhead——魚檢測框Bhead左上角y坐標

whead——魚檢測框Bhead長

hhead——魚檢測框Bhead寬

xtail——魚檢測框Btail左上角x坐標

ytail——魚檢測框Btail左上角y坐標

wtail——魚檢測框Btail長

htail——魚檢測框Btail寬

2.2 邊緣支持的魚類圖像分割

運用式(1)對圖像中具有完整輪廓的魚進行提取后，在此區域內對其進行分割。養殖條件下的水下魚類圖像比較模糊，其邊緣特征不明顯，輸入基于深度學習的圖像分割網絡后，特征圖經過多層卷積和池化操作后，邊緣信息在深層網絡中逐步減弱。為了加強邊緣信息在深層網絡中傳遞，本文方法將模糊水下圖像的邊緣特征值加入主干網絡中，使得邊緣特征在深層網絡中得到補充，增強模型對模糊水下圖像的適用性。本文方法使用ResNet作為主干網絡，輸入圖像尺寸為513像素×513像素，模型輸出結果的魚體目標表示為255，背景表示為0。為了增加邊緣信息的傳遞，在主干網絡中添加2個邊緣支持分支，如圖4所示。

圖4 邊緣支持結構示意圖Fig.4 Diagram of edge support structure

2.2.1邊緣矩陣的計算

邊緣支持需要邊緣矩陣作為輸入，計算邊緣的算子主要有Roberts、Sobel、Prewitt、Canny等[25-27]，其中，Canny算子具有較強的邊緣提取能力，本文將其作為邊緣矩陣的求解方法。其原理是通過計算像素點在不同方向上的梯度，設定雙閾值獲得邊緣點。假定輸入1幅圖像，通過Canny算子獲得邊緣矩陣為

C=Canny(Iinput)

(2)

式中Iinput——輸入圖像C——邊緣矩陣將邊緣矩陣加入主干網絡中表示為

Li=Li-1+C(i=1,2,…)

(3)

式中Li——前饋網絡中第i層輸出矩陣

為了便于計算，將雙閾值中的最小邊緣閾值設為0，通過調節最大邊緣閾值c獲得邊緣矩陣。

2.2.2歸一化

邊緣矩陣用0和255表示，0代表背景，255代表邊緣點。一般情況下，輸入圖像使用255進行歸一化，而邊緣點的值為255，如使用255對其進行歸一化將導致該點權重過大。為了避免對參數值產生過大影響，本文使用255的n倍數對邊緣點進行歸一化。

3 實驗與結果分析

在第1節建立的數據集上開展實驗。為驗證本文方法的效果，分別與Mask R-CNN模型、U-Net模型和DeepLabv3模型進行對比。通過消融實驗對本文方法中起重要作用的參數進行分析，以確定較優參數組合。

3.1 訓練設置

為了測試本文方法在不同主干網絡上的分割效果，分別使用VGG-16、ResNet-50和ResNet-101作為主干網絡進行實驗。VGG-16網絡的訓練參數為：輸入尺寸224像素×224像素，激活函數為Sigmoid，損失函數為CrossEntropyLoss，學習率0.001，Batch size設為8，訓練300輪。ResNet-50和ResNet-101模型的訓練參數設為：輸入尺寸513像素×513像素，激活函數為ReLU，損失函數為CrossEntropyLoss，學習率0.001，Batch size設為4，訓練300輪。邊緣支持的參數設置為2個支持分支，邊緣最大閾值c=12，歸一化倍數n=3。目標檢測模型YOLO的訓練參數為：輸入尺寸640像素×640像素，激活函數為Mish，損失函數為FocalLoss，學習率0.001，Batch size設為32，訓練20 000輪。對比模型Mask R-CNN[18]、U-Net[15]和DeepLabv3[16]的訓練參數，使用文獻中的預設值，訓練至收斂。實驗環境為處理器AMD 1950X 3.4 GHz，內存 32 GB，顯卡GTX-1080Ti，操作系統Ubuntu 16.04，編程語言Python 3.7。

3.2 評價指標

使用像素交并比(IOU)和單幅圖像分割時間對模型的分割效果進行評價。

3.3 實驗結果

表1為Mask R-CNN、U-Net、DeepLabv3模型和本文方法在VGG-16、ResNet-50、ResNet-101主干網絡上分割結果對比。從表1可以看出，本文方法在ResNet-101上的像素交并比為85.66%，VGG-16和ResNet-50的像素交并比也高于其他對比模型，說明本文方法可以較好地對魚類圖像進行分割。由于VGG-16的網絡層數較少，其分割精度較低；ResNet-101的網絡較深，其分割精度較高，說明主干網絡越深模型的分割精度越高。在運行時間上，Mask R-CNN模型單幅圖像分割時間較長，達2 s；U-Net模型耗時最短，為0.19 s；本文方法+ResNet-101的分割時間為0.61 s，長于U-Net模型，但短于Mask R-CNN模型。運行時間雖然不能滿足實時分割的生產需求，但可以應用于靜態魚類圖像的分割。

表1 實驗結果對比Tab.1 Comparison of experimental results

圖5為Mask R-CNN、U-Net、DeepLabv3模型和本文方法在VGG-16、ResNet-50、ResNet-101主干網絡上分割結果圖。從圖5可以看出，Mask R-CNN模型由于其用于分割計算的分支網絡層數較少，出現較多錯檢漏檢的像素點。U-Net和DeepLabv3模型對整幅圖像進行分割，亦出現較多錯檢漏檢的像素點。本文方法在網絡層數較少的VGG-16上分割結果較差，存在一定程度的錯檢漏檢點。基于ResNet-101的模型分割結果較好，得到接近于標簽的高精度分割效果。

圖5 不同模型分割結果對比Fig.5 Comparison of segmentation results of different models

3.4 結果分析

3.4.1消融實驗

表2為目標檢測和邊緣支持消融實驗結果。從表2可以看出，在未加入目標檢測和邊緣支持前，模型的像素交并比僅為69.81%。加入目標檢測之后，像素交并比為83.62%，提升13.81個百分點，說明基于目標檢測的完整輪廓提取對提高模型的分割精度具有較明顯提升作用。加入邊緣支持后，像素交并比進一步提高2.04個百分點至85.66%，說明邊緣支持對模型的分割精度也具有提升作用。在運行時間上，加入目標檢測和邊緣支持后，單幅圖像分割時間增加了0.18 s，未產生較大影響。

表2 消融實驗結果Tab.2 Ablation experiment

3.4.2邊緣支持分支的數量

表3為邊緣閾值c=12、歸一化倍數n=3時,不同邊緣支持分支數量的分割精度。從表3可以看出，不添加邊緣支持分支時，IOU為83.62%；添加2個邊緣支持分支后，IOU提高至85.66%；而當支持分支數量為4時，IOU出現了下降。說明邊緣支持分支數量對模型的分割精度具有直接影響，在本文數據中，添加邊緣支持分支數量為2時，分割效果較好。

表3 不同邊緣支持分支數量的交并比Tab.3 IOU of different edge supported

3.4.3邊緣閾值

圖6為邊緣閾值c分別為6、9、12、15時的特征圖。從圖6可以看出，不同閾值所產生的邊緣量差距較大。當c=6時，干擾點較多；而當c=15時，邊緣點較少。

圖6 不同邊緣閾值的特征圖Fig.6 Characteristic diagrams of different thresholds

表4為邊緣支持分支數量為2、歸一化倍數n=3時,不同邊緣閾值的交并比。從表4可以看出，當c=6時，IOU較低；而當c=15時，IOU降低。說明邊緣閾值對模型的分割精度產生較大影響，較小或較大的閾值均達不到提高分割精度的目的。在本文數據中，邊緣閾值c=12時，分割效果較好。

表4 不同邊緣閾值的交并比Tab.4 IOU of different thresholds

3.4.4邊緣矩陣的歸一化倍數

表5為邊緣支持分支數量為2、邊緣閾值c=12時,不同歸一化倍數n的交并比。從表5可以看出，當n=1時，IOU較低；當n=3時，IOU較高；而當n=5時，IOU出現了下降。說明邊緣矩陣的歸一化倍數對模型的分割精度同樣具有影響，邊緣矩陣的歸一化倍數較低時所起作用較小，較高則達不到提高精度的目的。在本文數據中，歸一化倍數n=3時，分割效果較好。

表5 不同歸一化倍數的交并比Tab.5 IOU of different multiples

4 討論

與U-Net和DeepLabv3模型相比，本文方法的交并比分別高11.36個百分點和9.45個百分點。U-Net和DeepLabv3模型是以整幅圖像作為對象進行分割，受遮擋或截斷情況的影響，其分割結果中出現較多錯檢漏檢的像素點。本文應用目標檢測的方法對圖像中具有完整輪廓的魚類目標進行提取，避免整幅圖像分割因遮擋或截斷帶來的噪聲干擾。消融實驗結果也顯示，與未加入目標檢測算法相比，應用目標檢測后模型的分割精度提高13.81個百分點，說明應用目標檢測可以有效地提高模型的分割效果。

本文方法類似于Mask R-CNN模型的分割原理，分割過程分為目標檢測和圖像分割兩部分。Mask R-CNN使用Faster R-CNN作為檢測器，確定目標后外接一個分支對區域內的目標進行分割，但其分割分支的網絡層數較小，分割精度較低。本文方法使用YOLO模型作為檢測器，檢測精度較高。在分割部分，運用邊緣支持的深層網絡，使得本文方法的分割精度比Mask R-CNN模型的分割精度高14.24個百分點。

為了加強邊緣信息在深層網絡中傳遞，本文方法將邊緣的特征值加入主干網絡中，使得模型對模糊水下圖像具有適用性，分割精度進一步提高2.04個百分點。邊緣支持分支的數量、邊緣閾值以及邊緣矩陣的歸一化倍數等參數的選擇對模型的分割精度有影響。邊緣支持分支數量為2、邊緣閾值c=12、歸一化倍數n=3為最優參數組合。

5 結論

(1)提出基于目標檢測及邊緣支持的魚類圖像分割方法，交并比為85.66%，獲得較好的分割效果，可以應用于靜態魚類圖像的分割。

(2)應用目標檢測方法對圖像中具有完整輪廓的魚進行提取，可以避免整幅圖像分割因遮擋或截斷帶來的噪聲干擾。與未加入目標檢測算法相比，分割精度提高13.81個百分點。

(3)應用邊緣支持的魚類圖像分割方法使得模型對較模糊水下圖像具有較好適用性，模型的分割精度在應用目標檢測的基礎上進一步提高2.04個百分點。