基于深度可分離卷積網絡的粘連魚體識別方法

張 璐，李道亮，曹新凱，李文升，田港陸，段青玲※

（1. 中國農業大學國家數字漁業創新中心，北京100083；2.中國農業大學信息與電氣工程學院，北京 100083；3. 中國農業大學北京市農業物聯網工程技術研究中心，北京 100083；4. 萊州明波水產有限公司，萊州261400）

0 引 言

中國是漁業大國，水產品產量以水產養殖為主。2019年全年養殖水產品產量達5 079萬t，占水產品總產量的78.38%[1]。隨著人工智能技術的發展，水產養殖也朝著自動化、智能化的模式轉變[2-4]。計算機視覺技術因其具有簡單、無損、高效等特點，成為提升現代水產養殖技術的重要手段[5-7]。在水產養殖中，養殖魚類生活在三維水體中，且由于其頻繁游動，導致圖像中魚體形狀呈現不規則、魚體之間存在復雜多樣粘連的特點[8]。因此，準確識別出圖像中的魚體目標是進行后續圖像處理的關鍵，是實現多種基本水產養殖操作自動化的基礎。本研究對粘連魚體目標進行識別研究，對于水產養殖中的魚群計數、養殖密度估算等具有重要應用價值。

目前粘連目標識別研究多采用基于圖像特征閾值的方法，即先采用圖像處理技術分割出目標連通區域，再提取出目標連通區域的特征，通過設定特征閾值的方式判定該目標連通區域是否粘連[9]。Duan等[10-11]分別采用連通區域圓形度和連通區域面積作為粘連目標識別特征，人工設定特征閾值，實現了粘連魚卵的識別，在此基礎上進行粘連魚卵分割和魚卵計數研究。韓書慶等[12]采用連通區域復雜度和連通區域面積作為粘連區域判斷的依據，通過試驗確定特征閾值，實現了粘連豬體區域的識別，在此基礎上分割出粘連豬體。勞鳳丹等[13]采用目標邊界復雜度和連通區域面積作為粘連目標識別的特征，通過模型學習訓練確定特征閾值，實現了復雜環境下粘連蛋雞的識別，在此基礎上進行蛋雞計數。在該類粘連目標識別方法中，特征的選取、特征閾值的確定都依賴于人工或者多次試驗，具有一定的主觀性。并且，當應用目標改變時，特征、特征閾值可能需要重新確定，因而算法的普適性較差。

以卷積神經網絡為代表的深度學習目標識別方法通過提取特征，學習數據規律，構建目標分類模型，實現目標的自動識別[14-16]，目前在水產養殖領域已有一些研究與應用[17-19]。Taheri-Garavand等[20]利用基于卷積神經網絡的VGG16結構對鯉魚圖像進行特征自動提取，通過分類器對圖像進行分類，實現了鯉魚新鮮度的自動識別。Tamou等[21]采用基于卷積神經網絡的AlexNet結構自動提取魚類圖像特征，采用支持向量機分類器對魚類圖像進行分類，實現了水下活魚的識別。Rauf等[22]提出了一種32層的卷積神經網絡模型，自動提取魚體圖像特征，實現了魚類品種的識別。可見，深度學習技術在目標識別領域已有一定應用[23-25]，但尚未應用于粘連目標識別中。

綜上，本研究將深度學習技術應用于粘連魚體目標識別上，以解決目前粘連目標識別方法精度低、普適性差等問題。與傳統卷積神經網絡相比，深度可分離卷積網絡在保證相同卷積特征提取效果的基礎上，具有較低的計算復雜度，能夠進一步滿足實際生產中粘連魚體自動化、實時、準確識別的需求。因此，本研究引入深度可分離卷積網絡代替傳統的卷積神經網絡構建粘連魚體識別模型，提出了基于深度可分離卷積網絡的粘連魚體識別模型。首先采集魚群圖像數據，采用圖像處理技術分割出魚體連通區域圖像，構建粘連魚體識別數據集；其次構建基于深度可分離卷積網絡的粘連魚體識別模型，采用遷移學習方法訓練模型；最后基于已訓練模型實現粘連魚體的識別。本研究識別方法可自動識別出粘連魚體，為實現水產養殖自動化、智能化提供支持。

1 材料與方法

1.1 魚群圖像采集

本研究在中國農業大學國家數字漁業創新中心搭建圖像采集平臺，采集魚群圖像數據，平臺示意圖如圖1a所示。平臺包括的硬件設備有：魚缸1個（長×寬×高為1 m×1 m×1 m）、增氧機4臺（WP-3300A，松寶，中山市松寶電器有限公司，中國）、攝像頭1個（海康威視3T86FWDV2-I3S，800萬像素，4 mm焦距）、計算機1臺（64位Windows 10操作系統，Intel(R) Core(TM) i5-4590 CPU ＠ 3.3 GHz，8 GB內存）等。采用支架將攝像頭固定在魚缸正上方，距離水面1.5 m，通過網線連接攝像頭與計算機。

采集到的魚群視頻數據被傳送到計算機中存儲。從采集到的魚群視頻數據中截取視頻幀，獲得魚群圖像（圖1b）。試驗采集的魚群圖像為紅-綠-藍（Red-Green-Blue,RGB）彩色圖像，圖像分辨率為3 840×2 160像素，圖像格式為.jpg格式，共4 000張。

1.2 魚體圖像預處理與數據集構建

由于魚群集聚的特性，在一張魚群圖像中會存在多個魚體連通區域。粘連魚體識別是指識別出該連通區域中的目標魚體是否粘連。因此，從魚群圖像中分割出目標魚體，獲取魚體連通區域圖像是進行粘連魚體識別的基礎。本研究首先對目標魚體進行增強處理，再分割出魚體連通區域圖像，構建粘連魚體識別數據集（圖2）。

首先，對魚群圖像進行顏色空間轉換、顏色分量提取和中值濾波處理，以增強圖像對比度。由于原始魚群圖像中魚體目標在色調-飽和度-明度（Hue-Saturation-Value，HSV）顏色空間（圖3a）中的明度（Value，V）分量圖像（圖3b）中與背景具有明顯的顏色反差。因此，提取HSV空間的V分量圖像[26]作為魚群圖像處理的初始圖像。在提取V分量圖像時，分辨率的閾值上限和閾值下限分別設置為100像素和225像素。在此基礎上，對圖像進行中值濾波處理，濾波核的尺寸為3像素，獲得中值濾波圖像（圖3c）。

其次，從背景中分割出目標魚體。由于本研究采集的魚群圖像來自同一試驗平臺，所有圖像具有相同的背景，因此采用背景差分法[10]實現目標魚體的分割，分割結果如圖3d所示。

最后，通過開運算、閉運算、小面積去除和空洞填充[10]去除圖像中孤立的小點、毛刺等噪聲（圖3e）以及填充魚體表面的空洞，獲得魚體連通區域圖像（圖3f）。開、閉運算中采用的正方形結構元素的尺寸為3×3像素，小面積去除中面積閾值設置為300像素，空洞填充采用Python軟件OpenCV庫的Floodfill函數實現。

由圖3f可知，經過預處理后，該魚群圖像中含有11個魚體連通區域圖像，為本研究粘連魚體識別數據集貢獻了11個樣本。由于卷積神經網絡處理三通道圖像，而分割出的魚體連通區域圖像為二值圖像，因此需要獲取魚體連通區域圖像的RGB圖像。本研究采用Python軟件Pillow庫的Image.crop函數在原魚群圖像中切割出魚體連通區域圖像的RGB圖像，構成粘連魚體識別數據集，共27 836張。水產養殖中魚群養殖密度較大，多條魚之間出現相互接觸的情況，并且由于其生活在三維水體中，俯視魚群時，不同水體層中的魚體會出現重疊的情況。上述情況導致圖像中的魚體是連接在一起的，則這類圖像稱為粘連魚體圖像。當圖像中只有一條魚時，該圖像稱為非粘連魚體圖像。基于上述定義，人工標注粘連魚體識別數據集，則獲得粘連魚體圖像9 105張，非粘連魚體圖像18 731張。

1.3 粘連魚體識別模型

1.3.1 基于深度可分離卷積網絡的粘連魚體識別模型構建

MobileNet是一種基于深度可分離卷積的輕量級深度神經網絡，具有較低的參數量和計算量，可應用于手機等智能終端[27]。因此，本研究選用該網絡構建分類模型，識別出粘連魚體和非粘連魚體。本研究提出了一種粘連魚體識別模型的網絡結構，如圖4所示。該模型由輸入層、卷積層、池化層和全連接層構成。其中，卷積層由1個傳統卷積和13個深度可分離卷積塊構成，傳統卷積由32個3×3步長為2的卷積核、批量規范化和激活函數構成，深度可分離卷積塊由卷積核尺寸為3×3的深度可分離卷積、卷積核尺寸為1×1的傳統卷積、批量規范化和激活函數構成。

首先將粘連魚體圖像的尺寸縮放至224×224像素作為模型輸入圖像；其次采用卷積核尺寸為3×3像素的傳統卷積對輸入圖像進行特征提取；再通過深度可分離卷積進行特征提取，并采用卷積核尺寸為1×1像素的傳統卷積進行通道處理，這一過程重復多次；然后通過平均池化層實現特征圖的壓縮降維；最后通過全連接層對卷積層和池化層提取的高維圖像特征進行降維平鋪，將結果輸入到Softmax分類器中實現粘連魚體和非粘連魚體的識別。

深度可分離卷積將傳統的卷積操作分為深度卷積操作和傳統卷積操作，以此減少卷積操作的參數量和計算量。假設輸入特征圖尺寸為DF×DF像素，輸入通道數為M個，卷積核尺寸為DK×DK像素，輸出通道數為N個，則傳統卷積的計算量R1和深度可分離卷積的計算量R2的數學表達式分別如式（1）和式（2）所示：

深度可分離卷積與傳統卷積的計算量比如式（3）所示：

由式（3）可知，深度可分離卷積計算量的減少與輸出通道數和使用的卷積核尺寸相關。例如，當卷積核尺寸為3×3像素，輸出通道數為64個時，深度可分離卷積比傳統卷積減少了約8～9倍的計算量。

在MobileNet中應用深度可分離卷積時加入了批量規范化（Batch Normalization, BN），并使用了修正線性單元（Rectified Linear Unit，ReLU）中的ReLU6作為激活函數，其結構如圖5所示。

引入BN是為了在模型訓練過程中動態調整一個批量數據的均值和標準差，以保證網絡容量、加快網絡訓練速度、提高網絡泛化能力。其具體計算步驟如下：

假設輸入數據為X=X1…m，xi表示輸入的第i個數據，共輸入m個數據，輸出數據為yi，此批量數據X的均值和方差分別為μx和σx2，其計算如式（4）和式（5）所示：

進行數據歸一化得到x?i和yi的值分別如式（6）和式（7）所示：

式中x?i為對xi進行歸一化后得到的值，ε為防止除0引入的極小量，γ為尺度因子，β為平移因子。

激活函數采用ReLU6函數。假設a表示輸入特征值，則ReLU在a＞0的區域使用a進行線性激活，有可能造成激活后的值太大，影響模型的穩定性，為抵消ReLU函數的線性增長部分，使用了ReLU6函數，其計算如式（8）所示：

1.3.2 基于遷移學習的粘連魚體識別模型訓練

深度學習模型的訓練階段分為2種策略，一種是在搭建的模型上從頭開始訓練，另一種是通過預訓練模型進行訓練，即遷移學習。遷移學習減少了構建深度學習模型所需的訓練數據、計算力，能夠很好地解決小數據集容易在復雜網絡上的過擬合問題[28]。因此，本研究運用遷移學習思想，充分利用MobileNet網絡模型在ImageNet數據集上學習到的大量知識，將其用于粘連魚體圖像分類識別問題。

遷移學習包含2種訓練機制，其一，凍結卷積層，只對全連接層進行訓練；其二，對所有層進行訓練。基于這2種訓練機制，本研究采用了下述2種方式訓練粘連魚體識別模型，基于試驗結果，選擇出效果較好的一種遷移學習訓練方式。訓練方式1：凍結全部卷積層，只對全連接層進行粗略訓練。訓練方式2：首先凍結全部卷積層，只對全連接層進行粗略訓練，其次解凍卷積層，對所有層進行精調訓練。

1.4 參數設置及評價與試驗環境

1.4.1 參數設置及評價

本研究粘連魚體識別圖像數據集共27 836張，隨機選擇90%用于訓練，10%用于測試，即訓練集包含25 052張圖像，測試集包含2 784張圖像。訓練集中包含用于模型訓練的圖像和模型驗證的圖像，兩者比例為9:1。

綜合考慮硬件設備性能及訓練效果，試驗每批次送入網絡中的訓練和測試圖像都是4幅，即批尺寸設置為4，動量參數設置為0.9，迭代次數為100。采用Adam優化算法[29]，分別設置初始學習率為0.01、0.001和0.000 1，基于試驗結果選擇出效果較好的學習率。損失函數采用交叉熵損失函數的損失值（loss value，Vloss）[30]，計算如式（9）所示：

式中y?jc表示第j個魚體圖像屬于第c類的真實概率；yjc表示第j個魚體圖像屬于第c類的預測概率；n表示魚體圖像的總數量。

采用準確率（Accuracy）作為評價指標，其計算如式（10）所示：

式中t表示正確識別的魚體圖像數量。

為了進一步驗證本研究提出的基于深度可分離卷積網絡的粘連魚體識別方法的優越性，將其與基于支持向量機（Support Vector Machine，SVM）和基于反向傳遞神經網絡（Back Propagation Neural Network，BPNN）的機器學習識別方法進行了對比試驗。SVM和BPNN識別

方法中采用目前常用的粘連目標識別特征連通區域面積A和連通區域復雜度C作為模型分類特征。連通區域復雜度的計算如式（11）所示：

式中P表示連通區域周長。

1.4.2 試驗環境

本研究試驗的硬件環境：操作系統為64位Windows 10，中央處理器（Central Processing Unit，CPU）為Intel(R)Core(TM) i5-9300H，主頻為2.4 GHz，內存為8 GB，圖形處理器（Graphics Processing Unit，GPU）為NVIDIA GeForce GTX 1660Ti；軟件配置：運算平臺為Cuda Toolkit 10.0.130，深度神經網絡的GPU加速庫為Cudnn 10.0，編程語言為Python，深度學習庫為Keras 2.1.5 和Tensorflow-gpu 1.13.2。SVM方法基于Python軟件中的機器學習庫Scikit-learn（Sklearn）實現，BPNN方法基于Python軟件中的深度學習庫Keras實現。

2 結果與分析

2.1 粘連魚體識別模型驗證結果

本研究提出了一個基于深度可分離卷積網絡的粘連魚體識別模型，實現了粘連魚體的識別。在模型訓練過程中，分別采用了2種不同的遷移學習訓練方式（訓練方式1和訓練方式2），設置了3種不同的常見學習率（0.01、0.001和0.000 1），以選出較好的遷移學習訓練方式和學習率。采用不同遷移學習訓練方式和不同學習率在訓練集和驗證集上的訓練和驗證結果如表1所示。

由表1可知，在2種遷移學習訓練方式和3種學習率的組合下，基于深度可分離卷積網絡的粘連魚體識別方法在訓練集和驗證集上的準確率均較高，表明了該方法的有效性，能夠準確識別出粘連魚體。當采用遷移學習訓練方式2在學習率為0.000 1時，基于深度可分離卷積網絡的粘連魚體識別方法在訓練集上的準確率為100%，在驗證集上的準確率為99.60%，優于其他訓練方式與學習率的組合，取得最好的結果，因此最終確定為本研究方法。

表1 基于深度可分離卷積網絡的粘連魚體識別模型訓練和驗證結果Table 1 Training and validation results of recognition model for adhesive fish based on depthwise separable convolution network

2.1.1 不同遷移學習訓練方式試驗結果對比

遷移學習中基于預訓練模型，采取不同的訓練方式對于模型的收斂速度和準確率均有一定影響。采用2種不同遷移學習訓練方式在學習率為0.000 1時分別得到的損失值曲線和準確率曲線如圖6所示。當遷移學習采用訓練方式1時，模型的收斂速度很慢。完成100次訓練后，模型在訓練集上獲得的最小損失值為0.243，最大準確率為91.33%，模型在驗證集上獲得的最小損失值為0.301，最大準確率為88.38%。損失值較大，準確率較低，且2個指標在訓練集和驗證集上獲得的值相差較大。當遷移學習采用訓練方式2時，在粗略訓練階段，模型在訓練集上獲得的最小損失值為0.245，最大準確率為91.22%，模型在驗證集上獲得的最小損失值為0.453，最大準確率為83.23%，該階段損失值較大，準確率較低。在精調訓練階段，模型在訓練集上獲得的最小損失值為0，最大準確率為100%，模型在驗證集上獲得的最小損失值為0.032，最大準確率為99.60%，該階段損失值大幅度降低，準確率大幅度提升。上述結果表明，進行遷移學習時，精調階段的訓練有助于模型快速收斂。

2.1.2 不同學習率試驗結果對比

學習率是深度學習模型訓練過程中的重要超參數，表示每次更新參數的幅度。合適的學習率可以加快模型訓練收斂速度。采用遷移學習訓練方式2在不同學習率下分別得到的訓練集和驗證集的損失值曲線和準確率曲線圖，如圖7所示。當學習率設置為0.01時，在粗略訓練階段，模型在訓練集上獲得的最小損失值為1.275，最大準確率為91.34%，在驗證集上獲得的最小損失值為0.896，最大準確率為92.93%，在精調訓練階段，模型在訓練集上獲得的最小損失值為5.254，最大準確率為67.41%，在驗證集上獲得的最小損失值為5.130，最大準確率為68.17%。由此可見，在該學習率下，模型在訓練集和驗證集上的損失值和準確率均沒有收斂到一個較好的值。并且，在進入遷移學習的精調階段后，在粗略訓練的基礎上，損失值大幅度上升，而準確率大幅度下降。原因在于，過大的學習率引起損失值梯度爆炸，參數更新過快，破壞了遷移學習中原本訓練好的權重信息，使遷移學習失去了意義。當學習率設置為0.001時，模型在訓練集上獲得的最小損失值為0，最大準確率為100%，在驗證集上獲得的最小損失值為0.028，最大準確率為99.44%。當學習率設置為0.000 1時，模型在訓練集上獲得的最小損失值為0，最大準確率為100%，在驗證集上獲得的最小損失值為0.032，最大準確率為99.60%。由圖7可以看出，在這2個學習率下，模型在訓練集和驗證集上的損失值和準確率均快速收斂并趨于平穩，且當學習率為0.000 1時，模型的性能最好。

2.2 識別模型試驗結果對比

將本研究提出的基于深度可分離卷積網絡的粘連魚體識別方法與基于SVM和基于BPNN的機器學習識別方法進行了對比，試驗設置和結果如表2所示。由表2可知，本研究提出的粘連魚體識別方法在測試集上的識別準確率為99.32%，相較于基于SVM的93.86%和BPNN的67.03%，分別提高了5.46個百分點和32.29個百分點。由此可見，本研究方法的性能優于基于SVM和BPNN的機器學習識別方法。原因在于上述2種機器學習識別方法依賴于手動提取特征，難以基于實際數據和具體對象進行特征的自適應調整。

表2 識別模型對比試驗的參數設置和結果Table 2 Parameter settings and results of comparative experiments for recognition models

綜上，本研究提出的基于深度可分離卷積網絡的粘連魚體識別方法在訓練集、驗證集和測試集上均取得很高的準確率，驗證了本研究方法的有效性；與基于SVM和BPNN的機器學習識別方法相比，準確率均有提升，表明了本研究方法的優越性。本研究方法實現了粘連魚體的準確識別，對于提升水產養殖自動化、智能化具有重要意義。

3 結 論

針對目前粘連魚體識別方法準確率低、普適性差等問題，本研究提出了一種基于深度可分離卷積網絡的粘連魚體識別方法。該方法是進行后續魚體圖像處理的關鍵，對于及時準確地進行水產養殖中的密度估算、魚群計數，實現漁業自動化、智能化具有重要意義。主要結論如下：

1）在學習率分別為0.01、0.001和0.000 1時，粗略訓練與精調訓練相結合的遷移學習訓練方式獲得的驗證準確率分別為92.93%、99.44%和99.60%，僅采用對全連接層進行粗略訓練的遷移學習訓練方式獲得的驗證準確率分為91.41%、92.01%和88.38%，前者的訓練效果更好。

2）當采用對全連接層進行粗略訓練和對所有層進行精調訓練相結合的遷移學習訓練方式，在學習率為0.000 1時，模型快速收斂并取得最好的訓練準確率、驗證準確率和測試準確率，分別為100%、99.60%和99.32%，識別效果最好。

3）與基于支持向量機（Support Vector Machine，SVM）和基于反向傳遞神經網絡（Back Propagation Neural Network，BPNN）的機器學習識別方法對比，識別準確率分別提高了5.46個百分點和32.29個百分點，表明本研究提出的方法能夠根據實際數據和具體識別對象進行特征的自適應調整，更加準確地實現粘連魚體的識別。