基于深度學習的魚類識別與檢測的算法研究*

王文成 ，蔣 慧 ，喬 倩 ，祝捍皓 ，鄭 紅

(1.浙江海洋大學 船舶與機電工程學院，浙江 舟山 316022；2.浙江海洋大學 海洋科學與技術學院，浙江 舟山 316022)

0 引言

海洋作為地球上最大的生態系統包含極其豐富的生物和非生物資源。雖然我國海洋面積有300多萬平方千米，但是漁業資源作為海洋資源中重要的一項資源，近年來呈現逐漸衰退趨勢[1]。對周圍海域內海底環境進行實時監測，分析研究海域中代表性魚類的分布概況及生活習性，對于漁業資源可持續發展、探測未知生物資源有著重要意義。

目標識別是計算機視覺領域重要的研究方向之一。隨著科學技術的進步、計算硬件設備水平的提高，基于深度學習的目標識別檢測方法受到了人們廣泛關注。杜衛東等[2]提出一種基于支持向量機(SVM)的多方位聲散射數據決策融合的魚類識別方法，識別準確率達到 90%以上，姚潤璐等[3]通過分割魚體，獲得魚肚、魚背圖像，通過提取紋理特征和形狀特征，識別率達到75%，相較于傳統的目標檢測算法，基于卷積神經網絡(CNN)的目標檢測算法通過學習自動提取顏色、輪廓等底層的特征和更高級、抽象的特征，然后利用分類模型進行分類檢測，其檢測結果具有更高的精度和魯棒性。林明旺等[4]采用VGG16 模型進行魚類分類識別，但是數據集背景干擾強度大，雖然進行微調，穩定性仍然不好。王文成等[5]用ResNet50 網絡模型對十種魚類做了分類識別，準確率達到了93.33%，但是數據集數量有限，識別精度不高；張俊龍等[6]提出在預處理過程中使用權重化卷積操作，對海洋魚類識別準確率提升23%,在視頻觀測中精準識別魚類；梁紅等[7]通過對圖像進行水下降噪的方法，并且對預訓練的網絡微調參數，在海洋魚類數據集上識別準確率達到85.08%。

基于CNN 的目標檢測算法依據是否需要提取候選區域分為：基于有候選區域的目標檢測算法和基于無候選區域的目標檢測算法兩種。區域卷積神經網絡(R-CNN)[8]、快速區域卷積神經網絡(Fast R-CNN)[9]、超快速區域卷積神經網絡(Faster R-CNN)[10]，都屬于代表性的基于候選區域的目標檢測算法。該類算法從圖像中事先提取一系列可能的對象候選區域，然后從這些候選區域中提取特征并進行判斷分類。2019 年，袁紅春等人[11]利用 Faster R-CNN 目標檢測方法應用到水下魚類種類識別中，識別準率達到98.12%。該類算法的檢測準確率較高，但是處理速度較慢。無候選區域的目標檢測算法的代表性算法有單級式目標檢測(YOLO)[12]、單點多盒檢測器(SSD)[13]及其改進的算法YOLO v2[14]和深度監督對象檢測器(DSOD)。此類算法去除候選區域提取過程，使用神經網絡直接將一整張圖片輸入神經網絡，然后預測出bounding box 的坐標和物體的類別、置信度，檢測物體速度較快。李慶忠等[15]對 YOLO 實時目標檢測算法進行了改進，采用遷移學習法訓練網絡，預處理中圖像增強以及視頻幀數檢測速率上做了改變，該算法提升了對海底小目標檢測的性能，但存在檢測精度低、檢測小目標會有遺漏等問題。SSD 算法同時融合了proposal-free 的提取和Faster R-CNNs算法的優點，與其他檢測算法相比，即使輸入圖像尺寸小，SSD 依然有更好的精度。DSOD 是一種改進的SSD 網絡框架算法。相比于 SSD 目標檢測算法，DSOD 整個網絡采用密集的短連接和通道拼接技術，使得DSOD 的模型參數更小，同時能直接在目標數據集上進行訓練，而無需在 ImageNet、COCO、PASCAL VOC 等公開數據集上進行預訓練。

基于上述的分析，由于分類識別和檢測任務在統計分布和損失函數的差異，存在學習上的偏差，為了解決這個問題，本文利用深度監督對象檢測器(DSOD)方法對選定魚類圖像進行檢測分類識別研究，該模型具有高效的目標檢測網絡，保持了處理速度，提升了對小目標的檢測性能。

1 技術路線

CNN 是當前深度學習算法實現的主要途徑，每個模塊主要由數據輸入層、卷積層、激勵層、池化層和全連接層堆疊在一起組成。一般來說網絡層越深，訓練得到的效果就越好，但是有時候有些網絡會出現過擬合的現象，需要進行微調并不斷測試。引入殘差網絡可以很好地抑制過擬合現象，ResNet網絡模型就用到了殘差結構[16]，CNN 各卷積層共享權重，減少很大一部分參數，提高模型的計算效率。池化層通過對卷積的輸出進行采樣來降低下一層的數據速率，可以將圖像用作直接輸入，消除復雜的提取 FeatureMap 的過程。

1.1 網絡模型

ResNet50 包含 49 個卷積層和 1 個全連接層。其中，第二至第五階段的ID BLOCK×2 表示兩個大小不變的殘差，CONV BLOCK 表示增加比例的殘差，每個殘差該塊包含三個卷積層，結構如圖1 所示。

圖1 中的 CONV 是卷積操作的卷積層，Batch-Norm 是批量正則化處理，ReLU 是激活函數，MAX POOL 表示最大池化操作，AVG POOL 表示全局平均池化層操作，stage1 到stage5 表示殘差塊。輸入層把不同圖片的裝換為224×224 的大小進行輸入，激活函數使用 ReLU，即f(x)=max(0，x)，最后一層是全連接層，需要將與每個類別對應的計算得分轉換為與總和為1 的每個類別對應的概率值，使用Softmax函數進行分類,即。

圖1 網絡模型

1.2 DSOD 框架

DSOD 方法是一種類似于SSD 的多尺度proposalfree 檢測框架，不需要提取候選框，也不需要預訓練過程，能夠從頭開始訓練模型，并達到很好的檢測效果。DSOD 的網絡結構可以分為兩部分：用于特征提取的主干網絡和多尺度預測網絡。主干網絡是深度監督DenseNets 結構的一種變體，由一個主干塊、四個密集塊、兩個過渡層和兩個w/o 組成池過渡層。如圖2 所示，DSOD 的架構由一個主干(Stem)模塊、四個密集(Dense Block)模塊、兩個過渡層(Transition Layer)模塊和兩個無池化層的過渡層(Transition w/o Pooling Layer)模塊組成。其中主干模塊由 3 個 3×3的卷積層和一個2×2 的最大池化層組成，第一個卷積層的步長為2，另外兩個卷積層步長為1，池化層步長為 2；密集模塊是由 1×1 的卷積層和 3×3 的卷積層組成的，卷積層數量密集排列；過渡層由1×1卷積層和 2×2 的最大池化層組成，步長為 2；無池化層的過渡層只有一個1×1 卷積層。最先進的對象檢測器過分依賴在大規模數據集上預訓練成的網絡，分類和檢測任務在統計分析與損失函數上的差別，存在學習偏差，DSOD 模型是為了解決這兩個方面的問題而產生的模型。

2 實驗及結果分析

2.1 實驗數據集

本文實驗所需的數據均來源于手動搜集的網絡圖片，四種魚類，分別為大菱鲆、黃鰭鯛、金錢魚、鯔魚，共 1 123 張圖像，每種魚類設置驗證集42張圖像，并采取相同的預處理操作，以確保最終驗證的準確性和測試結果將數據分成相同大小的批次，方便后續模型訓練。

2.2 實驗平臺

基于 PyTorch 框架實現的檢測器。所有的模型都是在 NVidia GTX2080Ti GPU 上用 SGD 求解器從零開始訓練的。由于DSOD 特征映射的每個尺度都由多個分辨率串聯而成，因此采用L2 歸一化技術[17]。大多數訓練設置都遵循SSD，包括默認框的數據擴充、規模和高寬比，有自己的學習速率調度和小批量大小設置。細節將在實驗部分給出。

2.3 結果分析

課題組在前期研究中針對10 種魚類進行分類識別，十種魚類分別為鯔魚、巴鰹魚、金錢魚、銀鯧魚、大菱鲆、鱸魚、頜針魚、黃鰭鯛、綠鰭魚、黑鯛魚，共 908 張圖像，設置訓練集 807，驗證集 101 進行分層采樣。前期研究的實驗結果如表1 所示，分別從 precision、recall、f1-score 的這幾個指標中反映出來，計算這些指標有四個概念：TP、FP、TN、FN,從表1 可以看出，該模型的準確率和召回率都比較高。

表1 分類識別實驗結果

圖2 DSOD 架構

本文實驗選擇其中四種魚類，分別為大菱鲆、黃鰭鯛、金錢魚、鯔魚，并且增加了每種魚類的數量，共 1 123 張圖像，每種魚類設置驗證集 42 張圖像，剩余的圖片用作訓練學習。本文是在 PyTorch 框架下，使用 ResNet50 網絡模型進行實驗，分類識別用的優化器是Adam，該模型的參數設置如下，學習率 1e-4，lr_decay=1e-4，weight_decay=1e-4。如 圖3(a)所示，橫坐標為迭代次數，縱坐標為損失。從圖中可以看出隨著迭代次數的增加損失值逐漸下降，迭代次數2 000 次之前下降速率較快，往后曲線逐漸平穩。圖3(b)所示為隨迭代次數的增加識別準確率的變化，從圖中可以看出隨著迭代次數的增加準確率逐漸增加，當迭代次數為2 000 次的時候，訓練準確率達到90%以上，當迭代次數達到8 000 次的時候，訓練準確率達到95%以上，之后持續為平穩狀態。同時，數據結果顯示該模型收斂速度快，識別精度高，驗證集誤差小。

2.4 PyQt 界面

圖4 所示為利用 PyQt5 做的 GUI 可視化界面，在界面中有魚類識別和魚類視頻檢測兩個功能檢測窗口，在魚類識別窗口中有選擇圖片、預測、實際類別、預測類別以及退出這幾個功能。當從數據庫中隨意選擇一個圖片進行預測，如圖4(a)所示，系統給出的實際類別是金錢魚。通過點擊預測功能按鈕，圖4(b)給出預測類別為金錢魚，與圖(a)給出的實際類別相同。本文經過多次實驗測試，圖(a)中的實際類別和圖(b)中的預測類別總是一致的，預測準確率是很高的，PyQt5 可視化界面中都能準確呈現出來識別種類，GUI 可視化界面能夠直觀地反映識別的準確度。

2.5 DSOD 算法目標檢測分類結果

本文用于實驗檢測的視頻來源于Labeled fishesin the wild[18]。目標檢測的訓練配置參數如下，初始學 習 率 0.01，momentum=0.9，weight_decay=5e-4，學習率采用自適應的學習率下降策略，當學習率停滯不降一定次數之后，降低學習率。目標檢測結果如圖5所示，通過圖(a)可以發現，該檢測框架對于比較小的物體也能夠檢測出來，圖中有一些小的目標，由于水下的惡劣環境的原因，并沒有完全檢測出來，在水下基礎設施較好的情況下，可以達到較好的檢測效果，視頻中出現的魚類都能準確地標注出來，檢測效果很明顯，而且DSOD 繼承了 SSD 的檢測速度快的優點，對于遺漏小目標的缺點得到提升。

圖3 準確率與損失變化

圖4 PyQt5 可視化界面

圖5 水下實時跟蹤檢測

DSOD 方法是一種類似于SSD 的多尺度proposalfree 檢測框架，引入了密集網絡(Densents)的思想，即將某些層的輸入進行變換并與密集網絡結合，DSOD 的參數數量大大減少。DSOD 不需要預訓練模型的檢測算法，訓練檢測網絡從零開始訓練，能達到最先進的精度，快速的處理速度，與從大數據訓練而來的復雜模型相比，更好的模型結構可以實現相似或更好的性能。

3 結論

本文從深度學習的角度出發，利用卷積神經網絡在計算機視覺中的優勢，提出了一種基于PyTorch深度學習框架的魚類圖像識別算法，以ResNet50 為網絡模型，采用Adam 優化算法對模型參數進行更新。在 PyQt5 可視化界面中，實驗結果預測值和實際值正確率很高。該模型能夠抑制過擬合，收斂速度較快，訓練時間較短，殘差網絡解決了深度網絡訓練艱難的問題，提高了性能。提出了一種基于深度監督的DSOD 框架，該框架可以對目標檢測器進行從無到有的學習。該模型檢測速率快，對于目標檢測遺漏較少。該算法在水產養殖、保護漁業資源方面都有廣闊的應用前景。