基于改進的Mask R-CNN 的魚類識別算法研究*

閆黨康

（北方工業大學信息學院 北京 100144）

1 引言

魚類是水體資源及水下生態系統的重要組成部分，合理開發和利用魚類資源對于水體生態保護和漁業資源的可持續利用進而實現社會經濟的可持續發展發展具有重要意義。而深度學習是近年來興起的主流的人工智能技術之一，在圖像識別中的優勢尤其突出，因此，基于深度學習技術開展水下魚類識別的研究具有重要的學術價值和社會經濟價值。

傳統的魚類識別方法大多基于特定環境下的魚類采用人工設計的特征使用圖像識別方法進行分類，具有一定的局限性。由于人工設計的特征具有強烈的主觀性，識別效果的優劣取決于人工設計的特征是否合理，因此，對于特定的數據集和識別任務，人工設計的低級特征能在一定程度下獲得良好的性能，但隨著數據集的增長，基于人工設計特征的傳統魚類識別方法的泛化能力迅速飽和，不僅復雜度高、魯棒性差，且產生大量的候選冗余區域［1］。

2012 年，Krizhevsky 等［2］提出了一種基于深度卷積神經網絡的AlexNet 算法，該方法使用仿生視覺細胞的局部感受野等手段解決了圖像處理的難題，并在ImageNet 競賽中獲勝。2014 年，Girshick等［3］提出了基于區域的卷積神經網絡，它結合選擇性搜索（Selective Search）、卷積神經網絡等方法進行候選區域生成、特征提取、位置修正，提高了目標檢測效果，改變了目標檢測領域的研究思路。受此啟發，特征提取網絡、特征表示器和檢測框架相繼出現。目前的深度學習目標檢測算法可以劃分為兩類［4］：1）一步（one-stage）目標檢測算法，這類檢測算法不需要生成候選區域（region proposal）階段，即僅通過一步均勻在特征圖（feature map）上進行密集抽樣，產生大量的先驗框（prior box），然后進行分類和回歸，因此在檢測速度上相對較快，代表算法有YOLO［5~8］、SSD［9］等；其中YOLO 算法是將原始輸入圖片進行分割成網格進而得到預測結果，SSD算法利用了多尺度的特征圖相融合的方法消除冗余得到預測結果。2）兩步（two-stage 目標檢測算法，這類檢測算法將檢測問題劃分為兩步，首先，產生包含目標位置信息的候選區域（region proposals），然后，對候選區域進行分類和位置精修。因此在檢測精度上優勢顯著，代表算法有更快的區域卷積神經網絡［10］，該算法將特征提取（feature extraction），區域（proposal）提取，邊界框回歸（bounding box regression），分類（classification）整合在一個卷積神經網絡中，使得檢測性能大大提高。

深度學習目標檢測算法在諸多領域中廣泛應用，例如交通中的“車輛檢測”［11］，人臉識別中的“多姿態識別”［12］，行人檢測中的“細粒度識別”［13］等任務均獲得進展。不同于以上類型的識別目標，魚類圖像為水下拍攝所得，受光照、水質等因素的影響，圖像質量較低，難以針對魚類目標進行精確地候選框生成，并將對目標的分類定位任務造成一定的影響。因此，本文采用基于深度學習的目標檢測算法，提出將Mask R-CNN 結構應用到魚類識別中并加以改進，主要工作包含以下幾個部分：

1）數據集的獲取與打標階段，選擇Fish4knowledge 魚類數據庫并利用VIA 圖像打標工具進行標注，采用翻轉、剪切等幾何變換方式對數據集進行擴充，實現數據增強。

2）候選區域生成階段，采用改進的Soft NMS替代非極大值抑制（Non Maximum Suppression，NMS）進行感興趣區域（Region of Interest，RoI）的后處理，以降低置信度進而提升準確率。

3）分類回歸階段，在頭部網絡中添加級聯結構，針對邊界框（bounding box）遞增地調用多個IOU 閾值以區分真實邊框（ground-truth bounding box）和預測框（predicted bounding box）。

2 網絡框架

2.1 Mask R-CNN算法

本文采用Mask R-CNN 算法實現對魚類進行識別，網絡結構如圖1 所示。首先，使用深度殘差網絡（Deep Residual Network，ResNet）［14］和特征金字塔（Feature Pyramid Network，FPN）［15］進行特征提取以生成特征圖（feature map）和感興趣區域；其次，輸入到區域生成網絡（Region Proposal Network，RPN）中進行二值分類（前景或背景）和邊界框回歸，過濾掉一部分候選的感興趣區域；然后，對感興趣區域進行雙線性插值操作（RoIAlign）操作解決特征圖和原始圖像上感興趣區域的不對準問題；最后，將感興趣區域全連接網絡中同時進行分類和回歸。

圖1 Mask R-CNN結構

在Mask R-CNN算法頭部網絡的訓練環節，使用RoIAlign 替代全連接層操作，可以實現輸入與輸出像素的一一對應，即對每一個類輸出一張特征圖，并采用平均二進制交叉熵損失函數替代全連接層中的Softmax 損失函數進行訓練。因此，Mask R-CNN 算法對感興趣區域的多任務損失函數可以定義為［16］

2.2 骨干網絡

骨干網絡（backbone network）是用于提取圖像特征圖的一系列卷積層，如VGG、GoogLeNet、ResNet101 等［4］。深層的網絡有利于進行復雜的特征提取，同時會出現梯度爆炸和模型退化等問題。為了解決這一問題，采用ResNet 進行特征提取。殘差網絡單元如圖2所示。

圖2 殘差網絡單元

殘差單元可以表示為

其中Xl和Xl+1分別表示的是第L個殘差單元的輸入和輸出，F是殘差函數，表示學習到的殘差，而h(xl)=xl表示恒等映射，f是ReLU激活函數。

在ResNet中有兩種實現策略：

1）采用零填充（zero-padding）增加維度，采用步距為2 的池化（pooling）進行下采樣以減少參數量；

2）采用新的映射（projection shortcut），短路連接使用恒等映射替代1×1 的卷積操作，避免了參數量和計算量的增加。

2.3 遷移學習

遷移學習指的是將已訓練好的模型參數遷移到新的模型中來幫助模型訓練［17~18］。遷移學習不僅能夠快速地訓練出一個相對理想的實驗模型，也可以在數據集量不充足時學習到更豐富的特征信息。遷移學習主要作用在以下三個方面：初始性能高，學習速率塊；模型收斂強。

為了更好地學習到魚類圖像的特征信息，提升泛化性能，本文在訓練過程中載入MS-COCO 數據集的預訓練權重訓練本文實驗模型中的所有參數。

2.4 非極大值抑制及其改進

非極大值抑制算法［19］針對候選框進行如下處理：刪除大于設定閾值的重疊候選框，保留無重疊的候選框和低于閾值的重疊候選框。非極大值抑制算法對不同閾值的候選框處理由公式表示如下：

考慮到非極大值抑制算法直接刪除大于設定閾值的重疊框導致誤檢漏檢的問題，本文采用改進的Soft NMS進行替代，即在算法執行過程中摒棄直接刪除感興趣區域大于設定閾值的候選框方式，選用降低置信度得分的方式過濾候選框。由于是在非極大值抑制算法的基礎上進行改進，因此不需要重新訓練原有模型即可集成到原識別任務中，同時改進的Soft NMS 在閾值重置函數部分采用與非極大值抑制計算方式相同的二值化函數。

此外，改進的非極大值抑制算法的計算方式依據權重變量的值分為線性加權和高斯加權，其計算公式如下所示：

1）線性加權：

2）高斯加權：

2.5 級聯結構

為了判斷候選框的正負樣本，需要設定感興趣區域閾值，感興趣區域閾值的選擇是影響模型的識別性能的重要因素：當感興趣區域閾值較高時，正樣本數量減少，訓練階段缺失足夠的正樣本，訓練過程出現過擬合；當感興趣區域閾值較低時，檢測器難以鑒別負樣本和背景圖，導致誤檢情況的出現。同時訓練階段和預測識別的感興趣區域閾值的不同也將導致識別目標不匹配情況的出現。

因此考慮到在頭部網絡中加入級聯結構，即加入一個多階段檢測子網絡對區域候選網絡產生的特征區域進行逐步的微調。由于采用了多閾值檢測子網絡的級聯結構，級聯順序將按照閾值由小到大排列，當感興趣區域閾值為0.5時，正樣本數量足夠，保證模型不會過擬合，而當修正后的感興趣區域閾值由更高閾值的回歸器進行修正時，則能夠大大提高識別目標位置的準確性。通過添加級聯機構解決了傳統單個網絡設定閾值時出現正樣本數量不夠以及候選區域修正效果不佳之間的矛盾。

3 實驗方法與結果

3.1 實驗平臺

本文的實驗配置為運行環境Anaconda3，編程語言Python3.6，深度學習框架TensorFlow1.4.0，keras2.1.6，CPU 為AMD R7，GPU 為GTX1650，CUDA9.0，模型參數初始化采用MS COCO 預訓練權重。

3.2 數據集的選取與制作

基于深度學習的魚類識別需要大量的數據集進行訓練學習識別目標的特征信息，因此，本文從典型的Fish4knowledge 數據庫中進行選取制作實驗數據集，該數據庫從實時視頻數據集中獲取到魚類圖像數據，共得到27370 張魚類圖像，劃分為23種魚類，數據顯示不同魚類之間的數據量不平衡，其中最常見的物種約是最不常見物種的1000倍。

數據集制作過程采用VIA 圖像打標工具進行標注以制作成標準的MS-COCO 數據集。首先，定義實驗數據集中的魚類相應的屬性值；其次，針對圖像中的魚使用多邊形工具進行打標；最后，將所有標注好的魚類信息導出成json 文件以備實驗模型調用。

3.3 預訓練

為了減少訓練時間，提高實驗模型精度，本文采用MS-COCO 數據集預訓練權重進行遷移學習，MS-COCO 數據集的預訓練權重中包含80 類對象特征信息，有助于加速訓練實驗模型，學習識別目標特征信息。在預訓練階段，骨干網絡選擇使用ResNet101 深度殘差神經網絡進行特征提取，訓練過程中設定為30 個epoch，每個epoch 設置為100step。

3.4 實驗評價指標

目標識別算法性能的通用評價指標可分為：交叉點聯合（Intersection Over Union，IOU）、平均精度（average precision）、平均精度均值（mAP）、準確率（precision）、召回率（recall）［14］。其中交叉點聯合的度量值用來評估識別目標的定位效果，表示為預測框（predicted bounding box）和地面真實框（ground truth bounding box）中包含的重疊區域與聯合區域的比值：

平均精度是衡量類別精度的指標，平均精度均值是所有類別的平均精度的平均值，準確率定義為正樣本（TP）與預測負樣本總數的比率，召回率定義為預測出所有正樣本的概率。平均精度（AP）、準確率（precision）、召回率（recall）的計算公式如下：

其中，TP（True Positive）表示預測為正的正樣本，FP（False Positive）表示預測為正的負樣本，FN（False Negative）表示預測為負的正樣本，TN（True Negative）表示預測為負的負樣本。

3.5 實驗結果與分析

3.5.1 實驗數據的可視化效果

本文實驗數據的可視化效果如圖3 所示。從實驗數據集中隨機選取一張未經過處理的魚類圖像與經過改進的Mask R-CNN 算法處理后的識別效果相對比，可以發現圖中的單位魚類被清晰地識別并作為前景目標像素級地分割出來。

圖3 可視化效果

3.5.2 數據增強對比實驗

本文采用的Fish4knowledge 數據集呈現長尾數據特征，不同魚類的數據量呈現較大差異（約1000 倍），為了學習到數據體量較少的魚類更加豐富的特征信息，提高實驗模型的識別精度和泛化能力，本文采用翻轉、旋轉、裁剪、顏色亮度變化等數據增強的方法對訓練過程中的魚類數據進行合理的擴充，如圖4所示。

圖4 圖像數據增強示例

根據表1 的結果可知，當訓練集經過數據增強的方式從1771 張魚類圖像增加到5313 張圖像后，魚類識別的精度提高了10.1%。因此，對長尾數據集進行合理的數據增強處理，可以幫助實驗模型充分地學習到識別目標豐富的特征信息，幫助實驗模型提高識別性能，同時以下對比實驗均在數據增強的基礎上進行。

表1 數據增強實驗對比

3.5.3 采用不同策略訓練網絡的對比實驗

為了驗證本文所提出方法的有效性，分別采用不同策略對Mask R-CNN 進行訓練預測，實驗結果如表2所示。原始Mask R-CNN算法中使用非極大值抑制進行后處理來篩選感興趣區域；通過分析Mask R-CNN 的算法流程和非極大值抑制算法針對感興趣區域的處理方法，本文采用改進的Soft NMS對重疊候選框下的魚類目標進行識別，實驗結果表明：針對重疊候選框選用改進的Soft NMS進行后處理可使平均精度均值提升1.9%；同時，考慮到感興趣區域閾值的選取對Mask R-CNN 算法的分類效果的因素影響，在頭部網絡中添加級聯結構，遞增的調用上一階段學習的感興趣區域閾值，實驗結果表明：采用級聯結構解決感興趣區域閾值問題，可以使平均檢測精度提升3.6%，充分地提高了魚類識別精度。實驗對比結果如表2所示。

表2 對比實驗模型結果

4 結語

本文以Mask R-CNN 為基礎的目標識別框架，使用深度殘差神經網絡和特征金字塔進行圖像的特征提取，采用區域候選網絡生成候選區域，采用Soft NMS 對候選區域進行后處理減少誤檢率，并在頭部網絡中添加級聯結構遞增的調用感興趣區域閾值來保證目標識別的準確率，大幅提高了魚類識別的平均精度和平均精度均值。但本文對于魚類識別的檢測速度低于單步檢測器的檢測速度，因此，接下來的研究工作將集中在提升模型檢測速度。同時伴隨著深度學習研究成果的不斷融入，優秀的特征提取網絡和檢測框架相繼出現，未來將對其進行更深一步的探討。