Ves- YOLOv4:復(fù)雜海域下船只目標(biāo)檢測技術(shù)

郭富海，穆曉斌，張 申，王鴻顯，高 歌

（1.中船航海科技有限責(zé)任公司，北京；2.海裝駐北京地區(qū)第四代表室，北京；3.中國船舶集團(tuán)系統(tǒng)工程研究院，北京）

1 目標(biāo)檢測技術(shù)

目標(biāo)檢測技術(shù)在計算機(jī)視覺領(lǐng)域中扮演著基石的角色，其主要任務(wù)是識別圖像中物體的類別和位置。在將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于船只目標(biāo)檢測之前，傳統(tǒng)的目標(biāo)檢測算法主要包括光流法、幀差法和背景差法[1]等。但存在一些問題，例如：使用人工設(shè)計的滑動窗口會導(dǎo)致檢測效果不佳；每個步驟需要單獨(dú)優(yōu)化設(shè)計，難以獲得全局最優(yōu)解，從而導(dǎo)致選擇策略的時間復(fù)雜度高；手工設(shè)計的特征對于目標(biāo)多樣性的變化不具備穩(wěn)健性[1]。

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，實現(xiàn)海上智能交通成為可能，目標(biāo)檢測技術(shù)可應(yīng)用于船只目標(biāo)檢測，從而提高在復(fù)雜海域中船只目標(biāo)檢測的能力。大致可分成兩類：單階段目標(biāo)檢測算法，如：RetinaNet、SSD、YOLO 等；雙階段目標(biāo)檢測算法，如：R-CNN[2]、SPPnet[3]、R-FCN[4]等。然而，海況復(fù)雜、光照不均勻、大霧等因素會導(dǎo)致目標(biāo)模糊，而船只密集和類型復(fù)雜以及小尺寸船只目標(biāo)會降低檢測的成功率，使得在海域中實現(xiàn)船只目標(biāo)檢測具有較高的復(fù)雜性。因此，在通用目標(biāo)檢測算法的基礎(chǔ)上，需要對船只目標(biāo)識別算法進(jìn)行改進(jìn)，以提高檢測效果。

2 YOLO 概述

YOLO 算法主要原理是通過在圖片的網(wǎng)格中找出目標(biāo)，預(yù)測特征圖中框的坐標(biāo)、目標(biāo)得分和分類得分，與預(yù)測框進(jìn)行計算得出最終結(jié)果。YOLOv4 針對YOLO 以往的網(wǎng)絡(luò)架構(gòu)進(jìn)行了很多優(yōu)化，骨干網(wǎng)絡(luò)為CSPDarknet53，頸部為SPP 添加到PANet 模塊上，頭部基于YOLOv3 進(jìn)行了改進(jìn)。Darknet53 將基本層的特征圖分為兩部分，經(jīng)過不同路徑處理后再結(jié)合。SSP通過卷積層獲得不同尺度的特征圖，將它們拼接成固定長度。將SSP 塊和CSPDarknet53 結(jié)合，可以顯著增加感受野，提取上下文特性，并且沒有降低網(wǎng)絡(luò)操作速度。在FPN backone 過程中，為了解決細(xì)節(jié)丟失的問題，將大尺度和小尺度的特征更好地結(jié)合在一起。采用新的損失函數(shù)CIoU-loss，收斂速度比IoU 和GIoU 快，更好地描述矩形框的回歸幾何度量。

3 Ves-YOLOv4

通過對YOLOv4 網(wǎng)絡(luò)的輸入端、骨干網(wǎng)絡(luò)結(jié)構(gòu)、頸部網(wǎng)絡(luò)結(jié)構(gòu)和輸出端的改進(jìn)，我們構(gòu)建了一種名為Ves-YOLOv4 的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，用于船只目標(biāo)識別檢測。其采用單階段檢測識別算法架構(gòu)，包括特征提取、特征融合和檢測分類。架構(gòu)如圖1 所示。

圖1 算法架構(gòu)

3.1 數(shù)據(jù)集

對采集的圖像樣本進(jìn)行預(yù)處理及標(biāo)注，構(gòu)建船只目標(biāo)檢測數(shù)據(jù)集。使用Label Image 進(jìn)行五種海面目標(biāo)的標(biāo)注：散貨船、集裝箱船、漁船、游輪和島嶼。為了減少對Batch Size 的依賴并豐富背景信息，使用Mosaic 數(shù)據(jù)增強(qiáng)方法制作訓(xùn)練數(shù)據(jù)集，將4 張圖片隨機(jī)縮放、裁剪和排布進(jìn)行拼接，得到新的4 張圖像，并對其進(jìn)行隨機(jī)遮擋，增強(qiáng)了檢測數(shù)據(jù)集的多樣性。

3.2 網(wǎng)絡(luò)架構(gòu)

該網(wǎng)絡(luò)結(jié)構(gòu)包括Backone、Neck 和Head 三個主要部分。Backone 是引入特征注意模塊FA 的特征提取網(wǎng)絡(luò)CSPDarknet53，Neck 由SPP 和優(yōu)化后的PANet特征融合結(jié)構(gòu)構(gòu)成，Head 為檢測結(jié)構(gòu)。特征提取網(wǎng)絡(luò)使用尺寸為640*640 的RGB 圖像作為輸入，經(jīng)過卷積、Batch Normalization 和Mish 激活函數(shù)后，再通過尺寸 分 別 為(320，320，64)，(160，160，128)，(80，80，256)，(40，40，512)， (20，20，1024)的殘差塊結(jié)構(gòu)進(jìn)行特征提取。最后一個殘差塊的輸出經(jīng)過SPP 結(jié)構(gòu)，拼接后將經(jīng)過CSP 與CBL 結(jié)構(gòu)的結(jié)果與主干網(wǎng)絡(luò)倒數(shù)第二和倒數(shù)第三個殘差塊的輸出結(jié)果一起作為PANet 結(jié)構(gòu)的輸入。PANet 結(jié)構(gòu)進(jìn)行一系列的上采樣、下采樣和卷積操作，并將三個輸入進(jìn)行特征融合處理，然后輸入Head；所述Head 將輸出解碼前船只的目標(biāo)坐標(biāo)信息。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 Ves-YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)

骨干網(wǎng)絡(luò)為CSPDarknet-53， 在CSPDarknet-53中將特征注意模塊FA 嵌入調(diào)整后的殘差結(jié)構(gòu)中，對特征通道關(guān)系中的特征權(quán)重進(jìn)行重新分配，在全局平均池化前加入1×1 和3×3的卷積，實現(xiàn)跨通道信息集成，增強(qiáng)船只圖像的空間連通能力；然后，通過全局平均池化，將特征圖的全局空間信息轉(zhuǎn)化為一維向量求和，得到特征圖的全局信息。全局平均池化公式如下:

式中：Gc 為特征圖全局平均池化后的向量和；H 和W為輸入特征圖的寬度和高度；Uc(i,j)為第c 通道Uc 在(i,j)處的值。

SPP 最大值池化應(yīng)用于大小為5×5、9×9、13×13 的卷積核，空間維度被保留。將來自不同內(nèi)核大小的feature map 連接在一起作為輸出。比單純的使用k×k 最大池化的方式，更有效地增加主干特征的接收范圍，顯著地分離了最重要的上下文特征。

CBL 作為PANet 特征融合結(jié)構(gòu)中的基本組件，其由普通卷積層Conv+歸一化層Bn+激活函數(shù)層SiLU 三者組成。

SiLu 函數(shù)是Sigmoid 函數(shù)的一種變體，其函數(shù)形式為：

Concat 將兩個張量拼接，會擴(kuò)充兩個張量的維度。

CSP 結(jié)構(gòu)用普通的CBL 替換resunit，應(yīng)用于Neck 中。Backbone 為較深的網(wǎng)絡(luò)，增加殘差結(jié)構(gòu)可以增強(qiáng)層與層之間反向傳播的梯度值，避免加深帶來的梯度消失，從而提取到更細(xì)粒度的特征而不必?fù)?dān)心網(wǎng)絡(luò)退化。

對Mosaic 數(shù)據(jù)增強(qiáng)后的圖像自適應(yīng)添加黑邊，進(jìn)行標(biāo)準(zhǔn)化處理，縮放到640*640 大小，轉(zhuǎn)換為RGB 圖片；輸入到訓(xùn)練好的網(wǎng)絡(luò)中，得到Head 的輸出；對于解碼，首先將預(yù)測結(jié)果根據(jù)對應(yīng)anchor 的原始尺寸進(jìn)行比例放縮，然后根據(jù)網(wǎng)格劃分與anchor 中心的偏移量，最后過濾掉多余的預(yù)測；解碼后，進(jìn)行非極大值抑制，直接選擇置信度最高的一個目標(biāo)作為輸出，提升檢測速度。

為了減少誤檢，對輸出區(qū)域進(jìn)行閾值過濾和置信度閾值過濾，通過判斷目標(biāo)中心坐標(biāo)與圖片邊界的距離和圖片寬高的比值進(jìn)行閾值判定。最后，對輸出進(jìn)行后處理，利用置信度閾值、邊界框和類別概率圖判斷最優(yōu)的檢測結(jié)果。

4 結(jié)果分析

建立的船只目標(biāo)檢測數(shù)據(jù)集，共計11 408 張圖片，包含五種目標(biāo)類型，隨機(jī)選取比例為4:1 的訓(xùn)練集與測試集。把本文的架構(gòu)(Ves-YOLOv4)與幾個代表性的架構(gòu)在相同的硬件條件下進(jìn)行評估。如表1 所示。

表1 與其他目標(biāo)檢測方法的精度和速度比較

實驗結(jié)果表明，本文所應(yīng)用的復(fù)雜海域船只目標(biāo)檢測技術(shù)，可對海域船只目標(biāo)進(jìn)行正確的判斷，保持了較高的識別精度和識別速度。在RTX3060 上，模型的mAP 可達(dá)到85.2%，F(xiàn)PS 可達(dá)23.1，可以達(dá)到實時檢測的基本要求。如圖3 所示，本文架構(gòu)可以識別船只的目標(biāo)信息。

圖3 識別效果

5 結(jié)論

本文提出了一種基于YOLOv4 優(yōu)化的聚合網(wǎng)絡(luò)結(jié)構(gòu)Ves-YOLOv4：

（1） 針對訓(xùn)練數(shù)據(jù)不足，在輸入端進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)圖片縮放優(yōu)化，提高架構(gòu)的泛化能力，避免了過擬合的發(fā)生。

（2） 基于注意力機(jī)制構(gòu)建特征注意模塊，嵌入到CSPDarknet-53 中進(jìn)行特征重新校準(zhǔn)，提高了模型在復(fù)雜環(huán)境下的特征提取能力。

（3） 針對特征融合過程中底層特征語義信息不足、網(wǎng)絡(luò)過深導(dǎo)致特征消失的問題，優(yōu)化PANet 特征融合結(jié)構(gòu)，融合多層次特征信息，以增強(qiáng)網(wǎng)絡(luò)層的接受域和特征提取網(wǎng)絡(luò)的關(guān)聯(lián)度，提高在復(fù)雜海域中小目標(biāo)檢測能力和多目標(biāo)分類效果。