基于YOLOv3-tiny的船舶可見光圖像細粒度檢測*

梁月翔 馮 輝 徐海祥

(高性能船舶技術教育部重點實驗室1) 武漢 430074) (武漢理工大學交通學院2) 武漢 430063)

0 引 言

智能感知作為智能船舶的關鍵組成部分，為船舶的自主航行、避障和搜救提供重要的感知信息.由船載攝像頭所采集的可見光圖像進行目標識別與檢測，可以檢測出水面船舶的類別及位置等信息，從而為船舶的自主航行提供決策.

水面目標檢測領域早期采用傳統的圖像處理方法來進行目標識別與檢測.Jangal等[1]將小波分析應用于提高高頻表面波雷達海洋遙感中的遙感參數和水面目標檢測.劉宗昂等[2]利用目標梯度變化以及目標邊緣灰度變化均方值，驗證了對水面目標邊緣的有效檢測.Paes等[3]利用小波和決策樹相結合的方法從SAR圖像中檢測艦船和其他海上監視目標.曾文靜[4]基于對水面目標可見光圖像的處理，得出水面有效信息(水線面等)和水面目標及障礙物的位置信息.張伊輝[5]對水面無人艇視覺系統采集到的視頻進行預處理、目標圖像分割、分割出的目標進行特征分析與提取、目標識別.傳統的方法適用于特定的識別任務，泛化能力較差.近年來隨著深度卷積神經網絡的興起，水面目標檢測領域逐漸開始應用這種具有兼顧靈活性和泛化性的方法.李暢[6]將R-CNN(regions with CNN features)應用到水面目標的檢測上，實現了檢測軍艦、郵輪、帆船和浮標等.王貴槐等[7]采集內河船舶圖片數據庫建立船只單次多重檢測(single shot multibox detector,SSD)深度學習框架,通過使用預訓練模型參數調優并微調分類框架實現較高的內河船舶檢測準確度.Redmond等[8]提出的YOLO(You only look once)算法，到目前已歷經三個版本的迭代.YOLO算法的特點是能保證圖像目標識別精度的同時，加快檢測效率.YOLOv3算法在目標檢測與識別方面取得的成果斐然，但是網絡結構的復雜化也導致算法計算時間復雜度較高[9].本文采用輕量化的骨干網絡的YOLOv3-tiny算法進行船舶可見光圖像的目標識別與檢測，并在此基礎上對算法進行改進以提高算法的識別精度和實時性，可以輔助船舶駕駛人員對水面目標進行識別，提高船舶航行的安全性.

1 YOLO算法

1.1 概述

YOLO目標檢測算法是單階段(one-stage)神經網絡模型的經典算法，雖然在精度上略遜色于兩階段(two-stage)模型，但是其快速性是YOLO最顯著的特點.近年來YOLO在吸取SSD[10]以及Fast RCNN[11-12]等算法的基礎上，經過三個版本的更新換代，最新的YOLOv3在精確度和實時性上有顯著提高.

1.2 基本思想

不同于兩階段模型采用區域建議與分類器結合的思想，YOLO算法運用回歸的方法一次性得出目標物體的邊界框、置信度和類別概率.YOLO算法的檢測流程如圖1所示.首先將輸入圖像劃分為S×S的網格，然后在每個單元網格中定義B個邊界框，每個邊界框有一個置信度評分.所謂置信度評分是指每個邊界框中包含物體的概率，為

(1)

式中：confidence為置信度評分；Pr(Object)為預測目標概率；pred為預測邊界框面積；truth為實際邊界框面積；IOU為它們的交集與并集的比值.

在最后對檢測結果預測時，每一個種類的置信度分數由以上條件類別概率和目標置信度的乘積得到，為

classConfidence=Pr(classi|Object)×confidence

(2)

經過圖1運算將得到一系列高維向量，設置一個閾值去除可能性比較低的目標窗口，最后利用非最大值抑制(non-maximum suppression)算法進行迭代-遍歷-去除冗余窗口的過程，保留置信度最高的分數的預測窗口輸出.

圖1 YOLO算法流程圖

1.3 邊界框坐標預測

YOLO算法的邊界框坐標預測使用錨框(anchor)來預測邊界框，見圖2，YOLOv3為每個目標邊界框預測四個坐標：(tx，ty，tw，th).其中：tx，ty為預測的坐標偏移值；tw，th為邊界框的寬和高.根據式(3)～(6)計算得到預測框的中心點坐標值(bx，by，bw，bh)；bx，by為歸一化后的相對于網格單元的值；bw，bh為歸一化后相對于候選區域框的值.其中，cx，cy為特征圖中網格的坐標偏移量；σ(·)函數為邏輯函數，將邊界框坐標歸一化到0～1之間；Pw，Ph為預設的候選區域框映射到特征圖中的寬和高.

bx=σ(tx)+cx

(3)

by=σ(ty)+cy

(4)

bw=Pwetw

(5)

bh=Pheth

(6)

1.4 預測精度評估方法

預測精度的評估指標計算為

(7)

(8)

(9)

(10)

式中：P為查準率；R為召回率；F1為F度量值；TP，FP和FN分別為真正例、假正例，以及假反例數量；P(k)為閾值k處的精度;ΔR(k)為召回量的變化.

圖2 邊界框預測示意圖

2 YOLOv3-tiny的網絡結構

YOLOv3-tiny的計算耗時主要在網絡的卷積部分，骨干網絡見圖3，可以觀察到這個網絡含有相對較多的卷積層.在卷積層假如輸入的圖片的維度是W×H×C，三個值分別為輸入圖片的寬度、高度，以及通道數.卷積核的維度為C×K×K.C為卷積核,即濾波器的通道數；K為卷積核的寬高.

YOLOv3-tiny采用的骨干網絡類似于YOLOv3中darknet-19的網絡結構,主干網絡采用一個7層的卷積層和池化層網絡來提取特征，嫁接網絡采用的是13×13、26×26的分辨率網絡，這兩個分辨率網絡分別表示小尺度YOLO層和大尺度YOLO層.小尺度的YOLO層輸入13×13的特征圖，一共1 024個通道，輸出13×13的特征圖，75個通道，在此基礎上進行分類和回歸.大尺度YOLO層的是將14層的13×13、256通道的特征圖進行卷積操作，生成13×13、128通道的特征圖，然后進行上采樣生成26×26、128通道的特征圖，同時與第9層的26×26、256通道的特征圖合并最終輸出26×26、75通道的特征圖，在此基礎上進行分類和位置回歸.

圖3 YOLOv3-tiny網絡結構

3 自適應錨框聚類

目標檢測任務的難點在于圖像或視頻中目標的類別、數量、位置和尺度的不確定性，通常的算法會采用特征金字塔的多尺度預測和遍歷滑動窗口結合的方式逐尺度逐位置的進行判別，實際訓練過程中不僅耗時，而且有可能會出現梯度不穩定的現象.

采用錨框(anchor)技術預測默認給定方框的偏移量.首先預設一組不同尺度不同位置的固定參考框，囊括圖像中全部的位置和尺度，然后每個參考框負責檢測與其交并比(IOU)大于預設閾值的目標.錨框技術將目標檢測的問題進行了轉化：即算法將多尺度遍歷滑窗尋找判別目標的過程轉變為判別給定的目標參考框中是否有目標以及目標框與參考的偏差值，從而不再需要算法采用多尺度遍歷尋找目標，加快了檢測速度.

錨框的尺寸要與檢測的目標尺寸相近才能保證預測函數可以看作一個線性函數，從而保證檢測結果的準確性.采用k-means算法來確定檢測算法所需要錨框大小，步驟見圖4.最終根據已有的船舶數據集計算所得的錨框尺度為(98×90)，(224×140)，(355×145)，(206×306)，(355×255)，(368×366)，見圖5.

圖4 k-means算法流程

圖5 k-means錨框聚類結果

4 數據增強

訓練深度學習卷積神經網絡的優化目標在于將網絡的損失盡可能降低，即將網絡中的參數以正確的方式調整，最終能夠將輸入映射到輸出的過程.現在最先進的目標檢測神經網絡具有很高的復雜度，擁有數百萬的參數，因此在訓練過程中需要提供足夠比例的數據.

深度學習卷積神經網絡在訓練的時候擁有更多的訓練數據往往可以取得更為理想的檢測效果，但在訓練過程中數據量通常是有限的，需要通過數據增強技術來增加訓練集的樣本豐富性.數據增強的原理是通過隨機改變訓練樣本來使檢測模型的敏感性降低，最終使模型的泛化能力得到強化，即阻止神經網絡學習不相關的特征，從根本上提升整體性能.

檢測模型的敏感度主要分為兩種，①模型對于所檢測目標的位置敏感性；②模型對于所檢測目標的色彩敏感性.通過翻轉、旋轉、平移、縮放、裁剪等數據增強技術可以降低模型對于所檢測目標的位置敏感性，而通過改變圖像飽和度、曝光率、色調等色彩屬性可以降低模型對于所檢測目標的色彩敏感性.圖6為數據增強實例.

圖6 數據增強實例

本文運用數據增強的方法，利用隨機生成的樣本來擴充數據集，可以提高目標檢測模型的魯棒性，增強模型的泛化能力.

5 仿真實驗

5.1 船舶細粒度圖像數據集

水面船舶目標檢測需要有專門的船舶圖像數據集來進行訓練和測試，目前沒有針對船舶的大型公開數據集.參照國內的船舶分類標準對網絡上收集的船舶圖片進行分類，建立了一個擁有9萬張圖片84個類別的船舶大型圖像數據庫.同時團隊成員對船舶的邊界框以及語義部件進行人工標注.圖7為船舶數據集的展示.

圖7 船舶數據集

圖7展示的圖片都具備整船顯現、背景單一、分辨率較好的特點，為了增強目標檢測算法的魯棒性，在搜集圖片的時候也挑選了具有不完整船舶、背景復雜、分辨率低等特性的船舶圖片，這不僅增加了人工標注的難度，也增加了算法誤檢、漏檢的概率.

實驗中用于訓練和測試的船舶圖像按照民用船舶和軍用船舶各取10類共計20類船舶作為目標檢測細粒度圖像數據集，具體分類見圖8.

圖8 船舶數據集具體分類

5.2 實驗參數設置及實驗配置

采用YOLOv3-tiny網絡結構，其參數設置為batch=64，即每64個樣本更新一次參數；設置subdivision(子batch)=8，將每個batch設置為8個子batch；設置動量值為0.9；設置權重衰減正則項為0.005,目的是防止過擬合；設置曝光量為1.5，圖像的旋轉范圍為[0°,10°]，飽和度為1.5，色調設置為0.1.

在設置預選框之前，最后一層的卷積層的卷積核個數為固定的，遵循以下基本公式：

Filters=(class+5)×3

(11)

因為本文的預測類別為20類，所以最后一層濾波器的個數為75.使用的訓練集數量為13 568，測試集數量為3 418.

5.3 仿真實驗結果及分析

對YOLOv3-tiny模型使用數據增強和錨框聚類作兩大方面改進，結果見表1.

表1 不同算法的測試結果

在僅使用自適應錨框改進的YOLOv3-tiny算法中，模型的查準率和召回率均有1%的提高，識別幀率也由小幅提高，最終結果mAP值有1.85%的提升.而在僅使用數據增強的YOLOv3-tiny的算法中，模型的查準率提高了3%，IOU(交并比)提升了2.32%，其他評價指標并未發生變化，總體的mAP值提升了5.88%，提升較僅使用自適應錨框的模型更為顯著.最后模型將兩種改進方法集成到原有的YOLOv3-tiny模型中，模型的查準率提升了7%，IOU提升了6.39%，召回率小幅下降，幀率也小幅提升到136幀/s，最終平均精度mAP值提升了9.02%，說明兩種方法改進之后的模型精度提升顯著.

圖9為采用錨框聚類和數據增強改進后的YOLOv3-tiny算法的成功檢測結果.由圖9可知，民用船舶的識別效果總體要好于軍用船舶，這是因為民船功能性強，每一種船舶自身的特點顯著，其中貨船和客船的AP值最高，而軍船由于作戰的快速性以及結構的堅固性的需要，船舶圖像中表示語義的紋理以及形狀信息較民船更為相似，并且由于數據集中軍用船舶的訓練集和測試集數量小于民用船舶，導致檢測效果整體略差于民用船舶，所以會經常出現誤檢漏檢的情況.

圖9 成功檢測案例

綜合以上結果可以得出結論，本文針對YOLOv3-tiny的改進使得模型的整體性能有了顯著提高，在實時性和精確性方面基本滿足了水面船舶可見光圖像的識別要求，可以輔助駕駛人員對水面船舶的識別，船舶駕駛人員可以根據船舶種類做出合理的避讓決策，保證船舶安全航行.

6 結 束 語

本文針對智能船舶目標檢測算法在應用大多數機器學習方法時存在的實時性問題.提出了基于YOLOv3-tiny模型改進的船舶可見光圖像細粒度檢測算法，通過使用輕量化的網絡結構，以及搭建船舶圖像數據庫并進行人工標注，針對水面船舶可見光圖像進行目標檢測，并采取了自適應錨框聚類和數據增強這兩種改進算法，最終優化結果平均精度由51.11%上升到62.85%，實時檢測幀率達到136幀/s，滿足水面船舶實時目標檢測的要求，在精確性和實時性上具備一定優勢.