復雜場景下自適應特征融合的多尺度船舶檢測

羅芳，劉陽，何道森

復雜場景下自適應特征融合的多尺度船舶檢測

羅芳1*，劉陽1，何道森2

（1.武漢理工大學 計算機與人工智能學院，武漢 430070； 2.香港恒生大學 供應鏈及資訊管理學系，香港 999077）（ ? 通信作者電子郵箱luof@whut.edu.cn）

受臺風、大霧、雨雪等復雜天氣以及遮擋、尺度變化等影響，現有船舶檢測方法存在誤檢和漏檢問題。針對上述復雜場景問題，在YOLOX-S模型的基礎上，提出一種自適應特征融合的多尺度船舶檢測方法。首先，在主干特征提取網絡中引入特征增強模塊，抑制復雜背景噪聲對船舶特征提取的干擾；其次，考慮深淺層次特征融合比例問題，設計自適應特征融合模塊，充分利用深淺層次特征，提高模型的多尺度船舶檢測能力；最后，在檢測頭網絡，將檢測頭解耦，并引入自適應的多任務損失函數，平衡分類任務和回歸任務，提高船舶檢測的魯棒性。實驗結果顯示，所提方法在公開船舶檢測數據集SeaShips和McShips上的檢測平均精度均值（mAP）分別達到了97.43%和96.10%，檢測速度達到每秒189幀，滿足實時檢測的要求，驗證了所提方法在復雜場景下仍能對多尺度船舶目標實現高精度檢測。

多尺度船舶檢測；YOLOX；自適應特征融合；特征增強；多任務損失函數

0 引言

隨著深度學習技術的發展，智慧水上交通運用智能化技術管理船舶，將計算機視覺技術應用于監控船舶行駛，可以有效降低航運監管成本，提高重點敏感區域的智能監管能力。目前，基于深度學習的目標檢測方法在智慧港口的建設中獲得了突破性的進展，但由于船舶尺度差異大，成像中小尺寸船舶攜帶的信息較少，導致現有的目標檢測算法對船舶的檢測存在誤檢和漏檢的情況。此外，不同光照條件、天氣、遮擋等復雜場景也影響了船舶的可視化特征，對船舶目標檢測造成干擾，這些因素都對目標檢測算法的實用性和魯棒性提出了更高的要求。

近年來，已有學者對于解決復雜場景下的多尺度船舶檢測問題展開研究。例如，為了增強模型對船舶的特征提取能力，王培玉等［1］引入Canny算子對水岸邊界線建模，抑制水岸邊界線對船舶目標的影響，獲得了較好的船舶檢測結果；Ren等［2］對顏色特征進行分解，實現了更準確的船舶檢測；黃致君等［3］使用ResNet50提取船舶特征，提高了主干網絡的特征提取能力和船舶檢測精度；李佳東等［4］在YOLOv5主干網絡中引入通道注意力機制加強船舶特征感知，優化了網絡對船舶特征的提取能力。在特征融合上，姚婷婷等［5］利用雙階段特征自適應融合策略提高網絡對不同尺度大小船舶的感知力，實現了多尺度船舶高精度檢測；王文亮等［6］基于YOLOv5結合多路徑聚合網絡提高特征融合能力，并結合SimAM（Simple， parameter-free Attention Module for convolutional neural networks）和Transformer增強高階語義信息，提高了模型對海域不同尺寸船舶的檢測能力；Huang等［7］在特征金字塔中添加了一系列層與層之間的跳躍連接，以改善模型的多尺度特征表達能力，同時引入注意力機制增強特征通道間的信息交互，提高了網絡對船舶的特征描述力。除此之外，李輝［8］將Faster R-CNN（Faster Regions with CNN）與暗通道去霧算法結合以提高檢測模型在大雨、濃霧等復雜天氣情況下的抗干擾能力；聶鑫等［9］為解決海域環境復雜而造成模型檢測精度不高的問題，采用大氣散射模型模擬霧天和低光照環境，并且使用完全交并比 （Complete Intersection over Union， CIoU）修改損失函數，以解決模型應用于復雜環境的問題。上述方法通過特征增強、加強特征融合以及提高模型的泛化能力的方式提升了船舶目標檢測的性能，表明基于深度學習的目標檢測方法比傳統目標檢測的方法更具優勢。

然而，在實際的應用場景中，在大霧、雨雪、光照條件弱，以及遮擋、船舶多尺度等復雜場景下進行實時船舶目標檢測時，仍存在漏檢和誤檢的問題。首先，在船舶的特征提取階段，利用深層次特征提取網絡雖然能增強船舶的特征感知，但是會影響模型的推理速度，增加網絡的復雜度；而使用注意力機制既能保證模型的速度，又能在一定程度上消除背景噪聲干擾，提高主干特征提取網絡對船舶特征的感知能力，因此模型逐漸使用注意力機制實現船舶的特征增強。但是將注意力機制模塊直接應用于主干特征提取網絡會弱化特征圖響應輸出，影響船舶的特征融合。其次，在特征融合階段，先前研究大都通過增加特征層之間的連接來增強不同層次的特征融合，提高模型對多尺度船舶的檢測精度，卻沒有權衡深淺層特征之間融合的比例。大量增加特征層之間的連接，一方面會增加模型訓練的負擔，另一方面會造成特征層中特征融合冗余，影響模型的檢測效果。再者，通過修改模型損失函數雖然可提高模型對船舶的分類和定位能力，但傳統檢測頭中分類任務和回歸任務的耦合會造成任務不平衡問題，影響模型的泛化能力。

為提升模型在臺風、大霧、雨雪、遮擋等復雜場景下對多尺度船舶目標的定位精度和檢測準確率，本文選擇兼具速度和精度的YOLOX-S模型［10］作為基礎，提出自適應特征融合的多尺度船舶檢測方法，通過將深層特征自適應線性變換之后再與淺層特征進行融合，有利于補充淺層特征缺乏的高級語義信息，提高多尺度船舶的檢測精度。

本文的主要工作如下：1）為充分提取船舶特征信息，在特征提取主干網絡中加入特征增強模塊，通過設計攜帶殘差的注意力機制模塊，在提高模型感知船舶特征能力的同時，能有效防止梯度消失，生成高響應特征圖；2）在特征融合網絡中，充分融合深淺層特征，利用自適應特征融合模塊，平衡特征圖中深層特征和淺層特征的比例，融合豐富的高級語義信息，彌補小目標缺失的高級語義特征；3）為了準確實現船舶分類和邊界框回歸，將檢測頭解耦，消除分類任務與回歸任務之間的干擾，并在損失函數中加入貝葉斯模型，引入多任務損失函數，有效解決定位誤差大和漏檢的問題，提高模型泛化能力。實驗結果表明，本文提出的船舶目標檢測方法在不良天氣條件和不同通航情況下滿足實時性的同時，均取得了較好的檢測精度。

1 自適應特征融合的多尺度船舶檢測

本文提出的自適應特征融合的多尺度船舶檢測方法構建的網絡結構如圖1所示。

圖1　自適應特征融合的多尺度船舶檢測網絡結構

為增加船舶訓練數據的多樣性，在提取船舶特征之前，先將輸入圖像尺寸調整為640×640，輸入數據增強模塊，使用Mixup［11］和Mosaic方法［10］彌補訓練中船舶數據的缺失，對輸入圖像隨機進行裁剪拼接，豐富訓練數據。

科研經費支撐著整個高校科研項目的正常運行，科研經費投入多少也決定了科研項目開展規模的大小和持續的時間，科研活動貫穿于科研項目的審批立項、實施執行，最后到結題驗收的整個過程，各個高校必須加強對科研經費的管理工作。但在實際工作中，高校科研經費管理制度并不完善，還存在很多的問題。這些問題在一定程度上影響了高校科研經費的高效使用，給高校科研經費發揮最大作用帶來一些阻礙和難題，接下來就對高校科研經費的問題進行闡述。

在特征增強提取網絡中，使用Focus［10］模塊擴展通道數，使用Resblock_body［10］防止網絡加深導致的梯度消失問題。同時，提出特征增強模塊抑制背景信息對船舶檢測的干擾，提升網絡對船舶特征的感知能力。在特征增強提取網絡提取的深淺層次特征基礎上，引用特征金字塔網絡（Feature Pyramid Network， FPN）［12］結構，充分考慮深淺層次特征的優點，調整深層特征和淺層特征的融合比例。其中，在與淺層特征融合前，對上采樣后的深層特征作自適應線性變換，生成多尺度特征圖，平衡特征圖中深層高級語義信息和淺層空間位置信息，提高模型對多尺度特征的學習能力。

1.1　船舶特征增強

在船舶通航環境中，船舶成像受尾浪、大霧、船舶之間的遮擋等噪聲影響，嚴重干擾船舶的定位和分類。鑒于注意力機制可增強圖像的有效信息、抑制背景等無關信息，強化船舶特征，本文設計了基于注意力機制的特征增強模塊，在坐標注意力（Coordinate Attention， CA）機制［13］模塊基礎上加入殘差網絡，既增強了主干網絡的特征提取能力，也保證了網絡的易訓練性。CA模塊旨在增強網絡的特征表達能力，同時獲取通道間和方向相關的信息，有助于模型定位和識別目標。但是，在特征提取主干網絡中直接使用CA模塊會導致特征圖的輸出響應弱。因此，本文使用攜帶殘差的CA模塊，可以有效抑制噪聲并保持特征圖的高響應輸出，如圖2所示。

圖10和表7給出了CDF曲線和總線86291-14006中的線路流量的結果。根據PPF結果，所提出的調度策略在限制過載概率方面表現更好。經濟調度降低了運營成本，但不能用于控制線路過載問題。

2.3.2基于McShips數據集驗證

圖2　改進的基于CA的特征增強模塊

課后，與科學教師交流，她不是純粹的臺灣籍教師，是本地人但在這所學校工作多年，或多或少地有點我國大陸教師的味道。

本文重點講述的電力負荷的預測方法，就是將城市空間負荷分成多個單元區塊，并對各個單元區塊中負荷的類型和性質進行定義，然后，在這個基礎之上進行電力負荷的預測。這種預測方法可以實現對城市中任意的區塊在任意的預測年份進行電力負荷的預測，在配電網規劃中適應性較強。與傳統的電力負荷預測方法相比，空間負荷預測方法得到的結果更加精確，但同時還應看到的是，它對于各個單元區塊中的信息需求程度也更大。

本文將特征增強模塊嵌入YOLOX-S模型原始主干特征提取網絡中，改進后的主干網絡如表1所示。通過將特征增強模塊插入主干特征提取網絡，提高模型對船舶的感知能力，抑制背景噪聲干擾，獲取更多語義信息，提高網絡檢測效果。

1.2　自適應特征融合

為了驗證本文方法的有效性，與Faster-RCNN［17］、SSD（Single Shot multibox Detector）［18］、YOLOv3［19］、YOLOv7［20］、YOLOX［10］五種經典目標檢測方法在SeaShips和McShips數據集上進行實驗對比。Faster-RCNN為經典的區域建議雙階段檢測方法，通過區域建議網絡生成候選框，再進行船舶分類和邊界框回歸。SSD、YOLOv3、YOLOv7、YOLOX為經典單階段檢測算法，SSD通過在多尺度特征層上進行目標檢測，有效提高小尺寸目標的檢測精度；YOLOv3和YOLOv7通過引入錨框機制，進一步提高目標回歸率；YOLOX使用無錨框機制，提高模型運算速度的同時保持檢測精度。

YOLOX-S采用FPN結構，利用不同層次尺度特征進行并行預測。FPN利用了深淺層次特征的優點，將低分辨率、語義強的深層特征上采樣后與高分辨率、語義弱但空間信息豐富的淺層特征融合，使用高分辨率的淺層特征檢測小尺度目標，低分辨率的深層特征檢測大尺寸目標。然而，該結構未考慮生成的特征圖中高級語義信息和空間位置信息的比例問題，僅拼接（Concat）上采樣后的深層特征無法為淺層特征提供充足的語義信息。

表1　改進的主干特征提取網絡結構

因此，本文對特征融合網絡進行改進，如圖3所示，基于YOLOX-S模型添加兩個自適應線性變換模塊。通過在深層特征與淺層特征層中插入自適應線性變換模塊，將深層特征上采樣后進行線性變換，自適應調整權重再與淺層特征層拼接，可以有效平衡生成特征圖中高級語義特征和空間位置信息比例，提高模型檢測小尺寸船舶的感知能力。

自適應特征融合的流程如下：首先，最深層特征增強模塊輸出的特征圖1（20，20，512）經過一次卷積縮減通道得到特征圖8，特征圖8再2倍上采樣后，經過一次特征的自適應變換，和上一個特征增強模塊輸出的特征圖2（40，40，256）進行拼接，經過CSPLayer生成特征圖4；隨后通過一次卷積縮減通道，再2倍上采樣后得到特征圖5；特征圖5通過自適應線性變換后，再與第一個特征增強模塊輸出的特征圖3（80，80，128）拼接后，通過CSPLayer生成特征圖6； 特征圖6下采樣后與特征圖5進行拼接，通過CSPLayer生成特征圖7；特征圖7經過相同的操作與特征圖8進行拼接，通過CSPLayer生成特征圖9；最后將特征圖6、7、9輸入檢測頭中得到3個不同尺度的特征預測圖。

應用SPSS18.0統計學系統進行分析,數據以(±s)表示,差異性比較用t檢驗,計數資料采用X2檢驗,P<0.05代表差異具統計學意義。

圖3中兩個自適應線性變換模塊是分別與特征圖2和特征圖3尺度相同的兩個矩陣，通過在梯度回傳中調整兩個矩陣的參數自適應尋找深層語義特征和淺層空間特征融合的最佳權重，在深層特征上采樣后與淺層特征融合前進行線性變換，如式（7）所示：

自適應特征融合網絡輸出三