基于Double-Head 的霧天圖像目標檢測

李任斯， 石蘊玉， 劉 翔， 湯 顯， 趙靜文

（上海工程技術大學 電子電氣工程學院， 上海 201620）

1 引 言

目標檢測是計算機視覺中最基本、最重要的任務之一。搭配強大的主干網絡，許多基于深度學習的目標檢測算法在日常場景中都實現了較高的檢測精度，YOLO（You Only Look Once）［1］、SSD（Single Shot Detector）［2］和區域卷積神經網絡（Region Convolutional Neural Network， R-CNN）［3-5］均是目標檢測的經典算法。為了加強對不同特征尺度的利用，Lin 等提出的FPN（Feature Pyramid Network）［6］以及Liu 等人提出的PANet［7］均利用特征層的自下而上和自上而下的路徑級聯對不同特征圖提取到的信息進行學習。Libra R-CNN［8］通過對低層次特征和高層次特征的融合增強和正負樣本的平衡處理使得網絡具有更高的目標檢測精度。Li 等人［9］通過特征融合以及混合注意對SSD 算法進行改進，提升檢測精度。然而在真實的霧天場景中，拍攝的圖像由于各種因素其圖像質量顯著下降，模糊、光照不足、物體遮擋會造成圖像顏色失真、細節信息缺失等問題。普通的目標檢測方法在霧天環境下無法準確定位和識別出目標，其檢測性能大幅降低。因此，霧天環境下的目標檢測方法研究顯得意義重大。

Li 等人［10］提出了去霧算法AODNet，并將其與檢測網絡Faster R-CNN 結合進行訓練，對去霧后的圖像進行檢測。但是這種圖像預處理操作改變了圖像的內部結構，且其模型的推理速度和訓練速度非常慢，性能也沒有得到提高。Wang等提出了FPVDNet［11］，在網絡中加入霧濃度判別模塊和注意力機制。Xie 等提出了基于知識引導的方法KODNet［12］，通過對數據預處理和目標分布問題分析實現有霧場景下的多目標檢測。但是對于霧天圖像特征提取過程，上述方法存在語義信息和細節缺失問題，特別是在濃霧圖像中，對于一些模糊的目標，在網絡中的特征映射關系較弱，深層特征圖的目標峰值很低。有關端到端的霧天圖像檢測算法研究較少。在圖像去霧算法暗通道先驗法［13］中，作者發現統計的無霧彩色圖像的非天空區域里，RGB 3 個顏色通道中總有一個通道的像素值很低，趨向于0；而對于有霧圖像，其霧景區域的暗通道塊的像素值都遠大于0，具體的識別方法見第二章理論基礎。受此啟發，如果能借助霧天圖像自身特點，獲得更加全面有效的圖像信息，提高檢測網絡對霧區域中目標物體的信息處理能力，則對提升霧天圖像檢測性能具有重大作用。

本文在Double-Head 目標檢測模型框架的基礎上，在特征增強方面，既融合了原始圖像經過暗通道先驗及處理后得到的先驗權重矩陣，又加入了特征圖自身的通道自注意力機制以及結合改進的解耦合預測頭（Efficient Decoupled Detection Head， EDH），提出了一種新的端到端的目標檢測方法來提高霧天場景中的目標檢測性能。

2 理論基礎

2.1 Double-Head 算法

Double-Head 算法［14］是由Wu 等人提出的新的二階段檢測算法。作者在網絡預測頭部對全連接頭、全卷積頭和目標的分類回歸任務進行了徹底的分析，發現全連接頭比全卷積頭具有更高的空間敏感性。全連接頭具有更強的區分完整目標和部分目標的能力，但對回歸整個目標并不魯棒。基于此，研究者提出了Double-Head 算法，設計了專注于分類的全連接頭和目標框回歸的全卷積頭。在Faster R-CNN 中主要采用共享的全連接層進行最后的目標回歸和分類，而在Double-Head 中采用全連接層進行類別分類，采用全卷積層進行目標的回歸。在分類預測任務中，完成分類任務的子模塊由2 個1 024 層的全連接層構成，而回歸子模塊的全卷積層共包含5 個殘差卷積塊和最后的池化輸出1 024 維的向量。一個普通的殘差卷積塊由輸入依次經過一個1×1 卷積，3×3 卷積和1×1 卷積后，再加上原始的輸入構成，每個殘差卷積塊最后輸出的激活函數為ReLu。Double-Head 算法在目標檢測任務中具有較高的準確率，因此本文選擇其作為基礎框架。

為了更加有效地利用不同尺度的圖像特征，PANet 在FPN 基礎上利用特征層自上而下的信息，再次級聯了自下而上的路徑，進一步加強了網絡對各個尺度的目標的提取能力。Double-Head 算法同樣借鑒PANet 思想，級聯不同尺度的特征層。本文通過添加通道和空間雙維度的注意力模塊對特征提取方面進行改進，并且在預測頭部引入可分離卷積，利用設計的卷積模塊改進原有解耦合預測頭的性能。

2.2 暗通道先驗法

在圖像處理領域，有許多研究霧環境的光學模型。其中一個經典模型大氣散射模型［15］的方程定義如式（1）所示：

式中：I（x）是觀測圖像，與自然霧圖像相同；J（x）是場景亮度；t（x）代表介質透射；A代表全球大氣光。t（x）定義為：

式中：β表示大氣散射系數，d（x）表示場景深度。He 等將暗通道先驗與大氣散射模型結合提出了暗通道先驗去霧算法。作者統計了大量的無霧圖像，發現在每一幅圖像的非天空區域里，彩色圖像RGB 通道中至少有一個通道的像素值非常低，幾乎趨近于0。暗通道塊J的數學表達式如式（3）所示：

式中：Jc表示彩色圖像暗通道塊J在像素點x中的一個顏色通道，即RGB 通道中的一個；y是以像素點x為中心的矩形區域。

根據公式（3）可以得出Jdark=0，即非天空區域的圖像塊經過暗通道先驗后像素值為0，暗通道先驗處理后的圖像從彩色圖像變為灰度圖像。霧天圖像存在大量霧景區域，霧景區域的RGB 3 個通道的像素值都不低，因此其暗通道塊Jdark遠遠大于0。

基于暗通道先驗法處理后的霧天圖像可以有效地將霧景區域和前景所分離，給目標檢測任務提供了有效的信息。本文通過改進暗通道先驗算法提升了檢測網絡獲取霧天圖像有效信息的能力。

3 本文方法

圖1 是本文所提方法的結構圖，基于二階段方法Double-Head 進行改進。在特征增強方面，網絡利用原始輸入圖像經過暗通道先驗得到的有效信息和主干網絡提取的多尺度深層特征進行有效融合，得到增強的特征圖。增強后的特征圖經過區域建議網絡［3］和ROI 池化模塊［3］處理后輸送至預測頭部進行最終的預測。同時，為了使分類和回歸都達到更高的精度，使用解耦合檢測方法作為預測頭部。預測頭使用全連接層進行分類，卷積模塊進行回歸，并在卷積模塊中引入了深度可分離卷積，減少了網絡模型的參數。

3.1 融合暗通道先驗權重的特征增強

在本文所提方法中，特征增強模塊具體結構如圖2 所示。首先，在主干網絡ResNet101［16］和FPN 提取到的特征P1～P4的基礎上，進一步級聯了自下而上的結構，得到特征層N1～N4。其次，為了提高特征層N1～N4每個尺度的特征描述力，在P1、P2、P3的跳躍連接中加入了Enhance 模塊。Enhance 模塊主要包含兩部分，如圖3 所示。第一部分為特征自注意力，即在特征層P1～P4輸入的基礎上，加上了通道池化操作，增加了通道值響應；第二部分為先驗權重矩陣的融合，即將原始圖像經過暗通道先驗法得到的有效信息進一步融合，增強了霧天圖像中前景目標和背景的分辨。

圖2 融合特征增強結構示意圖Fig.2 Structure of the fusion feature enhancement

在圖2 中的特征圖部分，向下箭頭是上采樣操作，向上箭頭是下采樣操作，上、下采樣操作分別使用雙線性插值法和自適應池化法。N1將下采樣生成的與N2具備同樣尺度的特征和經過Enhance 模塊增強后的特征圖在通道方向拼接起來得到N2，依此類推，獲得N3和N4。

圖3中的通道池化分為最大池化和平均池化，都在輸入特征X（256×H×W）的通道維度上進行。最大池化在X的256 維的通道上選擇最大值作為表征，平均池化則是選取通道上平均為1×H×W的值作為表征。相加后系數經過Sigmoid激活函數與原始輸入進行點積運算得到XC。共享的全連接層來計算權重，記為kf，在通道維度上拼接后使用Sigmoid 函數來生成通道信息輸出矩陣FOC，數學表表達式如式（4）所示：

其中，φ(·)表示Sigmoid 激活運算。

第二部分先驗權重的融合如圖3 中左邊分支所示。首先對輸入圖像進行尺寸縮放得到Y，使其與圖3 中特征X的輸入尺寸一樣。然后Y通過暗通道先驗法即利用公式（3）運算得到暗通道矩陣I，式（3）中c為Y的R、G、B 3 個通道，Ω取5×5大小的區域，即

接著對暗通道矩陣I中的所有像素值（假設其大小為n（0～255））進行取反操作，變為255-n，使矩陣中天空等背景區域具有較低的矩陣值，目標等前景具備較高的矩陣表征值。此時暗通道矩陣還存在一些冗余表征和背景噪聲，需要對其進行濾波操作以增強待檢測目標的矩陣響應，同時弱化非目標等背景區域的矩陣響應，即矩陣值的大小。濾波函數采用一階微分算子sobel 算子，能有效降低圖像噪聲，銳化特征，其公式如式（6）、式（7）所示：

其中：I為暗通道矩陣，為灰度圖像；WY為輸出的權重矩陣；I和WY大小均為1×H×W。

在圖3 中，WY和XC進行點積運算后，再次和經過1×1 卷積后的輸入特征X相加，得到最終的輸出Z（256×H×W）。

霧天圖像中的目標對比度更低，紋理特征不清晰，普通的檢測算法提取其中目標的能力較低。為了驗證本文Enhance 模塊和所提方法的有效性，如圖4 所示，將原始的Double-Head 方法以及加入Enhance 模塊后的特征熱力圖進行了可視化。特征熱力圖可以直觀地展示網絡在輸入圖像上的感受野和特征提取能力。從圖4 可以看出，右側圖像中汽車和行人位置的熱力圖顏色更紅，具有更大的激活值，而背景的激活值則更小，并且像素點對應目標類別的置信度得分更高，檢測結果更加準確。高質量的霧天圖像特征圖的提取會進一步使預測頭最終對目標完成更高質量的分類和回歸任務，提升網絡的霧天圖像目標檢測性能。

圖4 熱力圖對比Fig.4 Comparison of feature heat activation map

3.2 高效解耦合預測頭EDH

經過RoIAlign 得到的7×7×256 大小的特征圖最終由解耦合預測頭進行分類和回歸，具體結構如圖5 所示。在分類任務分支中，應用兩個全連接層進行分類。對于回歸任務，全卷積層使用了5 個殘差模塊。第一個殘差模塊a 將輸入從256 維升至1 024 維，具體內部結構對應圖6（a），另4 個殘差模塊b 如圖6（b）所示。圖6（b）中5×5 表示卷積核大小為5×5 的深度可分離卷積塊，在減少網絡參數量的同時，增加了深層特征的感受野，保證了最終目標框位置回歸的精度，其余為普通卷積。深度可分離卷積是輕量化網絡Xception［17］的主要結構，主要思想是將標準卷積分解為深度卷積和逐點卷積，即在輸入的每個通道獨立執行空間卷積，再進行逐點卷積，將深度卷積的通道輸出映射到新的通道空間。EDH 模塊的最終輸出是一個k+1 維向量用于分類，k×4維的向量用于定位，其中k表示類別個數。

圖5 解耦合預測頭結構Fig.5 Structure of the decoupled prediction head

圖6 卷積模塊結構圖Fig.6 Structure of the convolution module

3.3 損失函數

在區域建議網絡RPN 中，分類任務使用二值交叉熵損失。在預測頭EDH 中，分類任務使用的是交叉熵損失。對于樣本訓練過程中的回歸任務，均使用SmoothL1損失。SmoothL1損失函數公式如式（8）所示：

式中：對于RPN，β設置為1/9；在EDH 中，β設置為1。所以

RPN 的二值交叉熵損失表示為：

在一個訓練批次中，選取部分特征圖作為訓練樣本，其中N是二元分類中的樣本數，yi是樣本i的標簽，正樣本為1，負為0，pi是預測樣本為正的概率。RPN 總損失函數如式（12）所示：

預測頭EDH 的交叉熵損失如式（13）所示：

其中：N是多類別樣本的數量；k是類別的數量；yic是一個符號函數，如果樣本的預測類別是c，則取1，否則取0；Pic是樣本i被預測為c 類別的概率。整個網絡的損失函數L如式（14）所示：

式中：LRPN是區域建議網絡RPN 的損失函數；λ1和λ2是預測頭中回歸損失和分類損失的權重參數，它們平衡了各部分的功能，實現了更好的檢測性能。

4 實驗結果與分析

4.1 實驗細節

實驗平臺硬件為AMD Ryzen Threadripper 1900X 8-Core Processor 3.80 GHz CPU，Nvidia GTX 2080 Ti 顯卡，64G 內存。

實驗中，網絡由隨機梯度下降優化器進行訓練，動量和權重衰減分別設置為0.9 和0.000 1。大多數二階段檢測器，包括本文提出的網絡，學習率初始化為0.002 5。式（14）中的λ1和λ2分別設置為2.0 和1.5。

4.2 數據集和評估指標

本節比較了一些現有的主流目標檢測方法以驗證本文所提出的網絡的魯棒性和高精度。不僅在自然霧天數據集RTTS［18］上進行了評估，還在合成霧天數據集S-KITTI 和S-COCOval 上進行了評估。

S-KITTI和S-COCOval為本文利用大氣散射模型分別對KITTI［19］和MS COCO 數據集［20］進行霧合成得到的合成數據集。在KITTI 和MS COCO 的子數據集COCO 2014 val 中分別選用7 481 和10k 余張圖像進行霧合成模擬處理，應用大氣散射模型和原始清晰圖像合成霧天圖像，以此得到式（1）中的I（x）。在合成處理中，式（1）和式（2）中的A和β設置為0.6 和0.28，以此模擬出逼近真實霧天的圖像。

RTTS 數據集屬于自然霧天環境的目標檢測數據集，圖像主要來源于交通道路等場景。它包含4 322 副圖像；帶有5 個類別的標簽，即汽車、人、公共汽車、自行車和摩托車，包括大約41 000 個目標。對于KITTI 數據集，使用其2D 數據集進行目標檢測任務，包含7 481 張圖像，包括6 個類別：汽車、面包車、行人、有軌電車、卡車和自行車。MS COCO 數據集有80 個類別，為了使實驗檢測對象一致，本文在COCO 2014 val 中選擇了1 萬張圖像，包括摩托車、汽車、公共汽車、火車、自行車和卡車等類別。

在RTTS 數據集中，采用PASCAL VOC［21］指標平均精度（mean Average Precision， mAP）來評估該方法的檢測性能。準確率和召回率的計算公式如式（15）、式（16）所示：

其中：TP 表示正樣本被識別正確的個數，FP 表示負樣本被識別為正樣本的個數，FN 表示正樣本被識別為負樣本個數。將計算得到的P、R值繪制P-R曲線，計算曲線下的面積，即為AP 值，公式如式（17）所示：

對于多個類別N，平均精度mAP 公式為：

在S-KITTI 數據集和S-COCOval 數據集中，使用指標AP、AP75、AP50、APS、APM和APL來評估目標檢測的性能。其中AP 指標的IoU 從0.5 依次增加到0.95。AP75和AP50是指其IoU 分別設置為0.75 和0.5。APS、APM和APL是根據圖像中對象的大小設置的AP 度量，分別對應圖像中相對的小目標、中型目標和大目標。

4.3 RTTS 實驗結果

RTTS 數據集的標簽分布不均，在某些特定角度上的不同類別相似。本文方法在一定程度上克服了這些困難，并取得了較高的性能。如表1所示，每一行記錄了不同方法的mAP 值和5 個類別的AP 值，其中指標中IoU 的值設定為0.5。

表1 不同算法在RTTS 數據集上的性能對比Tab.1 Performance comparison of different algorithms in the RTTS dataset

在不增加額外數據的情況下，本文方法實現了最高的mAP 值49.37，比FPVDNet 高3.97，比KODNet 高2.71，比Yolov3［22］高12.98。Double-Head 方法在公交車類別中達到了最高的AP 值51.53，本文方法在其余類別中達到了最高的性能，汽車類別為66.41 AP 值，自行車類別為33.62AP 值，摩托車、行人分別達到了50.12 和46.92 AP 值。本文方法在通過數據增強操作后，mAP值可以提升至50.33，均高于其他算法。數據增強操作主要包括對訓練圖像進行翻轉、旋轉和縮放等。通過數據增強生成的額外圖像大約1 000 張，這些圖像與原始數據一起訓練。除摩托車類別外，其他所有類別都處于較高的水平。結果表明，與其他方法相比，本文方法的檢測準確率更高，說明本文方法能有效地提取霧天圖像中的特征。

圖7（a）是從RTTS 數據集中選擇的一幅自然霧天圖像，（b）、（c）、（d）是分別使用Double-Head、Cascade R-CNN［25］和本文方法進行檢測后的具體結果。在圖7（b）中，Double-Head 方法錯誤地將圖片右下角的三輪車識別為汽車，并忽略了圖片左側的行人。圖7（c）的Cascade R-CNN 方法很難檢測到汽車，也忽略了左邊的行人。圖7（d）為本文方法的檢測結果，結果表明本文方法可以克服這些問題，生成更準確的檢測結果。

圖7 RTTS 數據集圖像的檢測結果示例圖Fig.7 Examples of RTTS image detection results

4.4 S-KITTI 和S-COCOval 實驗結果

S-KITTI 數據集中出現的小目標物體和遮擋目標較多，使得目標檢測任務變得更具挑戰性，尤其是在霧天環境中。S-KITTI 數據集實驗結果如表2 所示，除APM指標之外，所提出方法性能均優于其他方法。本文方法的AP、AP75、AP50、APS、APM和APL指標分別為66.7、77.1、90.9、65.6、66.2 和71.4，AP75和AP 分別比第二高的方法高出1.7 和0.8。

表2 不同算法在S-KITTI 數據集上性能對比Tab.2 Performance comparison of different algorithms in the S-KITTI dataset

如表3 所示，當主干網絡使用ResNet101 時，本文方法的AP、AP75、AP50、APS、APM和APL值分別為57.7、65.1、79.6、41.1、51.1 和69.3。AP75、APS和AP 分別比第二高的方法高1.5、1.7 和0.9，除了AP50之外其余數據均為最高。Double-Head 在AP50取得了最大值79.8，僅比本文所提方法高出0.2。結果表明，本文模型在合成霧天數據集S-COCOval 上也取得了良好的檢測結果，并且應用不同的主干網絡仍然具有有效性和魯棒性。

表3 不同算法在S-COCOval 數據集上性能對比Tab.3 Performance comparison of different algorithms in the S-COCOval dataset

4.5 消融實驗和定量比較

表4 對預測頭的卷積部分進行了實驗，通過設定不同數量的卷積塊得到不同的AP 結果。表4 中的模塊a 和模塊b 代表圖6 中的提取模塊a和b，模塊a 主要是將特征圖從256 維升至1 024維，數量為一個，大小為1.06M；模塊b 大小為0.81M。考慮到準確率和參數量的平衡，本文的預測頭部卷積部分最后選擇一個模塊a 和4 個模塊b。

表4 增加不同數量模塊b 后的參數和AP 值比較Tab.4 Comparison of the parameters and AP values after adding different number of modules b

在RTTS 數據集上分別使用不同注意力模塊進行實驗，結果如表5 所示。在不添加注意力模塊的情況下，使用Double-Head 方法作為基線的mAP值為51.5，分別添加注意力模塊SE（Squeezeand-Excitation）［27］、CA（Coordinate Attention）［28］和CBAM（Convolutional Block Attention module）［29］后，mAP 值為51.6、52.2 和52.7。使用本文的注意力模塊達到了最高的mAP 值為53.6，參數量僅增加0.45M。結果表明，與其他注意力模塊相比，本文設計的注意力模塊具有更高的目標檢測性能。

表5 使用不同注意力模塊的實驗結果Tab.5 Ablation study of proposed component

表6 展示了提出的特征增強模塊和解耦合預測頭EDH 消融實驗的結果。在ResNet50-FPN基線上，對特征圖應用本文的注意力模塊mAP值提高了0.8，融合改進暗通道先驗得到的先驗權重mAP 值提高了2.4，證明所提出的特征增強模塊對檢測霧天圖像中的目標的有效性。解耦合預測頭EDH 模塊將mAP 值從52.9 提高到54.3，比ResNet50-FPN 基線高出1.4。與基線相比，提出的模塊對網絡的改進mAP 值共提升了3.6。在模型復雜度方面，改進前Double-Head 方法模型參數為48.14 MB，推理時間為0.105 s；改進后方法模型參數為52.25 MB，推理時間為0.126 s。

表6 各個模塊的消融實驗結果Tab.6 Ablation study of proposed component

4.6 霧天場景下目標檢測結果和分析

從數據集中選取了幾組代表性的圖像分別使用不同的算法進行目標檢測結果展示，如圖8 所示，從上至下依次為原始圖像、本文算法、Double-Head 算法、Cascade R-CNN 算法、FPVDNet 和Yolov5 算法檢測的結果。第一組圖像中，除了本文算法外，其余算法都出現了自行車漏檢的情況，且行人檢測不夠準確。在其他組圖像中，Double-Head、Cascade R-CNN、FPVDNet 和Yolov5 均存在對小目標物體漏檢的問題，Double-Head算法在第三組圖像中更是將卡車錯誤識別為汽車。本文算法在這些霧天圖像中展示出了更精準的檢測結果，具有更強的檢測性能和魯棒性。

圖8 不同算法的檢測結果Fig.8 Detection results of different algorithms in different scenarios

本文所提方法在合成數據集不同霧濃度下的檢測結果如表7 所示。大氣散射系數β取不同值分別對應不同程度的霧。在實際霧天場景下，所提方法的目標檢測結果如圖9 所示。場景中的小目標車輛以及遮擋目標仍可以準確檢測出來，并進行有效分類，進一步證明本文方法在實際場景中的高目標檢測性能。

表7 所提方法在不同霧天程度下的實驗結果Tab.7 Experimental results of the proposed method under different foggy conditions

圖9 實際霧天場景檢測結果圖Fig.9 Detection results in the actual foggy scene

5 結論

本文針對霧天場景下的目標檢測任務，提出了一種新的高效且魯棒的方法。在Double-Head網絡上融合了改進暗通道先驗法得到的先驗權重以及通道和空間雙維度的復合注意力，并且改進了預測頭部的全卷積層，利用設計的高效解耦合預測頭對目標進行最終的分類和回歸，提高了在霧天圖像上的目標檢測精度。本文算法在自然霧天數據集RTTS 上取得了49.37%的mAP 值，較改進前提升了4.63%。在合成數據集S-KITTI和S-COCOval 上AP 值分別為66.7%和57.7%。實驗結果優于其他主流檢測方法，進一步驗證了本文算法的適用性和魯棒性。在未來的工作中，將進一步優化網絡，均衡檢測精度和速率，使其應用更加靈活。