基于擴散模型下結合全卷積掩碼自編碼器的霧天目標檢測方法

賈飛，何家樂，李鶴鵬

重慶交通大學機電與車輛工程學院，重慶 400074

0 引言

目標檢測作為視覺感知的重要分支，被廣泛應用于無人駕駛、機器人等環境感知方面[1]。隨著這些領域的發展，目標檢測技術在惡劣環境，尤其是霧天條件下的需求日益增加，因為在這樣的環境中準確感知周圍環境至關重要。

在霧天天氣中，可見光圖像的采集面臨著目標邊緣模糊、低對比度和顏色失真等問題[2]，這極大地挑戰了目標檢測算法的性能。因此，如何在霧天環境下高效而準確地檢測目標成為計算機視覺領域的一個重要研究方向。

隨著深度學習的興起，涌現出了多種目標檢測算法。這些算法基于不同的架構可分為單階段和雙階段目標檢測算法。單階段算法，如以YOLOv5[3]為代表，因其輕量和快速檢測的優勢，在邊緣計算設備上得到廣泛應用。Dynamic-RCNN[4]作為雙階段檢測算法的代表，將輸入圖像先經過候選框生成網格，再經過分類網絡對候選框的內容進行分類，在訓練過程中不斷調整交并比閾值的大小以提高候選框的質量，相比單階段算法，其速度較慢，但檢測精度更高。

這些方法在解決目標檢測中的惡劣天氣環境（如霧天）仍然存在一些缺陷。為了應對這些挑戰，研究人員進行了深入研究。LI C 等[5]進行了針對不同去霧天氣圖片與已使用多種去霧方法優化過的照片之間的比較試驗，在預訓練完成的Faster R-CNN 網絡中進行檢測。LI B 等[6]設計了端到端的AOD-Net，可以被整合進其他的目標檢測框架里，例如Faster R-CNN，以改進有霧圖像目標檢測的高級任務。吳桐等[7]提出一種基于改進GCANet 除霧網絡和CenterNet 檢測網絡相結合、有效進行霧天行人識別的聯合檢測方法。這些方法均采用了先去霧再檢測的思想，使檢測精度有所提升，但增加了模型難度和復雜性，去霧網絡的加入也會破壞圖像原有的特征關系。

本文針對自動駕駛車輛在霧天場景下因可見光圖像清晰度低以及噪聲干擾等導致行人、車輛等目標檢測精度降低的問題，提出一種基于擴散模型下結合全卷積掩碼自編碼器的霧天目標檢測方法（HDDiffusionDet），有效提高了模型在霧天的目標檢測精度。

1 方法原理

1.1 HD-DiffusionDet 方法總體架構

本文方法采用擴散檢測模型[8]作為主要架構，總體網絡結構如圖1 所示。

1.1.1 高斯噪聲檢測框的建模與生成

根據擴散模型，由方差得到的高斯噪聲被添加到目標真實框以獲得噪聲框。

1.1.2 圖像編碼

采用ConvNeXt v2[9]作為主干網絡結構，用于圖像編碼器的工作。該編碼器將原始圖像接收并提取高級特征，利用全卷積掩碼自編碼器的訓練策略進行訓練。

1.1.3 特征金字塔

特征金字塔網絡用于為圖像編碼生成多尺度特征圖，以保證網絡的多尺度檢測能力。

1.1.4 檢測解碼

在多尺度特征圖中，通過高斯噪聲框裁剪RoI 特征，然后將其輸入檢測解碼器，實現目標邊界框的回歸和分類。

1.2 擴散模型

為了提高模型在霧天圖像中的抗擾性和泛化能力，引入了擴散模型到目標檢測框架中。這種擴散模型是根據非平衡熱力學的原理，逐步向原始樣本數據注入噪聲，從而確立了馬爾可夫擴散前向鏈的定義。前向噪聲過程被描述為：

式中，t表示前向過程的時間；Z0表示原始數據樣本；Zt表示噪聲樣本；N （* ,*I）表示從 N（0,I）的標準分布中進行采樣；表示一小正數，在0～1 之間。

通過向原始數據樣本Z0添加噪聲來將Z0變換為t∈{1,2,…,T}的潛在噪聲樣本Zt。

式中，βs表示噪聲隨時間t變化的方差表。

在訓練期間，高斯噪聲被添加到真實邊界框以獲得噪聲框，通過最小化二范數損失來訓練神經網絡fθ(Zt,t)，以從Zt預測Z0，訓練損失函數如式（3）：

式中，fθ(*)表示所訓練的目標神經網絡；Ltrain表示訓練損失函數。

1.3 全卷積掩碼自編碼器

為了增強圖像編碼器對霧天圖像的特征提取，采用了全卷積掩碼自編碼器（FCMAE）的訓練方法。這一策略通過在輸入圖像上隨機遮擋一些區域，迫使編碼器試圖恢復被遮擋的部分，從而促使模型學習全局和局部特征，以提升其特征提取能力。

圖像編碼器采用ConvNeXt v2 架構，該架構通過堆疊塊組成，配置參數如表1 所示。stem 為降采樣塊，其余為殘差塊（res），在殘差塊引入全局響應歸一化層（Global Response Normalization，GRN）。該層通過以下3 個關鍵步驟實現：全局特征聚合、特征歸一化和特征校準。首先，在全局特征聚合階段，利用二范數對每個通道上的特征圖進行聚合，得到一個整體聚合向量；然后，在特征歸一化步驟中，采用標準除法歸一化函數對聚合后的向量進行歸一化處理；最后，在特征校準步驟中，使用歸一化后的向量對原始的特征圖進行校準。這一過程實現了對每個通道上特征圖的歸一化處理，強化了通道之間的特征競爭，有效提升了模型的性能。

表1 殘差塊配置參數

主干網絡的殘差塊結構如圖2 所示。

1.4 方法流程圖

所提基于擴散模型下結合全卷積掩碼自編碼器的霧天目標檢測方法流程如圖3 所示。

具體步驟如下：

（1）將霧天目標檢測數據集分別進行劃分，包括訓練、驗證以及測試集；

（2）通過使用隨機裁剪和旋轉等數據增強技術，對劃分好的訓練集和驗證集進行了數據擴充，從而提升了樣本的容量；

（3）構建HD-DiffusionDet 霧天目標檢測網絡并初始化，將訓練集數據以批量的方式輸入到網絡中；

（4）通過圖像編碼器提取霧天圖像特征，基于擴散模型為真實目標框生成高斯噪聲框；

（5）通過生成的噪聲框對編碼器所提取的特征進行裁剪出RoI 區域，將裁剪出的RoI 區域輸入檢測解碼器，預測目標類別與邊界框；

（6）調用訓練完成的最終模型，將測試數據輸入，得到最終檢測對象的類別與位置。

2 霧天目標檢測實驗

2.1 數據集介紹

本次實驗采用RESIDE 霧天真實場景下的目標檢測數據集RTTS[10]，其中訓練集3 512 張，驗證集436 張，測試集490 張，數據標注示例如圖4 所示。

2.2 評價指標

為了全面評估網絡模型的檢測性能，聯合考慮了準確率和召回率，并以準確率為Y 軸，召回率為X 軸，作出準確率-召回率曲線（P-R 曲線）；通過計算各個檢測類別P-R 曲線下的面積，得到了平均精度（Average Precision，AP）；最后，以各類別平均精度的均值，即平均精度均值（Mean Average Precision，mAP）來綜合表示網絡的性能。

式中，r表示召回率；p(r)表示準確率與召回率的P-R曲線。

式中，C表示檢測類別數。

2.3 實驗環境與超參數

實驗環境：Ubuntu18.04 操作系統；Nvidia 1080Ti（11 GB）顯卡；基于Pytorch 的神經網絡框架。

超參數設置：迭代次數為45 000 次；批處理大小為8；優化器選擇為AdamW；初始學習率為2.5×10-5。

3 實驗結果與分析

3.1 檢測結果對比

為驗證所提方法的優勢以及有效性，分別將所提方法與現有目標檢測方法，如Dynamic R-CNN、YOLOv5、DiffusionDet 以及針對霧天目標檢測的方法[6]等進行比較，平均檢測精度對比結果如表2 所示。

表2 平均檢測精度結果對比

3.2 檢測結果可視化與分析

可視化檢測結果如圖5 所示。如紅色虛線框所示，漏檢與誤檢均不同程度地出現在對比算法中。Dynamic R-CNN 使用普通的卷積層進行圖像特征的提取，未能解決在細節模糊以及噪聲干擾下的霧天目標檢測問題，出現了大量的誤檢，表明普通卷積核的特征提取方式無法在霧天圖像中提取到高表征特征；YOLOv5 采用了Focus 結構來對圖像特征進行初提取，出現了較少的誤檢與漏檢，表明Focus 結構的引入對于缺乏細節信息的霧天圖像來說提高了細節信息的利用程度，增強了霧天圖像的特征表示，從而提高了檢測精度。

文獻[6]方法是去霧網絡與目標檢測網絡Faster R-CNN 的融合，霧天圖像進入檢測網絡后會先進行圖像的去霧處理，然后再對其進行特征提取與目標檢測，但這種方法仍然存在誤檢和漏檢，對圖像進行去霧處理的確能夠對還原圖像有促進作用，但也破壞了特征之間的原有關系，去霧過程中也會帶來不確定性，從而進一步增加了檢測階段的不確定性。DiffusionDet 基于擴散模型，通過給真實標注框添加高斯噪聲，從而對編碼器所編碼特征進行RoI 區域的裁剪，進而將目標檢測問題轉換成邊界框的去噪過程（如圖5 所示），這種方式對于提高噪聲干擾下的圖像目標檢測有提升效果，但仍存在漏檢。

本文提出的方法通過直接提取霧天圖像特征，在圖像編碼階段采用ConvNeXt v2 結構，并借助全卷積掩碼自編碼器的訓練策略對霧天圖像特征進行編碼，通過特征金字塔生成不同尺度的特征；然后根據高斯噪聲框對這些特征進行RoI 區域的裁剪；最終將裁剪后的特征送入檢測解碼器進行特征解碼，輸出目標的類別與邊界框。如圖5 所示，所提出的方法在真實霧天環境中能夠保持較高的檢測精度，且沒有出現漏檢和誤檢的情況。

4 結束語

本文針對自動駕駛車輛在霧天場景下因可見光圖像清晰度低以及噪聲干擾等因素，導致行人、車輛等目標檢測精度降低的問題，提出一種基于擴散模型下結合全卷積掩碼自編碼器的霧天目標檢測方法（HDDiffusionDet）。通過在真實霧天數據集RTTS 上進行實驗，所提方法的平均檢測精度均高于其余方法，mAP 值達到77.3%，降低了霧天場景下行人、車輛等漏檢和誤檢情況，證明了所提方法的可行性與有效性，為自動駕駛等技術領域的環境感知應用提供了一定的借鑒。