融合漸進式去雨網絡的軍用車輛檢測算法

摘" 要： 針對雨天場景下檢測軍用車輛目標時出現的精度退化問題，提出一種將漸進式去雨算法與高精確率檢測器相融合的軍用車輛檢測方法。首先設計了一個圖像去雨算法HISPNet，其包括輕量級高效雨紋特征提取模塊和跨子網雨紋特征融合模塊，捕獲雨紋信息的同時緩解卷積過程中的細節特征丟失問題；其次引入SPPFCSPC模塊改進了單階段檢測器，保證檢測器感受野的同時提高了效率，增強了檢測模型的表達能力。自建數據集中的實驗結果表明，雨天場景下，相較于經典檢測算法YOLOv7，所提算法的mAP@0.5、mAP@0.5：0.95分別提升了4.4%、2.8%，算法檢測速度達到21.05 f/s，基本滿足檢測實時性要求，證明了所提算法的有效性與實用性。

關鍵詞： 圖像去雨； 編碼器?解碼器架構； 輕量級高效雨紋特征提取模塊； 跨子網雨紋特征融合模塊； SPPFCSPC模塊； 軍用車輛檢測

中圖分類號： TN911.7?34； TP391.4" " " " " " " " " 文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2025）05?0127?08

Military vehicle detection algorithm combining progressive deraining network

SU Shengjun1， TONG Qiuhong2， CHAI Guoqing1， SU Haidong3， WANG Kai4， HU Daifang1

（1. School of Automobile， Chang’an University， Xi’an 710018， China;

2. Xi’an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xi’an 710119， China;

3. Shaanxi Intelligent Connected Vehicle Research Institute Co.， Ltd.， Xi’an 710000， China;

4. School of Information Engineering， Chang’an University， Xi’an 710064， China）

Abstract： In view of the accuracy degradation when detecting military vehicles （the objects） in the scenarios of rainy days， a military vehicle detection method that fuses a progressive rain removal algorithm with a high?accuracy detector is proposed. An image deraining algorithm named HISPNet is designed. The algorithm includes a lightweight and efficient rain streak feature extraction module and a cross?subnet rain streak feature fusion module， which mitigates the loss of detailed features during the process of convolution while capturing the rain streak information. The SPPFCSPC （spatial pyramid pooling and fully?connected spatial pyramid convolution） module is introduced to improve the single?stage detector， which ensures the detector sensing field and improves the efficiency at the same time， and enhances the representation ability of the detection model. The experimental results of the self?built dataset show that， in comparison with the classical detection algorithm YOLOv7， the mAP@0.5 and mAP@0.5：0.95 of the proposed algorithm have been improved by 4.4% and 2.8%， respectively， in the scenarios of rainy days， and its detection speed is 21.05 f/s. It can be seen that the proposed algorithm can basically meet the real?time requirements of detection， and is of effectiveness and practicality.

Keywords： image deraining; encoder?decoder architecture; lightweight and efficient rain streak feature extraction module; cross?subnet rain streak feature fusion module; SPPFCSPC module; military vehicle detection

0" 引" 言

基于計算機視覺的環境感知是現今軍事領域的熱門研究方向，穩健高效地識別軍用車輛是執行偵查跟蹤、定位打擊等后續任務的重要條件[1?2]。軍事活動由于其全疆域、全時域的特性，難以避免會面臨雨天這類惡劣環境條件，此時，軍用車輛檢測系統（Military Vehicle Detection System， MVDS）所采集的圖像會因雨層的干擾而出現特征遮擋、細節模糊等問題[3?5]，這大大降低了檢測精度，嚴重影響正常任務的完成。因此，對有雨圖像進行去雨預處理，輔以改進車輛檢測算法，提高MVDS在雨天的檢測精度具有重要的研究意義和實際價值。

在傳統的去雨算法中，文獻[6]基于高斯混合模型，提出一種區域先驗去雨方法。文獻[7]使用雙邊濾波器將圖像進行高低頻分解，而后通過字典學習和稀疏編碼將有雨圖像還原。上述方法多利用先驗知識，易導致去雨不徹底、背景變模糊。由于深度學習在特征提取等方面的優越性，基于卷積神經網絡的圖像去雨逐漸成為研究熱點。文獻[8]通過構建數據集訓練三層神經網絡用于圖像恢復。文獻[9]采用編?解碼器結構獲取上下文特征，并利用監督注意力機制精準傳遞雨紋信息，有效提高了圖像恢復質量，但網絡結構較為復雜。在車輛檢測領域，文獻[10]基于擴展領域分類器，設計了DAGL?Faster算法，增強了雨霧天自適應檢測車輛目標的能力。文獻[11]采用無錨方法解決YOLO預設錨幀和擬合差問題，提出了惡劣天氣條件下實時檢測車輛的增強型YOLOv4算法。文獻[12]通過優化Bias，改進了RetinaNet算法用于檢測軍用車輛。上述研究雖取得了一定進展，但仍存在不足之處，具體來說，圖像去雨端仍存在復原圖像不自然、背景細節丟失、網絡架構冗余等問題。車輛檢測端存在僅注重檢測器自身改進的問題，而雨天相機采集的圖像可能會存在不同程度的退化，這從根本上干擾了圖像中蘊含的車輛特征信息。

為提高雨天條件下MVDS的檢測精度，本文提出了一種將漸進式去雨網絡融合到高精確率檢測器的軍用車輛檢測方法（HISPNet?HEMVD）。在圖像去雨預處理方面，本文設計了類沙漏結構漸進式圖像去雨網絡（Hourglass?like Structured Pro?gressive Image De?raining Network， HISPNet）。該網絡融合了輕量級高效雨紋特征提取模塊（Light and Efficient Rain Pattern Feature Extraction Block， LEFEB）和跨子網雨紋特征融合模塊（Cross Subnet Rain Streak Feature Fusion Block， CRFFB）。LEFEB在保證簡潔的前提下高效提取不同層次的雨紋特征。CRFFB在兩個子網之間建立聯系，通過跨子網連接，強化了第一階段子網中代表性雨紋特征的保留與傳遞，從而豐富第二階段子網的特征信息。經上述模塊處理，HISPNet可準確識別雨紋并將雨紋層與背景層剝離，復原干凈無雨的背景層。為進一步提高MVDS的識別能力，本文引入SPPFCSPC（Spatial Pyramid Pooling and Fully Connected Spatial Pyramid Convolution）[13]改進了YOLOv7目標檢測算法，提出了高效率軍用車輛檢測器（High Efficiency Military Vehicle Detector， HEMVD），SPPFCSPC模塊的添加使檢測器在保證網絡感受野的同時提升了處理速度，增強了HEMVD的整體性能。為驗證所提方法的有效性，本文構建了軍用車輛數據集（Military Vehicle Dataset， MVD）用以進行實驗驗證和對比分析。

1" 融合去雨網絡的軍用車輛檢測算法

1.1" 類沙漏結構漸進式圖像去雨網絡

單階段方法廣泛應用于圖像去雨，但存在適應性差、泛化能力弱等問題，多子網去雨方法將復雜的去雨任務分解到多個階段處理，顯著提高處理復雜雨紋的能力。本文基于漸進式恢復思想，提出如圖1所示的去雨網絡HISPNet。

該網絡由兩個子網組成，每個子網均包含一個形似沙漏的特征提取單元，用以充分感知多層次雨紋的上下文信息，實現不同結構雨紋特征的提取。本文還通過跨子網信息交互機制實現像素級特征融合，從而豐富次階段子網絡挖掘的特征信息。網絡具體運算過程如下。

一階段子網：小尺度精細化雨紋特征提取，分割為四部分有雨圖像。首先經過3×3常規卷積層進行升維運算，以提取初步特征。

[Ros，q=f3×3Rins，q，" " q∈1，2，3，4] （1）

式中：[f3×3" ]表示3×3常規卷積層；[Rins，q]代表原始輸入圖像，[Ros，q]表示處理后的特征圖，[q]表示按順時針排序的子圖像位置，[s=1]，代表圖像處于第一階段。經卷積處理后的圖像進入如圖1所示的類沙漏結構。

針對傳統的編碼器?解碼器架構在提取特征的過程中存在空間信息丟失，致使復原圖像存在結構細節缺失的問題，本文設計了一種類沙漏架構用于特征信息的多層級捕獲。架構中經編碼單元提取的多尺度特征由LEFEB調制后，再通過跳躍連接傳遞以輔助解碼單元中的重構過程。該方式糅合淺層與深層特征，緩解了多次上下采樣造成的細節信息流失，實現了不同尺度下雨紋特征的充分挖掘。該過程如式（2）～式（4）所示：

[RTs，q=EnpRos，q，" "q∈1，2，3，4] （2）

[RT0s，q=Cat[RTs，2q-1，RTs，2q]，" "q∈1，2] （3）

[RT1s，q=DepRT0s，q，" "q∈1，2] " " （4）

式中：[Enp]表示編碼運算；[Dep]表示解碼運算；[Cat[ ， ]]表示拼接運算；[RTs，q]代表編碼運算后的特征圖；[RT0s，q]代表拼接處理后的特征圖；[RT1s，q]代表解碼運算后的特征圖。

二階段子網：大尺度條件下背景層精細化恢復，[s=2]，其具體計算與第一階段類似，不再贅述。最終去雨結果由第二階段輸出。

1.1.1" 輕量級高效雨紋特征提取模塊

現有的圖像恢復算法對空間特征信息、淺層特征等提取不足[14]，易導致雨紋部分細節信息丟失嚴重，其原因多在于特征提取模塊并不能完全適配編?解碼器架構，受文獻[15?16]特征提取方法的啟發，本文設計了LEFEB。輕量級高效雨紋特征提取模塊如圖2所示。

圖2中，LEFEB主要由紋理特征挖掘單元（Texture Feature Mining Unit， TFMU）和語義信息捕獲單元（Semantic Information Capture Unit， SICU）構成。為加速網絡訓練，增強模型的泛化能力，模塊使用了半實例歸一化[17]。輸入圖像首先使用1×1卷積拓寬通道數，在TFMU中，使用3×3卷積以獲取輸入圖像的淺層紋理特征，經信息強化后的圖像進入SICU，進一步提取深層語義結構特征。兩個特征提取子單元采取串聯方式連接，通過延長網絡深度的方式擴大了感受野，增強了探索與挖掘不同尺度上雨紋細節特征的能力。為降低計算成本，本文采用了深度卷積代替部分3×3常規卷積。

1.1.2" 跨子網雨紋特征融合模塊

為進一步豐富第二階段子網的雨紋特征，受跨階段特征融合機制和簡化通道注意力[16]的啟發，本文提出了如圖3所示的CRFFB。CRFFB用于在兩個階段之間建立特征交互，不同于其他方法僅采用單個卷積層細化特征信息，本文引入了簡化通道注意力（Simplify Channel Attention， SCA）機制。SCA在增加少量參數的情況下推理出高維映射中的注意力權重，從而能夠將代表雨層關鍵特征的維度在特征交互中賦予更高的優先級，去除繁冗信息的同時加快了網絡運行效率。

1.1.3" 損失函數

本文損失函數融合了Charbonnier損失和edge損失，Charbonnier損失[Lc]、edge損失[Le]分別定義為：

[Lc=ψp-Gp2+ε2] （5）

[Le=lψp-lGp2+ε2] " （6）

式中：[lψp]表示拉普拉斯算子，[ψp]代表預測無雨圖像；[Gp]代表清晰無雨圖像，[p∈1，2]，代表網絡階段；懲罰系數[ε]設定為1×10-3。總損失函數定義為：

[La=p=12Leψp，Gp+β?Lcψp，Gp]" "（7）

式中[β]按經驗設置為0.05。

1.2" 高效率軍用車輛檢測器

為進一步提升雨天軍用車輛檢測的精確度，緩解檢測過程中出現的誤檢、漏檢現象，本文將SPPFCSPC模塊引入YOLOv7，提出了HEMVD。多尺度的空間金字塔池化和卷積賦予了SPPFCSPC獲取多維度特征的能力，其采用逐步池化的方式，保證感受野的同時優化了模型的速度和性能，使檢測器更加聚焦于軍用車輛等待檢測目標。

網絡整體架構如圖4所示。

2" 實驗結果與分析

本節實驗在Linux操作系統、PyTorch框架下完成，所需顯卡為NVIDA RTX A5000。

2.1" 圖像去雨實驗

2.1.1" 合成數據集中定量/定性對比實驗

所需數據集由文獻[18?22]提供，選取Rain800、Rain1800、Rain11200共13 171對清晰/有雨圖像組成訓練集，測試集為Test100[19]、Rain100H[20]、Rain100L[20]、Test1200[21]、Test2800[22]，共計4 298張。本文將訓練batchsize設置為4，epoch為350，采用Adam優化，初始學習率為2×10-4，采用余弦退火策略衰減至1×10-6停止。

將峰值信噪比（Peak Signal to Noise Ratio， PSNR）和結構相似比（Structural Similarity， SSIM）作為定量評價的客觀指標。PSNR基于像素間的誤差來判斷去雨效果，單位為dB，值愈大代表去雨效果愈佳；SSIM從多個角度對圖像進行相似度評價，值越接近1，代表去雨性能越優秀。HISPNet和其他優秀去雨算法的定量對比如表1所示，分別采用加粗和下劃線表示最優和次優結果。

由表1可知，與其他優秀去雨算法相比，HISPNet在Rain100L、Test1200中兩項指標均達到最優，在Test100、Test2800中，SSIM表現最優，PSNR表現次優，對于平均PSNR和SSIM，HISPNet分別為33.14 dB、0.930，獲得了全部占優的成績，展現出良好的去雨性能。

圖5展示了部分去雨算法在不同場景中的去雨效果，圖5b）、圖5d）、圖5f）分別為圖5a）、圖5c）、圖5e）的局部放大。由圖5可知，傳統方法DSC去雨效果非常不理想，對大多數雨紋無法做到準確去除。GMM以嚴重模糊背景層的代價去除了部分雨紋，但存在大量的殘留。PreNet難以去除密集雨紋。MPRNet雖能夠有效地去除多數雨紋，但針對較大的雨紋無法徹底去除。本文模型可有效提取背景中的繁雜雨線，復原出干凈無雨的背景層且細節丟失最小。

2.1.2" 真實數據集中的定量/定性對比實驗

為了進一步證明本文所提算法的泛化性，本節構建了Real500數據集，其包含了500張不同場景下的真實雨天圖像。由于Real500并沒有與之對應的清晰無雨數據集，故定量分析采用空間?光譜熵質量（Spatial Spectral Entropy?based Quality， SSEQ）和自然圖像質量評估器（Naturalness Image Quality Evaluator， NIQE）作為評價指標。去雨后的圖像SSEQ和NIQE數值越小，表明對應的去雨算法的性能越優越。不同去雨算法的定量對比結果如表2所示。

由表2可得，相比于PReNet、MSPFN、MPRNet和TSPNet，經本文算法處理后圖像的SSEQ、NIQE數值最低，分別為20.27、4.462。反映了HISPNet在真實場景中去雨性能依然優越。不同算法去雨效果的可視化展示如圖6所示。其中，圖6b）、圖6d）、圖6f）分別為圖6a）、圖6c）、圖6e）的局部放大。

由圖6b）、圖6d）可得，HISPNet在真實場景中去除雨紋效果更加顯著。圖6b）中HISPNet的雨紋殘留最少，在圖6d）中，相比于PReNet、MPRNet以及TSPNet均存在的雨紋殘留，本文方法完整地去除了所有雨紋。圖6e）為真實雨天軍用車輛，可以看到本文算法精準去除雨紋的同時背景細節保留最好。

2.2" 雨天場景軍用車輛檢測實驗

2.2.1" 不同方案的定量/定性對比實驗

為了驗證本文方法對提高軍用車輛檢測精度的有效性，設計了對比實驗。實驗所需的數據集來自互聯網采集的外軍軍用車輛共2 500張，命名為軍用車輛數據集MVD。評價指標為平均精度均值（mAP）。實驗分為4組，Method A僅使用經典YOLOv7，Method B僅使用HEMVD，Method C融合HISPNet和YOLOv7，Method D為HISPNet?HEMVD。

選用MVD中2 000張清晰無雨圖片作為訓練集訓練目標檢測器，使用訓練好的權重在500張有雨圖片中進行對比實驗，結果如表3所示。

由表3可得：與Method A相比，Method B的mAP@0.5和mAP@0.5：0.95分別提升了2.1%、0.8%；Method C的上述指標分別提升了2.5%、1.3%；Method D的上述指標分別提升了4.4%、2.8%。這表明相對于經典的YOLOv7，HEMVD能更好地捕獲目標，而融入HISPNet的HEMVD獲得了更為豐富的軍用車輛特征信息，從而顯著地提升了車輛檢測精度，證明了本文方法的有效性。為更直觀地證明本文檢測方法的優越性，選取不同場景的測試結果進行可視化展示，如圖7所示。

由圖7可得，在圖7a）、圖7b）中，軍用車輛識別的精確度穩步提升，圖7b）中相較于Method A僅0.32的置信度，Method D的置信度上升到0.82。在圖7c）中，由于雨紋的遮擋，傳統的YOLOv7和HEMVD均出現了漏檢現象，而去雨處理后的圖像并未出現漏檢，且Method D的整體置信度高于Method C。在多車檢測的圖7d）中，YOLOv7出現了誤檢，得益于對檢測器的改進，Method B與Method D并未出現誤檢。在圖7e）中，相比于其他方案，可以看到Method D既沒有漏檢、誤檢，又保持了最高的置信度。

2.2.2" 車規級平臺驗證實驗

為驗證本文方法的運行效率，將模型部署于型號為研華IPC?NS01的車規級計算平臺進行實時性測試，其搭載有英特爾第十代酷睿處理器及NVIDA RTX 4090顯卡，適用于高效運行的深度學習模型。

本文選取真實雨天軍用車輛圖共計100張進行測試，結果如表4所示。算法在常用的640[×]640圖像上處理速度可達21.05 f/s，基本滿足實時性要求。

3" 結" 語

本文提出了一種將漸進式去雨網絡融合到高精確率檢測器的軍用車輛檢測方法。針對去雨過程中雨紋擦除不徹底、背景細節丟失的問題，本文設計了去雨網絡HISPNet。多個公開數據集上的平均結果顯示，該網絡的PSNR和SSIM分別為33.14 dB、0.930，優于目前主流的去雨算法。為高效提取待檢測目標的特征信息，引入SPPFCSPC模塊進一步改進了軍用車輛檢測器。自建數據集上的實驗結果顯示，所提方法的mAP@0.5、mAP@0.5：0.95相比于傳統車輛檢測器增益分別提升了4.4%、2.8%，檢測速度可達21.05 f/s，證明本文方法有效解決了雨天檢測軍用車輛這種低可見度目標時出現的誤檢、漏檢等問題，提升了雨天條件下軍用車輛的檢測精度，為后續的軍事活動奠定了基礎，具有一定的實際應用價值。

注：本文通訊作者為仝秋紅。

參考文獻

[1] 鄭陸石，胡曉鋒，于偉國，等.基于改進YOLOv7?tiny的坦克車輛檢測方法[J].兵器裝備工程學報，2023，44（12）：285?292.

[2] DU X L， SONG L K， Lü Y N， et al. A lightweight military target detection algorithm based on improved YOLOv5 [J]. Electronics， 2022， 11（20）： 3263.

[3] 朱德利，熊昌，胡雪奎，等.基于注意力生成對抗網絡的單幅圖像去雨方法[J].計算機工程與應用，2021，57（15）：215?222.

[4] WANG C， PAN J， WANG W， et al. PromptRestorer： A prompting image restoration method with degradation perception [C]// Advances in Neural Information Processing Systems 36： Annual Conference on Neural Information Processing Systems 2023. [S.l.： s.n.]， 2024： 1?15.

[5] 胡待方，仝秋紅，柴國慶，等.雨天車輛檢測的兩階段漸進式圖像去雨算法[J].激光與光電子學進展，2023，60（22）：111?120.

[6] LI X， WU J L， LIN Z C， et al. Recurrent squeeze?and?excitation context aggregation net for single image deraining [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 262?277.

[7] KANG L W， LIN C W， FU Y H. Automatic single?image?based rain streaks removal via image decomposition [J]. IEEE transactions on image processing， 2012， 21（4）： 1742?1755.

[8] EIGEN D， KRISHNAN D， FERGUS R. Restoring an image taken through a window covered with dirt or rain [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2013： 633?640.

[9] ZAMIR S W， ARORA A， KHAN S H， et al. Multi?stage progressive image restoration [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. New York： IEEE， 2021： 14821?14831.

[10] HU M D， WU Y， YANG Y Z， et al. DAGL?Faster： Domain adaptive faster R?CNN for vehicle object detection in rainy and foggy weather conditions [J]. Displays， 2023， 79： 102484.

[11] WANG R， ZHAO H， XU Z W， et al. Real?time vehicle target detection in inclement weather conditions based on YOLOv4 [J]. Frontiers in neurorobotics， 2023， 17： 1058723.

[12] 李昂，王晟全，鄭寶玉，等.改進的用于軍用車輛目標檢測的RetinaNet[J].電光與控制，2020，27（10）：78?82.

[13] 陳琳國，熊凌，代啟亮，等.基于改進YOLOv7的PDC鉆頭復合片檢測[J].計算機系統應用，2024，33（2）：216?223.

[14] 虞志軍，王國棟，張鐔月.基于增強多尺度特征網絡的圖像去模糊[J].激光與光電子學進展，2022，59（22）：264?271.

[15] 魯正威，張篤振.一種基于Uniformer Transformer與UNet的圖像降噪模型[J].南京師范大學學報（工程技術版），2023，23（1）：39?45.

[16] CHEN L Y， CHU X J， ZHANG X Y， et al. Simple baselines for image restoration [C]// 17th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2022： 17?33.

[17] CHEN L Y， LU X， ZHANG J， et al. HINet： Half instance normalization network for image restoration [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 182?192.

[18] LI Y， TAN R T， GUO X J， et al. Rain streak removal using layer priors [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 2736?2744.

[19] ZHANG H， SINDAGI V， PATEL V M. Image de?raining using a conditional generative adversarial network [J]. IEEE transactions on circuits and systems for video technology， 2020， 30（11）： 3943?3956.

[20] YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 1685?1694.

[21] ZHANG H， PATEL V M. Density?aware single image de?raining using a multi?stream dense network [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 695?704.

[22] FU X， HUANG J， ZENG D， et al. Removing rain from single images via a deep detail network [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 1715?1723.

基金項目：國家重點研發計劃（2022YFC3002602）；“兩鏈”融合企業（院所）聯合重點專項?工業領域（2022LL?JB?03）

作者簡介：蘇勝君（1999—），男，山東泰安人，碩士研究生，研究方向為圖像處理、目標檢測。

仝秋紅（1963—），女，陜西西安人，博士研究生，教授，特聘研究員，研究方向為自動駕駛、智慧交通。

柴國慶（1998—），男，陜西咸陽人，博士研究生，研究方向為圖像處理。

蘇海東（1982—），男，陜西西安人，碩士研究生，工程師，研究方向為智能網聯汽車。

王" 凱（1999—），男，陜西咸陽人，碩士研究生，研究方向為目標檢測。

胡待方（1999—），男，瑤族，湖南郴州人，碩士研究生，研究方向為圖像處理、目標檢測、無人駕駛。