面向低光照環境的車輛目標檢測方法

關鍵詞：車輛檢測；計算機視覺；低光照環境；圖像增強；目標檢測

中圖分類號：TP391.41；U495 文獻標志碼：A

車輛檢測在智慧交通系統以及城市安全等領域發揮著重要作用［1-2］. 現有計算機視覺技術難以準確識別復雜環境下的車輛，尤其在夜間或惡劣天氣條件下，其識別效果更差，這嚴重影響了車輛檢測的準確性和可靠性.

初期的車輛目標檢測研究是基于經典的圖像處理算法，如背景差分法［3］、幀間差分法［4］、模板匹配法［5］和光流法［6］等. 然而，以上基于傳統圖像處理技術的車輛識別方法對環境很敏感，在復雜場景下的魯棒性較差［7］. 近年來，隨著深度學習的快速發展，基于卷積神經網絡（Convolutional Neural Network，CNN）的目標檢測算法得到廣泛關注，具有檢測精度高且魯棒性強的優點. Zhang等［8］利用Faster R-CNN對8種類型的車輛進行目標檢測，并利用多目標追蹤算法實現車輛位置追蹤. Ge等［9］基于多攝像頭融合和YOLOv4 算法實現了全橋面車輛位置識別.Zhou等［10-11］利用Faster R-CNN識別9種不同車輛的類型、位置和行駛軌跡，并利用改進的壓縮感知算法進行車輛位置追蹤. Zhu等［12］利用YOLOv4進行車輛目標檢測，并通過二維識別框和三維識別框之間的關系重建車輛三維識別框，然后結合相機標定結果獲取車輛位置和尺寸. 上述基于深度學習的目標檢測算法大多是針對正常光照條件下的車輛檢測，難以適用于低光照條件［13］. 相比于正常光照下拍攝的圖像，低光照圖像存在亮度低、對比度低、噪聲水平高以及圖像細節特征丟失的問題［14］，這些問題嚴重影響了目標檢測精度.

低光照圖像增強技術是通過提升圖像亮度和對比度來提高圖像質量，同時盡量抑制圖像噪聲的放大和偽影的產生［15］. 目前，該技術已被廣泛應用于攝影、自動駕駛和安防等領域［16］. 低光照圖像增強算法分為傳統方法和基于深度學習的方法. 傳統方法分為直方圖均衡法［17］、伽馬矯正法［18］和基于Retinex理論［19］的方法，這些方法存在魯棒性差、容易丟失圖像細節、容易產生偽影和導致顏色失真等問題. 近年來，隨著深度學習算法的快速發展，基于數據驅動的低光照圖像增強方法引起了廣泛關注［20］. 基于深度學習的低光照增強算法可分為5類：監督學習、半監督學習、無監督學習、強化學習和零次學習［20］. 監督學習依賴成對的低光照和正常光照圖像進行訓練，例如LLNet算法. 由于這種成對的圖像獲取困難并且在成對數據上訓練的網絡的泛化能力有限，一些學者提出了半監督學習、無監督學習和強化學習的低光照圖像增強算法. 然而，半監督學習和無監督學習存在訓練不穩定和顏色偏移的問題，而強化學習［21］存在難以設計合理獎勵機制的問題. 為此，有學者提出了零次學習. 零次學習不需要成對的數據，可以直接從測試圖像學習，例如ZeroDCE（Zeroreference Deep Curve Estimation）網絡［22］通過特殊的損失函數來評估圖像增強的質量并基于此引導網絡的訓練. ZeroDCE網絡主要作為單獨的底層視覺任務用于提升低光照圖像的亮度和圖像質量，用于低照度環境下車輛目標檢測的研究相對較少.

針對低照度環境下車輛目標檢測精度低的問題，本文提出了一種結合低光照圖像增強算法和改進目標檢測算法的車輛檢測方法，實現低光照環境下車輛的高精度檢測. 首先，在目標檢測網絡之前引入低光照圖像增強算法ZeroDCE作為前處理，以提升圖像的亮度和對比度； 其次，將增強之后的圖像輸入到AFF-YOLO網絡中進行車輛檢測； 最后，在車輛數據集上驗證了本文方法的可行性，并分析了不同低光照等級對目標檢測精度的影響. 研究成果可為低照度環境下的車輛檢測提供參考.

1 車輛檢測的基本流程

針對低光照環境下車輛檢測準確度下降的問題，本文提出了一種基于低光照圖像增強算法的車輛目標檢測方法. 圖1為車輛檢測的應用場景，通過交通攝像頭獲取交通流視頻，并在圖像中設定一個虛擬檢測區域，僅對該區域內的車輛進行分析.

基于低光照圖像增強的車輛檢測流程如圖2所示，主要包括2個部分，即低光照圖像增強和車輛目標檢測. 在獲取交通流圖像后，將圖像輸入低光照增強模塊，通過ZeroDCE算法提高圖像的亮度和對比度. 然后，將增強后的圖像輸入車輛目標檢測模塊，該模塊的核心是改進的目標檢測算法AFF-YOLO.首先在YOLOv7中引入注意力特征融合模塊，該模塊融合不同尺度的圖像特征，能夠提升網絡檢測多尺度目標的能力；然后將經過增強的圖像輸入AFFYOLO目標檢測網絡以實現車輛檢測.

2 低光照圖像增強

2.1 ZeroDCE 網絡結構

ZeroDCE網絡是通過逐像素曲線調整的方式進行低光照圖像增強［23］. 具體來說，將低光照圖像輸入到ZeroDCE網絡，網絡輸出每一個像素的調整參數，然后利用調整參數對每一個像素的灰度值進行多次調整，得到增強后的圖像.

圖3為ZeroDCE的網絡結構. 網絡共有7層，每層都包含若干3×3大小的卷積核，卷積步長（stride）取1，邊界填充大小（padding）取1. 由于ReLU（Recti?fied Linear Unit）函數具有較高的計算效率和梯度傳播的穩定性，有助于網絡的快速收斂，因此網絡的前6層采用ReLU激活函數. ZeroDCE的最后一層采用Tanh激活函數，該函數能夠有效地將網絡的輸出規范到期望的范圍內. 將低光照圖像輸入到網絡中，經過多層卷積之后，網絡輸出圖像中每個像素點的曲線調整參數，其中每個參數具有24個通道，即調整參數大小為w×h×24. 其中，曲線調整參數的24個通道可以分為3組，分別對應低光照圖像的R、G 和B 顏色通道，每個顏色通道具有8組數據，對應后續8個迭代調整階段.

得到曲線調整參數后，利用該參數對低光照圖像灰度值進行迭代，迭代公式如式（1）所示：

式中：x 為像素點坐標；I（x）為對應位置的像素值；α為像素點坐標和顏色通道的曲線調整參數，且α∈［-1，1］；LE（I（x）； α）為對輸入像素值I（x）進行迭代的結果.

根據式（1），對低光照圖像進行8次迭代，得到增強后的圖像，其圖像增強過程如圖4所示. 假設8次迭代的α 均為0.3，相應的像素調整曲線如圖5所示. 從圖5可以看出，隨著迭代次數的增加，像素灰度值能夠被映射到較高區間，即達到了圖像增強的效果.

2.2 ZeroDCE 損失函數

ZeroDCE 算法設計了獨特的無參考損失函數，不需要任何配對或非配對數據，相較于其他低光增強算法更為輕量和高效. 這些損失函數包括以下4個關鍵部分：

1） 空間一致性損失函數，確保在圖像增強后圖像的空間結構（如邊緣和紋理）得到保留，避免因圖像增強產生空間失真. 其表達式如式（2）所示：

在ZeroDCE圖像增強模塊訓練時，使用SICE（Scene Illumination and Contrast Enhancement）多曝光圖像數據集. SICE數據集包含了589個不同場景下的圖像，其中包括各種不同曝光程度的圖像和相應的正常光照圖像. 在該數據集訓練100 個Epoch后，ZeroDCE網絡的損失值收斂，得到可用于車輛目標檢測前處理的圖像增強模型. 訓練時采用Adam優化器，批大小（batch size）取8，學習率取0.000 1，權重衰減因子（weight decay）取0.0001.

3 低光照目標檢測

3.1 AFF-YOLO 網絡

YOLOv7 是2022 年提出的YOLO系列目標檢測算法之一，在5～160 幀/s范圍內的檢測速度和準確度超過了其他目標檢測算法［24］. 因此，本研究以YOLOv7為基礎框架，提出了AFF-YOLO網絡，通過添加注意力特征融合（Attentional Feature Fusion，AFF）模塊，來解決多尺度目標檢測的問題.

AFF-YOLO的基本結構由輸入（input）、骨干網絡（backbone）和頭部（head）組成. 其中骨干網絡用于提取圖像中的多尺度特征，頭部用于對骨干網絡提取的特征進行進一步處理并根據圖像深層特征預測目標位置和類別.

3.2 注意力特征融合

多尺度通道注意力模塊（Multi-scale Channel At?tention Block，MS-CAB）可以融合圖像的局部和全局特征，緩解目標檢測過程中存在的目標尺度變換問題. 基于MS-CAB 模塊設計迭代AFF 模塊，并利用AFF取代原有YOLO的特征融合模塊，從而實現不同網絡層特征的融合. 改進的YOLOv7網絡見圖6，所引入的MS-CAB模塊以及AFF模塊見圖7.

3.3 網絡訓練

UA-DETRAC［25］是車輛多目標檢測的大型數據集. 該數據集中共標注了包括轎車、公共汽車、面包車和其他特殊車輛在內的121萬個目標，并且考慮了4種環境，即多云、夜間、晴天和雨天. 數據集示意圖如圖8所示.

在UA-DETRAC 中隨機選取6 567 張圖片作為訓練集，記為UA-DETRAC_train. 在UA-DETRAC_train上采用相同的超參數分別訓練YOLOv7和AFFYOLO.訓練輪數（epoch）取100，批大小取32. 訓練過程所采用的其他超參數為：采用隨機梯度下降（SGD）優化算法，初始學習率取0.01，權重衰減因子為0.0005，并且訓練過程中采用隨機縮放和裁剪、隨機旋轉和反轉、隨機亮度調整和馬賽克圖像增強等技術對數據集進行增強. 訓練所采用的配置為：操作系統為64 位Windows10 21H2，CPU 為Intel i7-9700K@3.6GHz，GPU為NVIDIA TITAN RTX；軟件環境為：Python 3.8.5、PyTorch 1.12.1以及CUDA 11.2.

4 結果分析

4.1 測試數據集

在長沙市繞城高速某處架設高清相機拍攝交通流，來驗證本文方法的可行性和識別準確性. 相機架設位置如圖9所示. 采用的拍攝設備為Nikon D5600相機，配備有一個AF-S DX 18-200 mm鏡頭，能夠以60幀/s的速度獲取1920像素×1080像素的視頻. 為了獲取不同亮度等級的交通流圖像，拍攝時間從下午6點持續到晚上9點. 將交通流視頻分幀獲取車輛圖像，從中選取2 427張圖像作為測試集，并人工標注車輛真實位置.

為了分析不同低光照程度對圖像質量和目標檢測的影響，將所有測試集圖像從RGB 空間變換到HSV空間以獲取圖像的平均亮度值，并利用k-means聚類算法將所有圖像劃分為3組，其平均亮度值如圖10所示. 由圖10可知，3組圖像整體都處于低光照狀態，并且低光程度由等級1至等級3遞減.

4.2 低光照圖像增強結果

將測試的低光照圖像輸入ZeroDCE網絡進行圖像增強，其結果如圖11所示. 從圖11可以看出，經過圖像增強后，亮度和對比度更高，圖像整體視覺效果明顯優于原始圖像，且圖像中車輛目標的特征更加突出.

為了定量評估圖像增強的有效性，選用PIQE（Perception-based Image Quality Evaluator）和基于深度學習的MUSIQ（Multi-scale Image Quality Trans?former）2種無參考圖像質量評價指標對低光照圖像和增強后的圖像進行測試，結果如表1所示. 圖像評價指標PIQE越小，表示圖像的質量越高，反之質量越低；而MUSIQ 指標越大，表示圖像質量越高. 從表1可以看出，經過圖像增強后，圖像平均PIQE值由14.05 降至6.84，而MUSIQ 指標由23.37 升至27.50，表明圖像增強算法能夠有效提升真實交通場景圖像的質量.

不同低光照程度對圖像質量的影響如表2 所示. 可以看出，低光照圖像增強算法對不同低光照等級下的圖像質量均有明顯的提升. 在低光照等級1的圖像上，經過增強后的PIQE指標下降最為明顯，而在低光照等級3的圖像上，經過增強后的MUSIQ指標提升最為明顯，增量達到7.05.

4.3 目標檢測結果

為了說明本文方法的優勢，首先對比了8種不同增強算法的性能，從增強算法對目標檢測精度的提升效果、算法的參數量和運行速度三個方面進行對比，結果如表3所示. 其中，目標檢測精度指標選用交并比（Intersection over Union，IoU）為0.5時的平均精度均值（Mean Average Precision，mAP）［26］. 由表3可知，不論是采用YOLOv7 或AFF-YOLO進行目標檢測，ZeroDCE 的增強效果在所有方法中均相對較好，并且ZeroDCE 具有參數量少、計算速度快等優勢.

從表3中可知，利用YOLOv7對原始低光照圖像進行目標檢測時，得到的mAP@0.5為0.898，而經過ZeroDCE 增強算法處理后，mAP@0.5 值達到0.938，提高了0.04. 在利用ZeroDCE增強的基礎上，再利用改進AFF-YOLO 得到的mAP@0.5 值為0.947，提高了0.049. 由此表明，ZeroDCE增強算法對目標檢測精度有很好的提升效果.

圖像中的車輛目標根據其大小可以分為小尺度、中等尺度目標和大尺度目標，測試集中只有中等尺度和大尺度目標，相應的檢測結果如表4所示. 從表中可知，使用ZeroDCE和YOLOv7時，中等尺度目標的檢測精度由0.357 提升至0.570，提高了0.213；在ZeroDCE基礎上使用改進的AFF-YOLO時，相較于YOLOv7在低光照圖像的檢測結果，檢測精度從0.357提升到0.677，提升了0.32. 由此表明，本文方法對于中等尺度目標檢測精度的提升效果更加顯著，而對于大尺度目標由于檢測相對容易，所以提升效果有限.

同時，將圖像根據低光照程度分為三個等級，不同低光照等級的車輛目標檢測結果，如表5所示. 利用YOLOv7 作為目標檢測模型時，在低光照等級1上，ZeroDCE 增強將mAP 值提升了0.058，在低光照等級2和3上，ZeroDCE增強僅將mAP值提升了0.03和0.023. 由此表明，在一定程度上光線越暗，圖像增強算法對目標檢測的提升效果越明顯.

最后通過圖像熱力圖來測試ZeroDCE前處理對目標檢測的影響. 利用GradCAM（Gradient-weightedClass Activation Mapping）對低光照圖像和經過ZeroDCE增強的圖像在YOLO中的特征信息進行可視化，如圖12所示. 紅色區域表示該部分的特征對最終的目標檢測結果有較大的貢獻，黃色區域表示該部分對目標檢測結果的貢獻次之，藍色區域表示該部分對目標檢測結果的貢獻較小，可以視為冗余特征. 由圖12以及其中的紅色標識框可以看出，相比低光照圖像，經過ZeroDCE增強之后的圖像的熱力圖中錯檢和漏檢的目標更少且紅色區域的顏色更深，即在增強圖像中網絡能更加關注到車輛目標的特征.

5 結 論

針對低光照環境下車輛檢測精度低的問題，本文提出了一種基于低光照圖像增強算法和改進目標檢測算法的車輛檢測方法，得出以下結論：

1）ZeroDCE低光照圖像增強算法可顯著改善低光照環境下的圖像質量，為低光照環境下的車輛目標檢測提供了基礎.

2） 低光照環境中，基于深度學習的目標檢測算法精度大幅下降，而低光照圖像增強算法可以有效地提升目標檢測精度，并且對中、小尺度目標檢測精度的提升更加明顯.

3） 提出了注意力特征融合YOLO算法，通過融合圖像的局部和全局特征，緩解了目標檢測過程中存在的多尺度目標檢測困難的問題.

本文方法不僅提高了低光照環境下的圖像質量，還提升了車輛檢測的準確性和魯棒性. 研究結果對于智慧交通系統、自動駕駛技術以及安全監控領域具有重要的借鑒意義. 在未來的研究中，會將本文方法應用于更復雜場景下的車輛檢測.