基于改進SRGAN的駕駛員異常行為檢測算法

關(guān)鍵詞：圖像超分辨率；駕駛員異常行為檢測；SRGAN；深度學習；ConvNeXt

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）36-00024-05"開放科學（資源服務(wù)） 標識碼（OSID） ：

0 引言

隨著汽車保有量的持續(xù)增長，交通安全問題已成為影響人身安全的主要問題之一。據(jù)公安部數(shù)據(jù)，2022年全國共發(fā)生交通事故254 609起[1]，平均每天發(fā)生約695起交通事故。研究表明，駕駛員的不良行為是導致交通事故的重要因素之一，駕駛分心導致的交通事故占重大事故的14%～33%[1]。在交通事故中，未系安全帶的駕駛員死亡率為75%，而系安全帶的生還率高達95%[2]。因此，對駕駛員異常行為的檢測具有重要的現(xiàn)實意義。

針對駕駛員異常行為監(jiān)測，許多學者開展了一系列研究。Zhao[3]等人通過改進YOLOv5的方式，對低照度圖像下駕駛員分心行為進行準確檢測。Huo[2]等人提出了一種STN-CNNs模型，通過加入空間變換神經(jīng)網(wǎng)絡(luò)，使檢測模型可以更好地定位圖像中的駕駛員區(qū)域，并通過改進的Hough變換檢測駕駛員安全帶佩戴情況，但由于數(shù)據(jù)集中部分圖片清晰度不高，影響了檢測精確度。針對這一問題，Kang[4]等人針對收集到的道路監(jiān)控駕駛員圖像噪聲明顯、圖像質(zhì)量低等問題，利用改進的EDSR模型進行圖像超分辨率，通過去掉BN層精簡模型結(jié)構(gòu)，有效提升了圖像重建質(zhì)量，但該研究未對駕駛員行為進行檢測。

為了解決上述問題，本文首先基于前期研究，構(gòu)建了駕駛員異常行為超分辨率數(shù)據(jù)集LD以及駕駛員異常行為目標檢測數(shù)據(jù)集SD。針對數(shù)據(jù)集中圖像清晰度不高和噪聲較為明顯的問題，本文提出了一種改進的超分辨率生成對抗網(wǎng)絡(luò)SRGAN[5]算法以提升圖像質(zhì)量。在四倍超分辨率任務(wù)中，盡管原始SRGAN 算法能夠生成相對清晰的圖像，但由于其生成器和判別器結(jié)構(gòu)的局限性，訓練過程不夠穩(wěn)定[6]，且在重建過程中容易丟失部分高頻信息，導致生成圖像出現(xiàn)紋理細節(jié)缺失、邊緣模糊等現(xiàn)象，進而影響重建效果。為了解決這些問題，本文提出了改進SRGAN算法引入ConvNeXt-v2[7]模塊替代原有模型中的殘差塊，以解決高頻特征丟失的問題，并增強算法對邊緣輪廓的感知能力。此外，在判別器中加入了金字塔注意力模塊，以減少噪聲干擾，進一步提升圖像質(zhì)量。最后，本文將改進的SRGAN超分辨率算法與YOLOv8目標檢測模型相結(jié)合進行對比實驗。實驗結(jié)果表明，本文提出的模型顯著提升了駕駛員異常行為檢測的準確性。

1 駕駛員異常行為監(jiān)測模型

1.1 數(shù)據(jù)集構(gòu)建

許多研究采用YawDD等駕駛員車內(nèi)視角公開數(shù)據(jù)集，主要針對駕駛員異常行為的事前預(yù)防和事中發(fā)現(xiàn)。然而，由于車內(nèi)自主監(jiān)控在現(xiàn)實中推廣難度較大，目前主要通過公共安全部門的懲戒性處罰方式來管理駕駛員行為。但是，從公共安全部門角度出發(fā)的針對駕駛員異常行為的研究較少，主要原因包括數(shù)據(jù)集構(gòu)建困難和城市道路圖像質(zhì)量較差，導致目標檢測效果不理想[8]。為解決上述問題，本文首先建立了城市道路監(jiān)控駕駛員行為數(shù)據(jù)集，并對數(shù)據(jù)圖像進行超分辨率重建。

1） 超分辨率圖像數(shù)據(jù)集構(gòu)建

為了提高模型對多樣化數(shù)據(jù)的魯棒性，并考慮監(jiān)控場景的特點，本文采用了兩個數(shù)據(jù)集聯(lián)合訓練。首先，使用DIV2K數(shù)據(jù)集[9]對模型進行預(yù)訓練，之后使用自建數(shù)據(jù)集LD進行微調(diào)，最終在LD數(shù)據(jù)集上評估模型的超分辨率效果。LD數(shù)據(jù)集的部分代表性圖片如圖1所示。

2） 目標檢測數(shù)據(jù)集構(gòu)建

自建的LD數(shù)據(jù)集覆蓋了不同的駕駛員行為，包括正常駕駛、未系安全帶、使用手機等。同時，數(shù)據(jù)集涵蓋了不同光照條件、單一駕駛員目標和多個車內(nèi)目標，以確保目標檢測模型在實際場景中的準確性。基于LD數(shù)據(jù)集，進一步建立了駕駛員異常行為目標檢測數(shù)據(jù)集SD。

SD數(shù)據(jù)集中包括658張正常駕駛圖像和1 295張異常駕駛行為圖像，其中訓練集1 562張，驗證集391 張，訓練集與驗證集的比例約為8∶2，具體如表1 所示。

對原始圖片進行篩選與裁剪后，使用LabelImg圖像標注軟件建立了PASCAL VOC格式的目標檢測數(shù)據(jù)集。對數(shù)據(jù)集中的駕駛員檢測區(qū)域進行了矩形邊界標注，示例如圖2所示。

1.2 SRGAN 殘差塊改進

ConvNeXt[10]是Facebook AI于2021年提出的深度卷積網(wǎng)絡(luò)模型，使用純卷積網(wǎng)絡(luò)實現(xiàn)了對Trans?former[11]模型性能的超越。ConvNeXt主要由4個階段（stage） 堆疊構(gòu)成，每個階段包含一個下采樣模塊和多個ConvNeXt塊。為了增強SRGAN網(wǎng)絡(luò)對圖像中物體邊緣輪廓的重建效果，本文借鑒了ConvNeXt-v2的思想，重新設(shè)計了原始SRGAN 網(wǎng)絡(luò)的殘差塊。ConvNeXt-v2版本去除了LayerScale，提高了模型的訓練速度；增加了GRN層以緩解特征折疊問題。改進的殘差塊結(jié)構(gòu)如圖3所示。

在改進的殘差塊中，使用LayerNorm層歸一化取代了原始SRGAN殘差塊中的BatchNorm層歸一化，以減少生成圖像中的偽影問題。同時，使用深度可分離卷積調(diào)整通道維度，進一步增強對圖片特征的提取能力。最后，經(jīng)過上采樣操作將特征圖放大為原來的4 倍。改進的生成器結(jié)構(gòu)如圖4所示。

1.3 金字塔注意力機制

為了提高算法對駕駛員圖像細節(jié)的關(guān)注度，有效抑制道路監(jiān)控圖像噪聲對生成圖像的干擾，并增強模型對復(fù)雜道路場景的魯棒性，本文在SRGAN判別器中引入了金字塔注意力機制[12]（pyramid attention） 。金字塔注意力機制能夠充分利用圖像中的跨尺度自相似性，顯著提高模型在面對噪聲或偽影等干擾時的魯棒性。金字塔注意力機制可用公式（1） 進行表述：

金字塔注意力模塊的結(jié)構(gòu)如圖5所示。在判別器中引入DW卷積，可以在減少模型參數(shù)量的同時增加模型寬度，從而提高模型的訓練速度[13]。改進后的SRGAN判別器結(jié)構(gòu)如圖6所示。將金字塔注意力模塊嵌入在第2個SRGANeXt模塊之后，幫助判別器在平均池化層判別前強化細節(jié)特征，有效提高判別器的區(qū)分能力。

1.4 YOLOv8目標檢測模型

YOLO[14] （You Only Look Once） 算法是一種基于CNN的目標檢測算法，可用于目標檢測、圖像分類等領(lǐng)域，具有檢測速度快、體積小、準確度高等優(yōu)點。YOLOv8是目前主流的單階段目標檢測算法，根據(jù)網(wǎng)絡(luò)深度、特征圖寬度及參數(shù)量大小，YOLOv8可分為YOLOv8-n、YOLOv8-s、YOLOv8-m、YOLOv8-l、YO?LOv8-x共5個版本。其中，YOLOv8-n的網(wǎng)絡(luò)卷積深度較小，檢測速度快。基于配置與輕量化部署的需求，本文選用YOLOv8-n作為目標檢測的基準模型。

YOLOv8-n主要由主干（Backbone） 、頸部（Neck） 和檢測頭（Head） 三個部分組成，其結(jié)構(gòu)如圖7所示。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境搭建

本文的模型訓練在云服務(wù)器上進行，服務(wù)器系統(tǒng)為Ubuntu 20.04，硬件配置包括12 GB 內(nèi)存的Intel?Xeon? Gold 6230 @ 2.1 GHz CPU 和6 GB 顯存的NVIDIA GeForce RTX 3060 GPU。實驗的軟件環(huán)境包括Conda 3.9科學計算包、Pytorch 2.0.1深度學習框架和Python 3.8，訓練過程中采用CUDA 11.7.1加速GPU 運算。改進的SRGAN模型訓練超參數(shù)設(shè)置如表2所示，優(yōu)化過程采用ADAM 算法，以提高模型的收斂速度。

2.2 重建圖像質(zhì)量評價指標

改進的SRGAN 模型使用DIV2K 數(shù)據(jù)集進行訓練，并使用自建駕駛員異常行為數(shù)據(jù)集LD進行微調(diào)。為了增強數(shù)據(jù)，訓練圖像進行了隨機水平翻轉(zhuǎn)和90度隨機旋轉(zhuǎn)，同時將訓練集歸一化到[0，1]區(qū)間。

2.3 改進的SRGAN 算法效果展示

圖8 和圖9 分別展示了SRGAN 網(wǎng)絡(luò)與改進的SRGAN網(wǎng)絡(luò)在三個真實場景下駕駛員區(qū)域圖像重建效果的對比圖。

如圖9所示，在細節(jié)重建效果上，改進的SRGAN 相比原始SRGAN網(wǎng)絡(luò)提升明顯。引入改進后殘差塊的網(wǎng)絡(luò)模型對圖片邊緣提取了更多有用信息，對安全帶的輪廓重建效果更顯著，手部的細節(jié)更加真實，且質(zhì)量更加細膩。同時，加入金字塔注意力機制的SRGAN網(wǎng)絡(luò)在圖片噪聲抑制方面效果顯著，減少了圖片噪聲在重建時的干擾，提升了超分辨率圖像的質(zhì)量。

2.4 改進的SRGAN 算法消融實驗

針對SRGAN網(wǎng)絡(luò)在細節(jié)重建真實感較差、輪廓感知不明顯以及噪聲敏感等問題，本文引入Con?vNeXtv2模塊改進生成器與判別器的殘差塊，同時在判別器中加入金字塔注意力機制。為驗證改進方法對網(wǎng)絡(luò)重建效果的提升，本節(jié)對改進的SRGAN超分辨率算法進行了消融實驗。選用LD數(shù)據(jù)集中的測試集，放大因子為4倍。根據(jù)表3實驗結(jié)果可以看出，兩種改進方法均對網(wǎng)絡(luò)的重建能力有顯著提升。改進的SRGAN 網(wǎng)絡(luò)的PSNR 與SSIM 平均值相比原始SRGAN網(wǎng)絡(luò)分別提升了4.2251 dB和0.098，并且使用ConvNeXtv2代替殘差模塊對網(wǎng)絡(luò)的圖片重建效果提升最為明顯。

根據(jù)對模型重建過程中的特征圖分析可得，改進的SRGAN可以感知更多的高頻信息，保留圖像的紋理和邊緣方面，改進的SRGAN相比原始SRGAN表現(xiàn)得更好，同時對比度的提高體現(xiàn)出對不同特征之間的差異進行了更為明顯的區(qū)分，使生成圖像的輪廓更加清晰。

2.5 橫向?qū)Ρ葘嶒?/p>

為了體現(xiàn)改進的SRGAN網(wǎng)絡(luò)的有效性，本節(jié)選取了4個具有代表性的超分辨率算法進行橫向?qū)Ρ取３直媛仕惴ㄔ贒IV2K數(shù)據(jù)集和自建數(shù)據(jù)集LD上進行測試，實驗結(jié)果如表4 所示。可以看出，改進的SRGAN在PSNR指標上優(yōu)于其他算法，證明其在重建圖片精度上的優(yōu)勢。結(jié)構(gòu)相似度SSIM指標體現(xiàn)了模型對邊緣結(jié)構(gòu)的重建質(zhì)量，雖然改進的SRGAN 在SSIM指標上略低于EDSR，但生成的圖像在人眼感受上更加真實。為了更直觀地展示各算法的圖像重建效果，上述算法各自重建的圖像整體對比圖如圖11 所示。

2.6 改進SRGAN 對駕駛員異常行為檢測精度的驗證實驗

為驗證提出的改進算法在駕駛員異常行為檢測任務(wù)中的有效性，本節(jié)進行了改進SRGAN處理前后的駕駛員異常行為檢測精度對比實驗。實驗結(jié)果表明，加入改進SRGAN超分辨率算法可以提高YOLOv8算法對駕駛員異常行為檢測的精度。實驗結(jié)果如表5 所示，與單獨使用YOLOv8模型進行檢測相比，加入改進SRGAN處理后的圖像檢測AP精度提升了4.5%，改進對檢測精度的提升效果顯著。

3 結(jié)論

本文針對道路監(jiān)控圖像質(zhì)量較低對駕駛員異常行為檢測精度的影響，提出了一種基于ConvNeXt和金字塔注意力機制的改進SRGAN算法。通過改進生成器和判別器，引入ConvNeXt-v2模塊增強高頻特征提取與輪廓細節(jié)重建；在判別器中加入金字塔注意力機制，有效抑制噪聲干擾，提升了圖像重建的整體質(zhì)量。實驗結(jié)果表明，與原始SRGAN模型相比，本文提出的改進模型的PSNR和SSIM值分別提升了4.225 1dB和0.098，且在圖像重建細節(jié)效果上具有明顯優(yōu)勢。同時，通過將改進的SRGAN算法與YOLOv8目標檢測模型相結(jié)合，平均AP精度提升了4.5%，顯著提高了檢測準確度。

盡管取得了較好的效果，但仍存在模型參數(shù)量較大、推理速度有待提升等問題。未來研究將進一步優(yōu)化算法結(jié)構(gòu)，減少模型參數(shù)，提高推理速度，以實現(xiàn)更高效的實時應(yīng)用。