針對(duì)夜間昏暗行車環(huán)境的疲勞駕駛檢測(cè)

張金錢

（貴州大學(xué)電氣工程學(xué)院，貴陽 550025）

1 引 言

根據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，疲勞駕駛是導(dǎo)致道路交通事故發(fā)生背后的主要原因之一［1］。疲勞駕駛對(duì)駕駛員和其他交通參與者同時(shí)構(gòu)成嚴(yán)重潛在威脅，對(duì)疲勞駕駛行為進(jìn)行快速準(zhǔn)確的檢測(cè)與預(yù)警，及時(shí)高效地給予提醒，將會(huì)大幅減少由于疲勞駕駛所引發(fā)交通事故的可能性。

疲勞駕駛檢測(cè)技術(shù)根據(jù)監(jiān)測(cè)內(nèi)容不同可劃分為多種類型，例如基于駕駛員生理指標(biāo)，基于車輛運(yùn)行狀態(tài)特征，或基于駕駛員面部特征等的疲勞程度檢測(cè)。徐禮勝等人［2］提出短時(shí)的心電信號(hào)特征的駕駛疲勞識(shí)別檢測(cè)算法，將獲取R-R 間期序列的時(shí)域/頻域特征與利用深度卷積神經(jīng)網(wǎng)絡(luò)獲取的特征相結(jié)合，利用隨機(jī)森林分類出疲勞特征；張明明［2］提出提取駕駛員對(duì)方向盤的握力特征和腦電特征，然后利用BP 神經(jīng)網(wǎng)絡(luò)方法建立基于握力特征和腦電特征的疲勞檢測(cè)模型。朱玉斌等人［4］用漸進(jìn)校準(zhǔn)網(wǎng)絡(luò)（PCN）檢測(cè)人臉圖像，通過基于CNN 的回歸模型定位人臉關(guān)鍵點(diǎn)并提取眼睛和嘴部圖像，用寬度學(xué)習(xí)系統(tǒng)（BLS）分別識(shí)別面部狀態(tài)，但這種檢測(cè)方法的外部光線對(duì)識(shí)別的準(zhǔn)確率影響較大。

2 EnlightenGAN 網(wǎng)絡(luò)低光增強(qiáng)

相較于日常的行車過程中，深夜至凌晨時(shí)段行車更加容易出現(xiàn)駕駛員的疲勞駕駛現(xiàn)象。同時(shí)由于夜間外部光線較弱，很容易導(dǎo)致夜間準(zhǔn)確率顯著下降。此處采用基于EnlightenGAN［5］網(wǎng)絡(luò)低光增強(qiáng)的圖像預(yù)處理方法來嘗試解決這一問題，即通過攝像頭所采集到的人臉視頻圖像進(jìn)行低光增強(qiáng)處理，提高圖像的曝光度，以此提高低光條件下疲勞駕駛檢測(cè)的準(zhǔn)確率。

由于日常駕駛過程中同時(shí)獲取相同視覺場景的低光和普通光照?qǐng)D像存在一定的難度，此處采用EnlightenGAN 這種高效無監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)，可以在缺乏低/正常光圖像對(duì)的情況下進(jìn)行訓(xùn)練，避免了對(duì)成對(duì)訓(xùn)練數(shù)據(jù)的依賴。EnlightenGAN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 EnlightenGAN 網(wǎng)絡(luò)結(jié)構(gòu)原理圖

EnlightenGAN 的生成器用于通過U-Net 架構(gòu)執(zhí)行圖像生成和增強(qiáng)。生成器接受弱光圖像及其相應(yīng)的注意力圖作為輸入。注意力圖僅基于輸入圖像的照明強(qiáng)度來生成。根據(jù)U-Net 架構(gòu)，EnlightenGAN網(wǎng)絡(luò)先生成一組具有多個(gè)比例尺的特征圖，并調(diào)整注意力圖的大小以適合每個(gè)特征圖，然后與所有中間特征圖相乘。隨后，逐元素相乘并進(jìn)行加法運(yùn)算以生成增強(qiáng)圖像。

將此圖像作為輸入發(fā)送到EnlightenGAN 的判別器，該判別器由全局和局部判別器組成，用以處理空間變化的光照條件。全局判別器鑒別整個(gè)圖像，而局部鑒別器使用從圖像中剪切的隨機(jī)塊來鑒別圖像的部分信息。

全局判別器D 和生成器G 的損失函數(shù)定義如下式：

其中DRa為判別器的函數(shù)，xr與xf表示從真實(shí)和虛假分布中采樣。

對(duì)于局部判別器，五個(gè)圖像塊均是在模型輸出圖像與原始真實(shí)圖像中隨機(jī)裁剪。局部判別器和發(fā)生器的損失函數(shù)定義如下式：

為限制感知相似性，Johnson 等人［6］采用一種預(yù)先訓(xùn)練的VGG 對(duì)圖像之間的特征空間距離的感知損失。但在不成對(duì)設(shè)置中，限制輸入低光與其增強(qiáng)的正常光輸出之間的VGG 特征距離作為感知損失具有更佳的效果，被稱之為自特征保留損失，定義描述如下式：

其中，IL表示低光圖像的輸入，G（IL）表示生成器的增強(qiáng)輸出，Φi,j表示從預(yù)先訓(xùn)練的VGG-16 網(wǎng)絡(luò)中提取的特征圖像，i 表示第i 個(gè)最大池化層，j 表示第i個(gè)最大池化層后面的第j 個(gè)卷積層。Wi,j, Hi,j為特征圖的寬度和高度。在默認(rèn)狀態(tài)下，i=5，j=1。

對(duì)于局部判別器，來自裁剪輸入和輸出圖像的局部圖像塊也有相似定義的自特征保持損失局部特征點(diǎn)，用來進(jìn)行正則化。EnlightenGAN 網(wǎng)絡(luò)模型的整體損失函數(shù)如下式：

3 SSD 目標(biāo)檢測(cè)算法

SSD（Single Shot Multibox）使用簡化VGG16 作為基礎(chǔ)網(wǎng)絡(luò)，并在其末端添加額外的卷積層，在其中和基礎(chǔ)層中選擇一些不同大小的層，用以預(yù)測(cè)每個(gè)比例上一些默認(rèn)框的分?jǐn)?shù)和偏移量。這些預(yù)測(cè)是由單個(gè)卷積層生成的，各層的卷積核數(shù)量與默認(rèn)框數(shù)量以及預(yù)測(cè)類別數(shù)量有關(guān)。SSD 是一種高效的單級(jí)物體檢測(cè)器，算法結(jié)構(gòu)如圖2 所示。它通過兩個(gè)2×2卷積層預(yù)測(cè)默認(rèn)邊界框的類別分?jǐn)?shù)和位置偏移。

圖2 SSD 算法網(wǎng)絡(luò)結(jié)構(gòu)示意圖

為了針對(duì)不同尺度的物體進(jìn)行檢測(cè)，SSD 增加了一系列逐漸變小的卷積層，用以生成金字塔特征圖，如圖2 所示。

圖3 特征金字塔生成方法

隨后，根據(jù)層的感受野大小設(shè)置相應(yīng)的錨點(diǎn)大小，并使用NMS（非最大抑制）對(duì)最終檢測(cè)結(jié)果進(jìn)行后處理。因?yàn)镾SD 直接從平面ConvNet 特征地圖中檢測(cè)對(duì)象，所以它可以實(shí)現(xiàn)實(shí)時(shí)對(duì)象檢測(cè)，并且比大多數(shù)其他最先進(jìn)的對(duì)象檢測(cè)器處理得更快。

在目前基于通信網(wǎng)的目標(biāo)檢測(cè)中，目標(biāo)識(shí)別和定位之間存在著矛盾。利用更深層次的ConvNet，特征映射可以更加充分地傳遞平移不變性語義信息，有利于目標(biāo)識(shí)別，但不利于目標(biāo)定位。針對(duì)這一矛盾，SSD 采用特征金字塔來檢測(cè)不同尺度的物體。對(duì)于作為主干網(wǎng)絡(luò)的VGG16［7］，以具有特征步幅8 的Conv4_2 檢測(cè)小物體，具有特征步幅64 的Conv8_2檢測(cè)大物體。

這種策略是合理的，因?yàn)樾∥矬w在淺層不會(huì)丟失太多位置信息，而大物體在深層也可以很好定位和識(shí)別。問題在于：淺層生成的小對(duì)象特征缺乏足夠語義信息，導(dǎo)致小對(duì)象檢測(cè)性能較差。

為了解決上述問題，在傳統(tǒng)SSD 算法的基礎(chǔ)上增加了一個(gè)輕量級(jí)、高效的特征融合模塊，提出特征融合SSD 算法（Feature Fusion Single Shot Multibox Detector, FSSD）［8］，算法結(jié)構(gòu)如圖4 所示。

圖4 FSSD 算法網(wǎng)絡(luò)結(jié)構(gòu)示意圖

它首先定義特征融合模塊的框架，并抽象出目標(biāo)檢測(cè)中影響特征融合性能的關(guān)鍵因素；在特征融合模塊的體系結(jié)構(gòu)定義下，來自不同層的不同尺度的特征被投影并連接在一起；隨后批量歸一化［9］各層，以此歸一化特征值。在此處添加一些下采樣塊來生成新的特征金字塔，隨后饋送到多盒檢測(cè)器以產(chǎn)生最終的檢測(cè)結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)流程

基于EnlightenGAN 網(wǎng)絡(luò)低光增強(qiáng)檢測(cè)模型如圖5 所示，基于此模型設(shè)計(jì)實(shí)驗(yàn)。

圖5 EnlightenGAN 網(wǎng)絡(luò)低光增強(qiáng)檢測(cè)模型

實(shí)驗(yàn)以Windows10 系統(tǒng)為平臺(tái)，CPU選用AMD Ryzen 7-4800H；GPU 選用Nvidia GeForce GTX 1650 Ti；內(nèi)存配置16G 的DDR4。程序在PyCharm 環(huán)境中運(yùn)行。實(shí)驗(yàn)所用的數(shù)據(jù)集是通過在車內(nèi)搭建攝像頭實(shí)地采集了6 名駕駛員在夜間行車的面部視頻數(shù)據(jù)獲得的，共計(jì)24 個(gè)視頻數(shù)據(jù)，其中12 個(gè)對(duì)應(yīng)疲勞狀態(tài)，另外12 個(gè)對(duì)應(yīng)正常狀態(tài)。檢測(cè)驗(yàn)證流程如圖6。

圖6 檢測(cè)流程圖

將面部視頻數(shù)據(jù)截取為視頻幀圖片，作為FSSD網(wǎng)絡(luò)的分類數(shù)據(jù)來源。剔除無效的圖像，最終截取872 幀駕駛員面部圖像，其中對(duì)70%的圖像進(jìn)行EnlightenGAN 網(wǎng)絡(luò)增強(qiáng)，然后將其輸入到FSSD 分類網(wǎng)絡(luò)處理；剩余的20%圖像不做處理，直接輸入FSSD 分類網(wǎng)絡(luò)中。

4.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中，經(jīng)EnlightenGAN 增強(qiáng)后，圖片效果有明顯改進(jìn)，如圖7 所示。低光環(huán)境下的駕駛員面部圖像作為該算法的輸入，輸出為尺寸大小不變的增強(qiáng)后圖像。通過對(duì)比可知，經(jīng)EnlightenGAN 增強(qiáng)的圖像曝光度大幅提高，增強(qiáng)了分類網(wǎng)絡(luò)的識(shí)別能力。

圖7 算法增強(qiáng)圖片效果

實(shí)驗(yàn)也展示出圖像增強(qiáng)處理對(duì)FSSD 網(wǎng)絡(luò)識(shí)別人臉并定位駕駛員眼部位置的準(zhǔn)確概率的提升，如表1 所示。若檢測(cè)網(wǎng)絡(luò)無法識(shí)別駕駛員人臉, 更無法定位眼部，則眼部的開合狀態(tài)識(shí)別錯(cuò)誤。從實(shí)驗(yàn)結(jié)果可知, 直接輸入昏暗環(huán)境下的駕駛員面部圖像進(jìn)行檢測(cè), 檢測(cè)效果相比于引入低光增強(qiáng)處理的圖像有著明顯的差距, 主要原因在于駕駛環(huán)境的低曝光度的影響下, 所獲取的視頻圖像中駕駛員面部特征信息缺失, 極大增加了眼部定位的難度。在FSSD檢測(cè)之前, 引入EnlightenGAN 低光增強(qiáng)的方法, 增加了駕駛員的面部圖像曝光度, 從而檢測(cè)的準(zhǔn)確率會(huì)有著顯著提高。

表1 駕駛者眼部定位準(zhǔn)確率對(duì)比

識(shí)別駕駛員眼睛開合情況的實(shí)驗(yàn)結(jié)果如表2所示。采用未經(jīng)增強(qiáng)處理的檢測(cè)方法直接將獲取原始圖像作為檢測(cè)網(wǎng)絡(luò)的輸入，不考慮圖像的曝光度及質(zhì)量, 其相對(duì)應(yīng)的FSSD 網(wǎng)絡(luò)定位眼睛區(qū)域的準(zhǔn)確率明顯較低。引入低光增強(qiáng)的檢測(cè)方法可克服由于外部光線昏暗所引起的識(shí)別不準(zhǔn)確的缺陷，相較于前者準(zhǔn)確率有大幅提升。

表2 眼睛開閉狀態(tài)識(shí)別效果對(duì)比

判斷駕駛員是否處于疲勞狀態(tài)的依據(jù)為單位時(shí)間內(nèi)所截取的視頻幀（60 幀）中眼部閉合狀態(tài)的比值，這一比值高于20%則判定為疲勞狀態(tài)，反之則為正常狀態(tài)。在未通過低光增強(qiáng)處理和使用低光增強(qiáng)的兩種不同情況下，眼部閉合狀態(tài)檢測(cè)準(zhǔn)確率有著不同的實(shí)驗(yàn)表現(xiàn)，其結(jié)果如表2 所示。實(shí)驗(yàn)結(jié)果表明，利用數(shù)據(jù)集中的24 段視頻（12 段正常狀態(tài)、12 段疲勞狀態(tài)）進(jìn)行測(cè)試, 明顯可以看出引入EnlightenGAN 后檢測(cè)網(wǎng)絡(luò)在昏暗環(huán)境下的檢測(cè)準(zhǔn)確率有大幅提高。

表3 駕駛員疲勞狀態(tài)檢測(cè)效果實(shí)驗(yàn)對(duì)比

5 結(jié) 束 語

基于EnlightenGAN 網(wǎng)絡(luò)改進(jìn)昏暗環(huán)境下疲勞駕駛檢測(cè)效果是完全可行的。針對(duì)低光度場景，采用對(duì)駕駛員面部圖像進(jìn)行低光增強(qiáng)的方式，相當(dāng)于使圖片“變亮”，能夠助于FSSD 網(wǎng)絡(luò)準(zhǔn)確定位眼睛區(qū)域，從而更準(zhǔn)確地利用分類網(wǎng)絡(luò)對(duì)駕駛員眼部狀態(tài)進(jìn)行分類，真正判斷疲勞與否。實(shí)驗(yàn)結(jié)果直觀展示出引入EnlightenGAN 方法的檢測(cè)網(wǎng)絡(luò)相比直接檢測(cè)方法帶來的準(zhǔn)確率提升。所設(shè)計(jì)的算法行之有效，檢測(cè)方式與駕駛員身體無接觸，為夜間安全駕駛提供有力保障。