基于多尺度卷積網絡的司機嘴部異常檢測①

壽 博, 朱 明

(中國科學技術大學 網絡空間安全學院, 合肥 230026)

1 引言

隨著我國經濟的平穩發展, 交通基礎設施的不斷完善, 人民的物質生活水平的不斷提高, 自駕出行成了越來越多人選擇的交通方式.汽車行業得以迅猛發展的同時也帶來了交通事故頻發的安全問題.

異常駕駛, 是指一切與正常駕駛行為不同的駕駛行為, 包括所有分散正常駕駛注意力的所有行為, 通常包括打電話, 喝水, 抽煙等行為.由于打電話, 喝水, 抽煙等行為導致駕駛員在駕駛時注意力難以集中, 此時遇到突發狀況, 駕駛員會出現反應不及時甚至陷入呆滯與慌亂, 以至于出現判斷失誤以及操作失誤, 造成交通事故.然而駕駛員的異常駕駛行為是可控的, 因此準確并且快速地檢測出駕駛員的異常駕駛行為, 可以有效地保障司機的出行安全, 長期還能讓司機養成規范駕駛的好習慣.

目前的基于視頻監控的異常駕駛檢測技術主要分為以下3類: 第1類是使用圖像特征分析的方法, 這類方法往往使用圖像處理技術直接分析圖片本身特征,比如膚色, 邊緣, 紋理等特征來判斷駕駛員是否存在異常行為[1-3].這類方法往往著眼于像素單位, 對采集到的圖片清晰度要求很高, 優點在于計算簡單, 檢測速度快, 但是容易受到光線的干擾, 魯棒性不高, 適合作為異常檢測的輔助手段.第2類是基于有監督學習的方法, 這類方法往往都有分類具體、標簽明確的異常動作圖片來做訓練集, 研究的主要目標也都局限在檢測訓練過的異常動作上[4-6].這種方法的缺點在于魯棒性較差, 不能檢測出訓練集之外的異常駕駛行為, 往往只能檢測某種單一的異常駕駛行為, 而且缺乏足夠的訓練集來訓練.第3類是基于無監督學習的方法, 這類方法一般只需要正常駕駛的圖片來訓練, 模型的目標是篩選出所有與正常樣本不同的數據樣本點, 也可以看作是一種單分類算法[7].這類方法的優點在于對未知的異常行為檢測魯棒性較高, 但是檢測效果沒有有監督的分類檢測方法好.基于以上問題, 本文提出了一種基于深度多尺度卷積網絡的駕駛員嘴部異常檢測算法, 該算法先通過人臉關鍵點檢測網絡多任務級聯卷積網絡(Multi-Task cascaded Convolutiona Neural Network,MTCNN)[8]來提取駕駛員人臉附近的異常高發區域,然后針對這一區域設計了改進后的卷積自編碼器(Convolutional Auto-Encoder, CAE)網絡結構來訓練并檢測嘴部區域發生的任何異常行為.

本文貢獻如下: (1)在傳統的CAE算法上做出3點改進: 1)編碼器端加入多尺度卷積結構, 并且實驗調優了多尺度卷積分支通道比例, 使得模型能夠更好地擬合輸入圖片特征; 2)加入skip connect結構, 使模型能夠更好地重構圖片; 3)訓練時加入噪聲, 使得模型檢測的魯棒性大大提高.(2)使用RGB攝像頭拍攝并建立了司機異常駕駛數據集.

2 相關工作

2.1 人臉關鍵點檢測

因為所檢測的異常發生區域都與人臉呈高度相關,所以我們首先需要對駕駛員面部區域做實時定位, 再根據人臉關鍵點位置, 得到相對原圖較小的嘴部區域圖片(如圖1所示), 通過這種方式可以減少大部分背景的干擾, 有利于提高檢測異常準確度.

圖1 嘴部區域提取

對于人臉關鍵點檢測, 我們使用了MTCNN模型進行識別[8].MTCNN是2016年中國科學院深圳研究院提出的用于人臉檢測任務的多任務神經網絡模型,該模型主要采用了3個級聯的網絡, 采用候選框加分類器的思想, 進行快速高效的人臉檢測.對于給定的一張包含人臉的原始圖片, 經過MTCNN網絡處理, 最終輸出人臉框和人臉的5個特征點, 包括左眼、右眼、鼻子、嘴唇和左右嘴角的坐標信息, 通過這些信息能得到待檢測的嘴部區域.

2.2 Autoencoder

Autoencoder, 自編碼器是傳統的無監督學習算法,它嘗試學習一個重構輸入的函數.Autoencoder接收一個輸入向量x∈Rd然后先將這個輸入向量通過非線性函數式(1)映射到一個向量h∈Rd′, 通常d＜d′,h也被稱為隱藏層表示.函數σ被稱為編碼器, 其參數θ包括權重W, 偏置b.

解碼器將隱藏層表示h作為輸入, 通過反向映射函數式(3)得到重構向量y, 其中y與x維度一致.

編碼器與解碼器的參數 θ ,θ′通過優化目標函數使得重構誤差最小而得到, 訓練集為Dn, 其中xn表示輸入信號,yn表示重構信號, 如式(5)、式(6)所示.損失函數L可以選擇均方誤差函數、聯合熵等常見損失函數.通過訓練后的自編碼器能夠通過計算輸入與輸出的重構誤差來檢測與訓練數據不同的數據, 即能檢測異常數據.

傳統的神經網絡自編碼器由全連接層組成, 忽略了二維圖像結構, 而CAE使用卷積神經網絡代替全連接層, 使得網絡的權重在輸入的所有位置之間共享, 保留了空間信息.CAE的編碼器映射函數如式(7)所示,hk表示第k個特征圖的隱藏層輸出, *表示2D卷積操作, σ表示非線性激活函數,wk表示卷積網絡的權重, 單一偏置bk被整個特征圖共同使用.

傳統的Autoencder模型分類中有一類編碼器被稱為降噪自編碼器(Denoising Auto-Encoder, DAE)[10].和自編碼器不同的是, 降噪自編碼在訓練過程中, 輸入數據是訓練數據和噪聲的疊加, 即相當于輸入數據被人為地“損壞”, 如式(9)所示降噪自編碼器的編碼器與式(1)不同, 輸入為x+x′, 解碼器與loss function均與式(3)、式(5)相同.x′即為噪聲, 通常使用服從標準正太分布的隨機噪聲, 其一維概率密度如式(10)所示.降噪編碼器的核心思路是一個能夠將被“損壞”的數據恢復正常的自編碼器比一個只能從正常數據恢復出正常數據的自編碼器優秀, 即降噪自編碼器能夠找到訓練數據更好地表示特征.從信息論的角度解釋即有噪聲的數據轉變成無噪聲數據, 訓練過程中信息量增大, 即降噪編碼器隱藏層中保留了更多信息.

3 算法

3.1 算法框架

本算法由人臉關鍵點識別網絡MTCNN和改進后的CAE組成, 如圖2所示, 由MTCNN檢測人臉框和人臉關鍵點信息進而得到嘴部區域圖片, 然后將嘴部區域圖片作為輸入, 改進后的CAE模型重構嘴部區域圖片, 通過計算重構誤差, 最終輸出嘴部區域是否存在異常.改進后的CAE框架結構如圖3所示, 模型的輸入為1×128×128的灰度圖片X_input, 經過7次多尺度卷積下采樣(灰色背景框內的網絡結構重復3次), 得到512×1×1的隱藏層特征表示, 再經過7次反卷積上采樣得到1×128×128的重構圖片, 模型的結構細節如表1所示.

表1 模型結構細節

圖2 算法整體框架

圖3 Multi-Scale Skipconnect Denoising CAE

3.2 多尺度卷積和池化層

為了提高對不同尺度的異常物體(如圖4所示)的檢測成功率, 受到GoogLeNet網絡[11]的啟發, 本文對編碼器的單層卷積網絡采用了與Inception相似的結構, 融合了4種不同尺度的卷積核, 能夠找到更優化的局部特征與全局特征.

圖4 嘴部區域異常示例

單層卷積和池化結構如圖5所示, 由4種卷積和池化層concat而成, 分別為2×2 MaxPooling層接1×1卷積層; 1×1卷積層接3×3卷積層; 1×1卷積層接兩個3×3卷積層; 1×1卷積層接3個3×3卷積層, 后面3個分支再接2×2 MaxPooling層.兩個3×3卷積的堆疊與一個5×5卷積的感受野相同, 3個3×3卷積的堆疊與一個7×7卷積的感受野相同, 利用這種方式既可以減少網絡的權重參數, 又可以增加網絡的深度, 從而更好地提取特征[12,13].

如圖3所示, 在編碼器的7次下采樣中, 每一層的Inception結構都需要確定圖5中從左到右4種分支的通道比例.經過筆者的不斷調參實驗, 最終確定的Inception分支通道比例如表2所示.前兩層分支通道比例為4:2:1:1, 后5層分支通道比例為1:1:1:1, 實驗結果表明在較底層下采樣時適當增加1×1分支和3×3分支的比例能夠更好提高的異常檢測效果, 原因在于這種通道比例能夠更細致的刻畫輸入圖片的局部特征.

圖5 編碼器單層卷積池化結構

表2 Inception 分支通道比例

3.3 Skip connect 結構

為了更好的重構圖片X_rec, 受到U-net網絡[14]的啟發, 我們在多尺度卷積自編碼器的基礎上, 加入skip connect結構.如圖3所示, 在編碼器網絡中, 每一次下采樣得到的Feature Map都傳遞到相對應解碼器網絡層, 解碼器網絡每一次上采樣時都在原有的輸入中疊加由編碼器傳遞的Feature Map.例如, 第1層下采樣輸出Feature Map為64×64×64, 與之對應的第7層上采樣的輸入Feature Map大小為64×64×64, 兩者疊加成大小為128×64×64的Feature Map進行第7層上采樣操作.由于從低層到高層都加入了skip connect 結構,輸入圖片的全局特征和局部特征都得到了更好的保留.

3.4 激活函數和目標函數

解碼器與編碼器每層卷積與反卷積之后都有激活函數, 編碼器采用的激活函數為LeakyReLU, 解碼器的最后一層的激活函數為tanh, 其他層的激活函數為ReLU.

ReLU數學表達式如式(11)所示, 當輸入值為負時輸出0,LeakyReLU數學表達式如式(12)所示, 輸入值為負時輸出ax, 系數a選定為0.2, tanh數學表達式如式(13)所示, 將網絡的輸出映射到[-1,1].解碼器輸出與輸入圖像維度相同的單通道矩陣.如式(14)所示, 目標函數L為L1 Loss, label值xi,j與輸入矩陣相同,xi,j′表示重構矩陣的值,m和n表示圖像矩陣的行和列.

4 實驗分析

4.1 數據集

本文采用的數據集是筆者自己采集的數據集.采集裝置在車輛駕駛室正前方如圖6所示.筆者使用1280×720分辨率的RGB攝像頭拍攝了一個數據集,整個數據集采集了10個人的行車視頻錄像, 每人采集兩段視頻, 第一段正常駕駛視頻, 時長20 min, 從中分別抽取了4000幀圖片, 再使用MTCNN檢測人臉區域得到嘴部區域, 剔除成像質量過差和人臉檢測失敗的圖片, 最終獲得3600幀嘴部區域圖片, 最后resize到128×128大小, 用于模型的訓練.第二段視頻每隔30 s做出抽煙, 喝水, 打哈欠, 吃食物等任意異常行為, 時長10 min, 用同樣的方法得到了600幀正常駕駛的嘴部區域圖片和600幀嘴部區域異常圖片, 用于測試模型的檢測效果.最終從所有視頻中獲取了48 000張圖片, 其中75%用于訓練, 25%用于測試.

圖6 數據集采集裝置

4.2 實驗過程

筆者在只含有正常駕駛圖片的訓練集上訓練模型,在既含有異常駕駛圖片又含有正常駕駛圖片的測試集上評價模型.評價的標準為AUC, AUC被定義為ROC(Receiver Operating characteristic Curve)曲線下與坐標軸圍成的面積, 其值越大表示分類效果越好.其中ROC曲線是根據一系列不同的閾值, 以真陽性率(True Positive Ratio, TPR)為縱坐標, 假陽性率(False Positive Ratio, FPR)為橫坐標繪制的曲線.本模型的閾值即為圖片的重構誤差, 計算方式為L1 Loss (式(12)), 值越大代表異常的可能性越高.如圖3所示, 訓練時輸入疊加了一個與輸入矩陣相同大小的服從標準正態分布的隨機噪聲, 用以提高模型檢測的魯棒性.學習率設置為0.002, 訓練的epoch為20, 為了防止過擬合的發生, 當訓練過程中Loss不再下降, 立刻停止訓練, 記錄此前的best AUC作為實驗結果.

4.3 實驗結果

為了驗證提出的改進方法的效果, 筆者做了模型自身的縱向對比實驗, 實驗結果如表3所示, 可以看到每處改進對實驗結果的提升.表中CAE為與模型結構相似的卷積自編碼器, 其中解碼器完全一致, 編碼器用kernel_size=4, stride=2, padding=1卷積代替原模型的Inception操作.表中Inception(Mix raito)即為表2所示的最佳分支通道比例.

表3 縱向對比實驗結果

為了驗證此模型的有效性, 筆者也與其他無監督檢測方法做了橫向對比實驗, 結果如表4所示, 可以看到模型的異常檢測結果優秀.

表4 橫向對比實驗結果

以約登指數尋找最佳ROC曲線閾值, 既尋找ROC曲線上橫坐標與縱坐標差異最大的點, 以這一點的閾值t作為分類標準, 重構誤差小于t視為正常駕駛, 重構誤差大于t視為異常駕駛.以檢測異常駕駛作為True Positives, 在12 000張測試圖片上實驗檢測效果, 給出實驗結果的混淆矩陣如表5所示.

表5 實驗結果的混淆矩陣

4.4 算法時間復雜度分析

模型使用如表6所示的配置機器上訓練, 為了證明該算法的實際應用效果, 筆者將訓練好的模型布置在嵌入式開發板NVIDIA Jetson TX2 (配置見表7)上測試檢測異常所需時間, 訓練用時和測試用時見表8、表9所示, 在嵌入式系統上檢測異常的幀率達到了3.38 fps, 基本滿足檢測需求.

表6 訓練所用機器配置表

表7 NVIDIA Jetson TX2配置

表8 訓練模型時間復雜度分析 (Frame=36 000)

表9 模型檢測時間復雜度分析 (Frame=12 000)

5 結束語

本文提出了一種基于多尺度卷積自編碼器的駕駛員嘴部異常檢測方法, 在檢測之前先利用人臉關鍵點檢測方法MTCNN篩選嘴部區域, 然后使用改進后的CAE進行異常檢測, 實驗表明加入多尺度卷積結構并優化分支通道比例、加入skip connect結構、訓練時加入隨機噪聲等改進方法能夠顯著提高異常檢測效果;與其他無監督檢測算法相比, 本文提出的算法表現優異; 在嵌入式開發平臺NVIDIA Jetson TX2上的算法復雜度實驗表明該算法具有實際應用價值.