駕駛員行為檢測的MASK R-CNN模型實現(xiàn)

上海中安電子信息科技有限公司 高 文

駕駛員的行為不僅會對自身安全產(chǎn)生影響，也會對整體交通安全產(chǎn)生影響。通過實時檢測駕駛員的不良行為，對駕駛員進行有效的監(jiān)督和警示，可以減少惡性交通事故發(fā)生的概率，提高交通的整體安全性。本文研究基于深度神經(jīng)網(wǎng)絡的駕駛員行為檢測方法，通過構(gòu)建用于目標檢測的深度神經(jīng)網(wǎng)絡Mask R-CNN，并在樣本圖像庫上對該神經(jīng)網(wǎng)絡進行精調(diào)，使之能夠識別出駕駛員的頭部、手、方向盤、手機、香煙、座椅等多個目標，定位邊框位置和大小，從而檢測出駕駛員雙手不握方向盤、單手握方向盤、吸煙、打手機、脫崗等多種危險駕駛行為。

1 基于深度學習的目標檢測算法

目標檢測是計算機視覺領(lǐng)域的一個非常具有挑戰(zhàn)的研究課題，它的任務是找出圖像當中所有感興趣的目標，確定其位置和大小。

傳統(tǒng)的目標檢測方法，大致分為三個步驟：首先是區(qū)域選擇，一般采用滑動窗口的策略對整幅圖像進行遍歷，通過不同尺寸，不同長寬比的滑動窗口能選出不同大小的目標所在的區(qū)域。然后是特征提取，通常采用Haar特征、蓋伯特征、LBP特征、HOG特征、SIFT特征等對行人和普通目標進行檢測。最后，通過之前的特征，使用已經(jīng)訓練好的分類器如SVM，Adaboost等進行分類。

傳統(tǒng)的目標檢測方法有如下幾個問題：光線變化較快時，算法效果不好；緩慢運動和背景顏色一致時，不能提取特征像素點；時間復雜度高；抗噪性能差。近年來，隨著深度學習的發(fā)展，基于卷積神經(jīng)網(wǎng)絡的目標檢測算法逐漸成為主流。其優(yōu)勢在于可以根據(jù)數(shù)據(jù)集自動提取特征，而且對形變、光照等變化具有一定程度的不變性。

基于深度學習的目標檢測算法主要分為兩個關(guān)鍵子任務：目標分類、目標定位。其中目標分類主要負責判斷輸入的圖像區(qū)域內(nèi)是否有目標物體，并返回表明該區(qū)域內(nèi)存在感興趣的物體的分數(shù)，即可能性的標簽。目標定位則負責確定輸入的圖像區(qū)域中感興趣物體的位置和范圍，通常返回bbox（bounding box）來表示物體的位置信息。

目前基于深度學習的目標檢測算法大致分為：

（1）基于回歸區(qū)域的目標檢測（One-Stage）：這類檢測算法不需要生成候選區(qū)域，通常采用一個階段直接產(chǎn)生物體的bbox和類別概率。把目標對象的檢測問題直接作為一個位置坐標和置信度評分的回歸問題來處理，可一次性實時預測多個目標對象的類別和邊框位置。目前主流的算法有SSD模型，YOLO模型等。

（2）基于候選區(qū)域的目標檢測（Two-Stage）：這類檢測算法分為兩個步驟，首先對輸入的圖像生成候選區(qū)域，之后在步驟二中對該候選區(qū)域進行分類。預先找出圖中目標可能出現(xiàn)的位置，通過利用圖像中的紋理、邊緣、顏色等信息，保證在選取較少窗口的情況下保持較高的召回率。目前主流的算法有Faster R-CNN，Mask R-CNN模型等。

2 Mask R-CNN算法介紹

區(qū)域卷積神經(jīng)網(wǎng)絡（Regions with CNN features）使用深度模型來解決目標檢測。首先對每一張輸入圖像使用選擇性搜索（Selective search），來選取多個高質(zhì)量的提議區(qū)域（region proposal）；接著對每一個提議區(qū)域，將其縮放（warp）成卷積神經(jīng)網(wǎng)絡需要的輸入尺寸；然后選取一個預先訓練好的卷積神經(jīng)網(wǎng)絡，去掉最后的輸出層來作為特征抽取模塊；然后將每一個提議區(qū)域提出的CNN特征輸入到支持向量機（SVM）來進行物體類別分類；最后，對于支持向量機分好類的提議區(qū)域做邊框回歸，訓練一個線性回歸模型來預測真實邊界框，校正原來的建議窗口，生成預測窗口坐標。

R-CNN的主要性能瓶頸在于需要對每個提議區(qū)域（region proposal）獨立的抽取特征，這會造成區(qū)域會有大量重疊，獨立的特征抽取導致了大量的重復計算。因此，2015年出現(xiàn)的Fast R-CNN對R-CNN的一個主要改進在于首先對整個圖像進行特征抽取，然后再選取提議區(qū)域，從而減少重復計算。它將Fast R-CNN中的選擇性搜索替換成區(qū)域提議網(wǎng)絡（region proposal network）。RPN以錨框（anchors）為起始點，通過一個小神經(jīng)網(wǎng)絡來選擇區(qū)域提議。

Faster R-CNN在物體檢測中已達到非常好的性能，Mask R-CNN在2018年被提出，在此基礎(chǔ)上更進一步，對每一個目標物體，不僅給出其邊界框，并且對邊界框內(nèi)的各個像素是否屬于該物體進行標記。Mask R-CNN和Faster R-CNN一樣是兩階段框架，第一階段掃描圖像生成候選框；第二階段根據(jù)候選框得到分類結(jié)果，邊界框，同時在原有Faster R-CNN模型基礎(chǔ)上添加分割分支，得到掩碼結(jié)果，實現(xiàn)了掩碼和類別預測關(guān)系的解耦。

Mask R-CNN算法具有以下特點：

（1）分割任務與定位、分類任務是同時進行的；

（2）引入了RoI Align代替Faster RCNN中的RoI Pooling；

（3）引入語義分割分支，實現(xiàn)了mask和類別預測的關(guān)系的解耦，mask分支只做語義分割，另一個分支進行類型預測的任務。

3 工程實例

以上海中安電子信息科技有限公司開發(fā)的“公交主動安全預警系統(tǒng)”為例，需要利用專用攝像頭實時采集駕駛員的圖像和車輛前方行駛情況，通過對駕駛員臉部疲勞狀態(tài)、不安全駕駛行為進行精確分析判斷，進行聲音預警、人工調(diào)度干預，從而減少交通事故發(fā)生。

對駕駛員行為檢測的預期目標是：五種駕駛行為（雙手不握方向盤、單手握方向盤、吸煙、打手機、脫崗）同時檢測的平均時間不超過1s/每幅圖，并且算法準確率和召回率不小于80%。

基于比較分析，我們挑選了基于PyTorch深度學習框架的Mask R-CNN算法作為目標檢測的模版。輸入一張任意大小的駕駛室右側(cè)俯視攝像頭的圖像，通過設(shè)計并訓練好的模型，檢測7種不同目標的位置和大小：駕駛員的手、駕駛員的頭部、手機、拿著手機的手、方向盤、香煙、空座椅。

考慮到在駕駛員與物體互動的過程中，目標距離近，目標發(fā)生重疊，目標較小的可能性廣泛存在。因要對目標在圖像上的相對位置進行判斷，所以對于目標邊框的精確度要求交高。在Mask R-CNN框架中，特征提取選用ResNet-101-FPN，RoI選取RoI Align，Classifier選取全連接+softmax分類器。

對檢測結(jié)果進行分析是一個多標簽分類任務，本系統(tǒng)中的四個標簽的關(guān)聯(lián)性并不強，可以直接采用一階策略進行多標簽分類任務對各個目標進行分析：如果駕駛員頭部與空駕駛員座椅均未檢出，則攝像頭已經(jīng)被遮擋；如果駕駛員頭部與手機、耳機距離近或重合，則該駕駛員在打電話；如果在圖像中檢測出香煙，則該駕駛員在抽煙；如果在圖像中檢測出空駕駛員座椅，或者駕駛員頭部未檢出，都可認為該駕駛員已經(jīng)脫崗。

經(jīng)過200次實驗驗證，五種駕駛行為的識別準確率接近90%，高于其它的目標檢測算法。并且適用于重疊目標檢測和小目標檢測，速度約為2fps，達到了我們的設(shè)計需求。

結(jié)論：由于無需進行人工的特征設(shè)計、良好的特征表達能力及優(yōu)良的檢測精度，目前，基于深度學習的目標檢測算法已經(jīng)超越傳統(tǒng)檢測方法，成為當前目標檢測算法的主流。從R-CNN、FAST R-CNN、FASTER R-CNN、到MASK R-CNN，經(jīng)過三年時間的演進，計算機視覺領(lǐng)域取得了巨大的飛躍，我們可以在保持快速檢測數(shù)據(jù)的前提下，進一步改進了小物體的定位精度。在公共交通安全領(lǐng)域，有效解決了視頻存在運動模糊、遮擋、形態(tài)變化、光照變化、背景變化等檢測不準確的問題，確保駕駛員的不良駕駛行為能被有效檢出，并提供主動預警支持，從而提升了駕駛安全。