基于骨架關鍵點的車內異常行為識別方法

趙 雄，陳 平，潘晉孝

(中北大學信息探測與處理山西省重點實驗室，山西 太原 030051)

0 引言

車內異常行為嚴重影響著駕乘人員的安全，故車內視頻監控[1]平臺中人員行為識別技術的研究，已經引起了國內外的廣泛重視。由文獻[2]可知，異常行為是指發生的低概率行為，車內異常行為主要研究駕駛員的異常駕駛行為和車內駕乘人員之間會帶來安全威脅的異常接觸行為。

目前，國內外學者對異常駕駛行為識別方法的研究主要有以下3種：基于生理信號的方法，利用駕駛員的生理信號如腦電信號[3]、肌電信號[4]等判斷駕駛狀態，這種方法需要駕駛員佩戴復雜昂貴的儀器，會影響駕駛員的正常操作，如李江天等[5]提出的多源生理信號的駕駛疲勞檢測，駕駛員需要穿戴多類儀器監測各類生理信號；基于車輛運行參數[6]的方法，測量如方向盤旋轉率、加速度等參數推斷駕駛員駕駛狀態，這類方法受駕駛員操作習慣的不同等因素會導致誤識別率較高；基于人工特征的方法，提取圖像中如紋理、顏色和HOG(histogram of oriented gradient)[7]等人工特征，并進行多特征融合進而判斷駕駛行為[8]，這種方法突破了依靠單一特征的限制，但是對情況復雜的多分類異常駕駛行為難以識別或識別準確率低，如對多維時間序列進行異常點檢測[9]，并沒有對異常駕駛行為進行詳細的分類，單單識別駕駛行為是否屬于異常駕駛行為。

車內前排駕乘人員之間的異常行為識別方面，由于目前異常行為識別在車內的應用幾乎沒有，但是根據不同場景中不同的異常行為識別任務，可以有多種不同的檢測方法[10]，大致分為3個方面：基于行為關系的方法，使用統計模型檢測各類行為動作的相關聯程度，研究并且統計這些關聯程度識別異常行為，這類方法中常用的統計模型有顯著關聯規則模型[11]、高斯模型[12]和混合高斯模型[13]等，必須對大量樣本數據分析才能獲得效果好的關系模型；基于運動軌跡的方法，利用現有的目標跟蹤方法[14]，檢測人物運動歷史圖像中的軌跡是否出現異常軌跡點，使用跟蹤軌跡的速度與方向等特征來檢測[15-16]，如Tran等[17]利用時空路徑搜索方法對異常行為進行定位，再比如Nguyen等[18]提出共享結構的分層隱馬爾科夫模型用以分辨正常與異常軌跡，這類方法主要局限于容易形成運動軌跡的場景；基于底層特征的方法，通過提取圖像中如運動、視覺等特征建立相應模型進行識別，如依據光流特征構建模型如運動影響系數矩陣[19]或建立社會力力流圖像[20]，進而使用隱狄利克雷分布模型檢測識別，研究人員還提出了結合使用多種底層特征的綜合識別模型等，這類方法存在識別準確率低、誤診率高的問題。

由以上分析可知，目前的異常檢測方法難以準確分析車內異常行為，而且現有的車內沖突等駕乘人員異常接觸行為識別方法大部分都依賴于當事人員的事后報告，如滴滴打車軟件提供的“一鍵報警”功能，允許駕駛員和乘客在各自的終端上一鍵報警，服務平臺或警方可以進行警告和干預[21]。由于這些方法是由用戶手動觸發的，而且沖突雙方都傾向推遲報告，因此這種方法也不可靠。本文結合人體骨架關鍵點和概率神經網絡模型的優點，提出一種基于人體坐姿骨架關鍵點的車內異常行為識別方法，該方法可以精確識別人體姿勢，可以削弱甚至消除前文所述異常行為識別方法在車內場景中的局限性，并且對車內異常行為識別的準確率能夠達到90%以上。

1 網絡模型

1.1 骨架關鍵點檢測模型

上海交通大學MVIG(machine vision and intelligence group)實驗室提出的自上而下的開源項目模型Alpha pose，解決了目前關鍵點檢測方法存在的定位偏差、檢測冗余2個問題，而且文獻[22]中的實驗結果說明Alpha pose為目前準確度最好的網絡模型，故本文采用Alpha pose提取人體骨架關鍵點位置坐標。Alpha pose網絡結構如圖1所示。

圖1 Alpha pose網絡結構

Alpha pose的基本實現步驟如下：

a.采取YOLO(you only look once)作為人體目標檢測網絡，提取圖像中的人體候選框。

b.利用SSTN(symmetric spatial transformer network) + Parallel SPPE(single-person pose estimator)將得到的人體檢測候選框進行變換，預測關鍵點和姿態后再將預測的結果變換到原始圖片位置，得到原始圖片上人體骨架關鍵點的位置；另外PGPG(pose-guided proposals generator)增強了訓練樣本，作用于目標檢測和SPPE的訓練,提高了訓練的精度。

c.利用Pose-NMS(parametric pose nonmaximum suppression)計算pose的相似度，消除接近基準姿態的姿態。

1.2 概率神經網絡模型

概率神經網絡PNN(probabilistic neural network)于1989年由Specht博士首先提出，是一種常用于模式分類基于統計原理的神經網絡模型，在分類功能上與最優Bayes分類器等價，但是它不需要BP(error back propagation)算法進行反向誤差傳播的計算，而是完全前向的計算過程，所以PNN訓練效率高[23]，并且該網絡模型已被應用，如下肢運動趨勢判斷[24]、垃圾郵件分類[25]等。故本文采用PNN模型。

PNN的網絡結構如圖2所示,具體功能如下所述。

圖2 PNN網絡結構

第1層是輸入層，主要將輸入數據傳遞給模式層，神經元數量與輸入向量長度相等。

第2層是模式層，神經元數量與訓練樣本總數相等。采用非線性運算exp[(Xi-1)/σ2]取代S型函數作為激活函數，該層中第i類的j個神經元輸出的概率為

i=1,2,…,P;j=1,2,…,Li

(1)

P為訓練樣本總類數；Li為類別i的訓練樣本數；d為樣本數據的維度；Xij為第i類的第j個隱中心矢量；σ為平滑因子，一般在0～1之間，決定了樣本分類的準確度。

第3層是求和層，神經元數目與類別數一樣，把前一層中屬于同類的隱含神經元的輸出做加權平均，利用Parzen窗方法計算獲得i類類別的概率密度函數fi為

(2)

最后一層是輸出層，對求和層輸出歸一化處理求取測試樣本對應不同類別的概率，節點個數為1。

2 車內異常行為識別方法

2.1 駕乘人員坐姿參數模型

車內場景下，車內人員的行為動作基本由上半身的運動構成，下半身腿部的運動可以忽略不計，所以可以利用人體上半身骨架關鍵點的運動及坐標位置信息來分析識別車內異常行為。采用監控設備采集前排駕乘人員圖像，使用Alpha pose模型獲得人體上半身中左耳、左眼、鼻、右耳、右眼、左肩、右肩、左肘、右肘、左腕、右腕、左髖和右髖13個骨架關鍵點坐標位置，利用這些骨架關鍵點以及這些點之間連成的線段，構建了如圖3所示的人體坐姿骨架關鍵點模型。

圖3 人體坐姿骨架關鍵點模型

在對駕乘人員建立人體坐姿骨架關鍵點模型的基礎上，定位并且利用各個關鍵點坐標位置信息將駕乘人員坐姿狀態參數化，建立駕乘人員坐姿參數模型，如圖4所示，進一步簡化車內異常行為識別難度。

圖4 駕乘人員坐姿參數模型

2.2 車內異常行為判定方法

正常的行車環境中，車內前排駕駛員和乘客通常不應有任何聯系，如果他們彼此重疊或者足夠接近，那么就可能存在異常行為。因此，可以基于駕駛員和乘客的骨架關鍵點位置信息來檢測駕乘人員之間的異常行為。

當駕乘人員之間相互接近或者存在肢體接觸時，分屬不同人體的骨架關鍵點之間距離值也會變小，通過計算距離來對駕乘人員之間的異常行為進行識別。關鍵點之間的距離可以利用歐式距離公式來計算，即

(3)

ρ12為點(x1,y1)與點(x2,y2)之間的歐式距離。

如圖5a和5b所示，可以看到當駕駛員右腕接近副駕駛位乘客左臂時，即駕駛員右腕關鍵點與乘客的左肘或左腕關鍵點的歐式距離值很小，就可以判定此時駕駛員與乘客之間存在肢體接觸，可能為異常接觸行為；如圖5c和5d所示，可以看到當駕駛員右腕接近副駕駛位乘客的左臂或頭部時，即駕駛員右腕關鍵點與乘客的左腕或左耳關鍵點的歐式距離值很小，也可以判定此時駕駛員與乘客之間存在肢體接觸，可能為異常接觸行為。同理，針對副駕駛位乘客，也是通過上述方式判定乘客是否與駕駛員存在異常接觸行為。具體計算方法如下：以駕乘人員坐姿參數模型為基礎，計算模型中不同人體的各個骨架關鍵點之間的歐式距離，每張圖像中的1組距離會有13×13=169類距離，然后將這組距離作為輸入,利用該概率學習模型式(4)輸出異常概率值。

圖5 駕乘人員肢體接觸實例

p=f(P)

(4)

P為圖片上的1組距離；p為異常概率；f為將一組距離轉換為概率值的學習模型(f可以由下一節中的網絡學習模型訓練得到)。

2.3 概率學習模型訓練

圖2中，x1,x2,…,xd表示輸入向量，本文中指的是1張圖像中的1組距離值。

式(1)中，P=2即異常定義為1類與非異常定義為2類，P=3即異常定義為3，分別是使用手機、雙手離開方向盤、視角未看前方；d=169表示輸入的數據維度；σ為經驗值，本文分別將σ設置為不同的值并訓練后可知，σ=1.0時效果最佳，即分類的準確度更高。由于需要使用概率值判定異常行為，所以本文在PNN網絡結構上做了部分修改，去除了最后一層，直接使用前一層計算后的概率作為輸出。

引用上述的參數，利用標記好的訓練集作為PNN輸入進行訓練，當損失趨于穩定時停止訓練，即得到學習模型f。

3 實驗

3.1 實驗條件與數據準備

實驗環境為：系統為Windows 10；處理器采用Intel Corei7-6700 CPU，主頻為3.4 GHz；內存大小為32 GB；顯卡為GTX1080；軟件采用PyCharm 2018；編程環境為Python 3.7。

采用的數據采集設備是海康威視C2C無線Wi-Fi監控攝像頭，具備720P/1080P高清廣角畫面，且易于安裝。在對多個擺放角度及位置進行數據采集之后發現，攝像頭安裝在副駕駛位置前方時效果最優，可以獲取到車內前排駕乘人員整體坐姿圖像數據，具體安裝位置如圖6所示。

圖6 車內攝像頭安裝位置

實驗數據集是在SUV車內采集的4組視頻數據所分解后的圖像，一共包括4 287張駕駛員駕駛行為圖像和1 383張車內人員之間異常行為圖像。每張圖像中都包含1個駕駛員和副駕駛位1個乘客，而且能捕捉到整個坐姿輪廓。

另外一組測試數據集為包含著26位駕駛員的不同駕駛行為的Kaggle數據集，經整理，該數據集提供1 011張圖像，其中包含3類異常駕駛行為，分別是：使用手機、雙手離開方向盤和視角未看前方。

3.2 數據預處理與模型訓練樣本選取

利用Alpha pose檢測數據集中每張圖像的骨架關鍵點，然后對檢測出骨架關鍵點的圖像集合進行剔除冗余操作，具體操作：圖像上若檢測到骨架的數量大于圖像中的人員數量，則對這張圖像進行剔除。在剔除冗余后的4 255張駕駛行為自建數據集中，隨機選取80%作為訓練集訓練PNN模型，而剩余的20%和Kaggle數據集作為測試樣本進行仿真測試，對訓練集中3 404張圖像進行手工標記后即可開始訓練。其中，使用手機、雙手離開方向盤、視角未看前方的樣本數分別為973、1 167、1 264。同理，針對車內人員之間異常行為自建數據集剔除冗余與整理后剩余1 300張圖像，隨機選取80%作為訓練集，即1 040張圖像，其中異常行為的圖像數量為434張，非異常行為的圖像數量為606張。

3.3 異常駕駛行為檢測結果

針對測試集中的851張圖像進行異常駕駛行為檢測，其中使用手機、雙手離開方向盤、視角未看前方的樣本數分別為125、361、414，由于自建測試集集中同一張圖像上可能存在多種異常駕駛行為，所以檢測總樣本數加起來與851不相等。自建測試集檢測實驗結果如表1所示。

表1 基于骨架關鍵點方法的自建測試集檢測結果

對Kaggle數據集所提供的1 011張駕駛行為圖像數據集剔除冗余后，使用手機、雙手離開方向盤、視角未看前方的樣本數分別為550、150、300。因為每張圖像中只存在一種異常駕駛行為，所以準確率會略有提高。對比表1、表2可以看到，基于骨架關鍵點的車內異常行為識別方法對異常駕駛行為的識別準確率可以達到90%以上；再對比表2、表3可以看出，對相同數據集本文方法的準確率要高于基于協方差流形和LogitBoost的方法。

表2 基于骨架關鍵點方法的Kaggle數據集檢測結果

表3 基于協方差流形和LogitBoost方法的Kaggle數據集檢測結果

3.4 駕乘人員之間的異常行為檢測結果

由引言所述，由于多種因素的局限，目前異常行為識別的論文或方法在車內駕乘人員之間的應用很少，所以本文是通過設置不同的閾值來比較駕乘人員之間異常行為檢測的結果，主要是在本文的260張測試集上做測試，如表4所示。

表4 駕乘人員之間異常行為不同閾值檢測結果

由表4可知，當閾值較小時，車內人員間的異常行為識別準確率比閾值較大時要小，原因在于閾值較小，有異常接觸趨勢但不是明顯的異常接觸圖像被判斷為異常，致使TP(true positives，正樣本)數量下降，所以準確率會稍有降低；當取合適的閾值時(表4中為大于等于0.85)，駕乘人員間的異常行為識別準確率可以達到90%以上，完全可以應用到實際項目中。

4 結束語

針對車內前排人員的異常行為，提出基于人體坐姿骨架關鍵點的識別方法。首先利用Alpha pose提取人體骨架關鍵點并建立駕乘人員坐姿骨架模型，進而對關鍵點位置信息進行分析計算，將位置信息作為輸入對修改后的PNN模型進行訓練，最后利用PNN模型把位置信息轉換成概率，依靠概率值直觀地識別車內人員異常行為。相比之前的研究方法，本文方法對異常駕駛行為的識別準確率有所提高。另外，本文的實驗對象是車內前排駕乘人員，所以進一步的研究是將文中所提方法進行擴展完善，以便也能夠對車內后排乘客人員的異常行為進行識別，實現對車內整體異常行為的識別監控，并作為相關項目技術支撐。