機車司機駕駛狀態監測方案的研究

王 瑩，趙守國，王 靜，王 珂

（1.北京交通大學計算機與信息技術學院，北京100044；2.中國鐵道科學研究院電子計算技術研究所，北京100081）

隨著鐵路事業的高速發展，列車駕駛安全性問題日益成為人們關注的焦點。本文提出了一種針對機車駕駛特殊性的機車司機駕駛狀態監測方案，通過對機車司機標準動作的檢測，判斷司機是否處于正常的駕駛狀態。主要框架為：

（1）對視頻文件進行預處理，得到僅包含手勢的圖像。即利用混合高斯模型對視頻文件進行背景建模，同時進行運動目標的檢測，即規范性手勢的監測。當檢測到運動目標出現時，停止對背景模型的更新。利用幀間差分法比較相鄰圖像幀間的差異，得到最小差異的圖像幀，即為規范性手勢出現的視頻圖像幀。對其進行背景減除，得到不含背景噪聲的手勢圖像幀。

（2）通過膚色模型對手勢圖像幀進行膚色區域的判定并提取出手勢區域，得到手勢的二值圖像。鑒于通過膚色模型轉換后可能出現空洞等現象，利用腐蝕與擴張等對其進行修正，最終得到清晰的手勢的二值圖像。

（3）對手勢的二值圖像進行標準性判斷與分析，主要通過2個方面：通過形狀上下文算法，將所得的手勢的二值圖像與標準手勢庫的形狀上下文算子進行比較，通過匹配代價的比較判定是否是標準的規范手勢； 通過HOG特征及AdaBoost分類器，判斷手勢的二值圖像是否是規定的手勢圖像，以及判定其標準性。

下面將詳細闡述手勢標準性判斷的算法—形狀上下文、HOG特征及AdaBoost分類器，并通過實驗數據說明上述算法的效果。

1 形狀上下文描述子

形狀即研究對象的輪廓，是對象識別的重要特征之一。通過將司機手勢與標準手勢相比較的方式判斷機車司機是否處于正常駕駛狀態，實現對機車司機駕駛狀態的監測。

1.1 形狀取樣

形狀上下文方法是假設待匹配物體內部或物體表面的邊緣輪廓上的離散的點，可以較好地表示待匹配物體的形狀信息，利用有限的點集來表示待匹配的圖像形狀。在計算圖像手勢的形狀描述子之前，需要對視頻文件進行圖像的獲取，獲取圖像中的手勢幀。利用膚色模型獲取了手勢幀的二值圖像后，利用Canny算子獲取其輪廓。從所獲得的圖像邊緣中進行點取樣，獲得點集，記為P={P1, P2…, Pn}, P1∈R2。一般均勻取樣即可。為了更好地表示圖像的真實形狀，需盡量滿足取樣點的質心坐標與原始對象的質心坐標一致。可以利用待檢測對象的質心坐標作為約束條件，實現邊緣點的確定。

點集P={P1, P2, …, Pn}中，對任何一點P1都可與剩余的n-1個點構成形狀直方圖，其計算公式為：

其中，k∈{1,2,…, K}, K為方向參數和距離參數的乘積。(q－pi)∈bin(k)表示相對于pi，點q屬于形狀直方圖的第k個分量。點集P={P1, P2, …,Pn}中的每點都可按上述公式逐次計算與其他n-1個點組成的形狀直方圖，得到n個形狀直方圖，存放在n●（(n－1）大小的矩陣中。

1.2 相似度比較

在得到2幅圖像的形狀直方圖后，計算其匹配代價。用hi(k)表示目標p中點pi的形狀直方圖，hj(k)表示目標q中點qj的形狀直方圖，則其計算如公式（2）[1]：

因此，我們可以得到n●n大小的矩陣C。下一步，基于矩陣C，進行點的匹配操作計算使得下式獲取最小值的值。

形狀上下文匹配過程原理如圖1。其中（a）圖為需要匹配的2個形狀，（b）圖表示尋找2個形狀的相似點，（c）圖表示相似點匹配的過程，（d）圖表示匹配結果。圖中可見，2幅圖像基本相同。

圖1 形狀上下文匹配原理圖

2 方向梯度直方圖特征及AdaBoost訓練器

方向梯度直方圖（HOG）特征在計算機視覺和圖像處理中有著廣泛的應用。HOG特征是一種用來進行物體檢測的特征描述子，用于靜態圖像或視頻中行人的檢測[2]。

HOG特征具體的實現方法是：首先將圖像分成小的連通區域，即cell。然后計算細胞單元中各像素點的梯度或邊緣的方向直方圖。最后把這些直方圖組合起來就可以構成特征描述器。為了提高性能，將局部直方圖在圖像的更大范圍內（即block）進行對比度歸一化處理。即計算各直方圖在該區間（block）中的密度，根據所求的密度對該區間（block）中的各個細胞單元（cell）做歸一化。歸一化后，可對光照的變化和陰影等獲得更好的效果。HOG特征的主要步驟為：

（1）Gamma空間和顏色空間的標準化，Gamma壓縮公式為：

（2） 計算圖像的梯度：按公式（5）和公式（6）計算梯度大小及梯度的方向：

Ang(x,y)=cos－1(I(x+1,y)－I(x－1,y)/r)（6）

（3） 構建圖像的每個細胞單元的梯度方向直方圖。

（4） 對比度歸一化，將cell中的梯度在block上歸一化。

（5） 檢測窗口中所有重疊的區間，進行HOG特征的收集，并將其結合作為最終的特征向量。

AdaBoost訓練器的核心思想是將較為容易得到的、正確率剛剛超過50%的弱分類器，通過反復訓練，整合成為正確率遠遠超過50%的強分類器，從而達到較好的圖像分類的目的。大量實驗訓練圖像經過上述HOG特征的計算后，利用Ada-Boost分類器進行分類訓練，得到可用于區分不同手勢的強分類器。

利用強分類器對待匹配的圖像的HOG特征進行分類，通過判斷手勢的規范性與標準性，判斷機車司機是否是正常駕駛。

3 實驗結果及分析

鐵路局軌道車管理辦法規定，機車司機在值乘期間，需做到“十六字令”的手比方式：

（1） 進站信號機顯示進正線停車時—伸出大拇指。

（2） 進站信號機顯示進側線停車時—伸出大拇指和小指。

（3） 進站信號機顯示通過時—伸出食指和中指。

（4） 注意信號或要求注意時—單臂攏拳曲伸。

（5） 停車信號或要求停車時—單臂攏拳上下急劇搖動。

從中提取4個基本手勢作為本文研究的對象，模擬機車駕駛過程中的部分手勢動作，將其從視頻文件中提取出來，進行一定的預處理，得到清晰、準確的規范性手勢。之后，對這些手勢進行后續的目標的識別與判斷。

3.1 手勢的獲取

視頻文件經預處理后便得到了手勢幀。對于手勢圖像，包含的主要信息為手勢，同時可能還含有一些噪聲，不利于手勢的判斷。因此需要對手勢幀進行膚色模型的轉換。膚色模型可以很好地將膚色信息與其他的顏色信息相區別。將膚色的像素置為一，其他的顏色像素置為零。這樣便可得到手勢的二值圖像。經膚色模型獲取的二值圖像中包含了部分空洞等現象，需要進一步的處理。數字形態學中的腐蝕與擴張可以很好地處理此問題。

3.2 手勢識別

機車司機的規范性手勢的判斷分為2部分：（1）HOG特征可以較為詳細地表明圖像的整體特征。（2）形狀上下文可以將目標物體的形狀較好地表示出來，進行相似性的判斷。將2者相結合，可以更為準確地對手勢的標準性進行判斷。

通過膚色模型的變換后，可以得到機車司機規范手勢的二值圖像，將此手勢與標準庫中的標準手勢進行比較，判斷其是否是所要求的規范性手勢，及其手勢的規范性是否滿足規定的要求。利用形狀上下文算法判斷手勢的標準性的實驗過程如表1。

表1 形狀上下文實驗結果

利用AdaBoost分類器對手勢進行分類，確定其是否是規范性手勢。在此之前，需要大量規范的手勢進行AdaBoost多分類器的訓練，得到區分不同手勢的強分類器。利用形狀上下文及HOG特征和AdaBoost分類器的實驗結果如表2。

表2 實驗效果

由表2可知，將形狀上下文算法和HOG特征相結合的方法，可極大地提高判斷的準確性。結果表明，所提出的方法能夠達到對手勢的準確判斷，可以作為機車司機駕駛狀態監測的方法之一。

4 結束語

鑒于機車駕駛標準的特殊性，本文提出了一種基于手勢的機車司機駕駛狀態研究的新方法。通過對機車司機手勢的識別與分析，判斷機車司機的駕駛狀態，實現機車司機駕駛狀態的監測。后續將通過算法的改進及提升硬件的配置來提升運算效率。在保證效率的前提下，可以將判斷機車司機的手勢、眨眼頻率及頭部位置的移動等多種方法相結合，提高監測的準確性。

[1] Belon G.S, Malikj, P.J. Shape Context: A New Descriptor for Shape Matching and Object Recognition [C] . International Conference of Neural Information Processing System, 2000.

[2] Dalal N and Bill Triggs. Histograms of Oriented Gradients for Human Detection[J] . Proc. IEEE Conf.on Computer Vision and Pattern Recognition, 2005（2）: 886-893.

[3] Horng W B, Chen CY. Driver fatigue detection based on eye tracking and dynamic template matching[C] . Proceedings of IEEE International Conference on Networking, Sensing and Cont—ro1.Taipei. China:IEEE Press. 2004.

[4] R-L. Hsu, M. Abdel-Mottaleb and A. K. Jain. Face detection in color images[J] . IEEE Trans. Pattern Analysis and Machine intelligence, 2002, 24(5):696-706.

[5] 陶霖密，彭振云，徐光祐. 人類的膚色特征及復雜環境下的人臉檢測[M] . 北京：電子工業出版社，1999.

[6] 申家振，張燕寧，劉濤. 基于形狀上下文的形狀匹配[J] .微電子學與計算機，2005，22（4）：144-146.