一種面向軌道交通列車司機人臉檢測方法

江躍龍

（廣州鐵路職業技術學院，廣州 510610）

0 引言

隨著城市高速發展，道路交通擁擠，交通事故已經成為備受各界矚目的問題。軌道交通列車司機長期工作或駕駛產生的疲勞，勢必影響軌道交通行車以及人民生命安全，對軌道列車司機駕駛行為、值乘制度以及工作條件等方面的調查、工作狀態保證和監督環節，有利于保障軌道交通安全行駛。軌道交通列車行駛安全是鐵路運輸的命脈，是解決我國城市公共交通擁擠重要途徑。根據前期調研發現，目前疲勞檢測技術主要概況以下幾個方面：利用AdaBoost算法定位檢測人臉位置、膚色分割區分人臉信息、高斯膚色模型和支持向量機來檢測人臉信息、級聯支持向量機融合多特征、遺傳算法、灰度直方圖和高斯混合模型多特征膚色識別小樣本訓練集的膚色模型建立、自適應雙高斯混合模型的膚色分割、彩色空間膚色模型、粒子群與遺傳算法結合在PCA人臉識別、基于K均值聚類方法的膚色分割、支持向量機和遺傳算法。

在列車司機長時間駕駛疲勞檢測其中最關鍵技術之一是人臉檢測和人臉感興趣區域（ROI）定位，而人臉檢測和人臉感興趣區域（ROI）定位又涉及到的技術是列車司機的人臉檢測和人臉感興趣區域（ROI）定位技術，其包括人臉膚色與列車司機的駕駛室分割技術。

1 列車司機人臉檢測方法

如何實時智能檢測軌道交通列車司機疲勞狀態是軌道交通列車行車安全保障。檢測軌道交通列車司機的是否處于駕駛疲勞狀態，其中主要關鍵技術之一是檢測到列車司機的人臉檢測。列車司機的人臉檢測是指列車駕駛室采集司機的圖像，通過機器視覺技術判斷采集圖像是否有司機人臉，如果有則定位司機人臉ROI（感興趣）區域位置，并將司機人臉從駕駛室的背景中分離出來。

而近年來國內外研究使用傳統人臉檢測技術主要方法有以下幾種：

（1）基于幾何特征的方法。包括基于膚色和紋理的方法，其一般是通過提取我們人類的集合特征（人的眼睛、下巴、鼻子、口型、嘴巴）等重要特征點信息位置，而每個人臉在形狀、大小和結構上存在各種差異，因此幾何特征提取人臉的精確性不是很好。

（2）基于模板的方法。其中主要思路是將人臉的圖像通過另外一種方式或者空間域對人臉圖像做LBP運算，然后從該結果提取直方圖最后提取人臉特征信息。

（3）基于知識的方法。主要將人的臉看作眼睛、眉毛、嘴巴、鼻子等器官器官之間的幾何位置關系來檢測人臉，該方法由于每個人的外貌各異，因此在人臉檢測上存在一定誤差。

（4）劉春生等在研究針對傳統高斯膚色模型在膚色和光照變化較大情況下不能有效提取膚色區域的問題，通過加權相似度人臉和灰度人臉的像素點，得到人臉膚色模型的相似度信息和灰度分布信息，然后利用Adaboost算法進一步檢測人臉信息的方法。該方法在一定程度上解決了和提高人臉檢測的準確性和魯棒性，在實際工程應用中，不同膚色的多人臉圖像時膚色檢測和人臉檢測效果并不是很理想。

（5）基于膚色的人臉檢測法。由于膚色的人臉檢測容易受到光照不同強度的影響，膚色提取過程中會有噪點存在，會誤認為是膚色信息，影響檢測準確度。

由于人臉模式的復雜性和多樣性，以及外界環境的不確定性，人臉檢測的對這些條件適應性較差，這些情況使得人臉檢測成為一項熱門而又極具有挑戰性的課題。目前，已經有一些用于人臉檢測的技術研究主要有人臉檢測定位方法的研究，目前主流技術如圖1所示。

圖1 目前人臉檢測技術

2 列車司機圖像色彩空間

2.1 基于色彩空間

色彩空間通常是指人的眼睛和視覺感知系統在有限能力下，為了能夠識別準確識別圖像的顏色，通過媒介或連續圖像的顏色來表示，在專業圖像處理技術術語中，通常圖像中的顏色空間是由一個特定的3-D坐標和該坐標中任意一個空間（如：三維坐標值表示，，坐標值）,任何一個坐標值表示一個單點或者顏色。目前主要有五種類型的顏色模型，其包括RGB（red green blue）、HSL（hue saturation lightness）HSV（hue saturation value）、YUV（luminance，blue–luminance，red-luminance）、CMYK（cyan，magenta，yellow，key）。列車司機圖像有兩種基本的色彩空間，RGB圖像和灰度圖像，然后圖像還有別的色彩空間，比如：BGR，LAB，HSV等，如圖2將列車司機駕駛室圖進行R紅色，G綠色和B藍色顯示如圖3所示。

圖2 列車司機駕駛室

圖3 列車司機駕駛室（R紅色G綠色B藍色）顯示

2.2 列車司機駕駛室YCg Cb顏色空間

我們傳統的色彩空間是對一幅圖像色彩的一種描述方法。如一張列車司機的圖像，我們根據該列車司機的RGB原色和白點描述以便可以正確解釋和表達該司機圖像的色彩空間。顏色將某種顏色空間轉換到另一種顏色空間（類似我們信號處理，在時域空間上無法分析時候，常常將會轉換到頻域空間上進行分析），這樣有助于不丟失信息或顏色顯示正常，同時也有助于我們后期對該圖像信息進行提取特征以及相關處理。色彩空間傳統將其定義由三個基色（R紅色，G綠色和B藍色）和白點的CIE 1931色度坐標（，）組成。在CIE 1931圖上繪制三角形可提供輪廓，幫助可視化顏色空間所包含的可見顏色。

圖4 1931 CIE色品圖

針對HSV顏色空間表達彩色圖像的方式由色調（hue）、飽和度（saturation）明度（value）三個部分組成，其與BGR顏色空間相比，HSV顏色空間如圖5所示，對跟蹤某種顏色的物體容易跟蹤，在HSV顏色空間常用作分割指定顏色的物體。

圖5 HSV顏色空間

色彩空間模型中，分量表征色彩空間中的明亮度（luminance）（灰階值）。“亮度”是RGB輸入信號來轉換后的分量，而、共同表征某種圖像顏色的色調信息，其中表示Blue（藍色）分量，表示RGB輸入圖像信號藍色信息與RGB輸入圖像信號亮度值之間的差異，表示Red（紅色）分量，表示RGB輸入圖像信號紅色信息與該輸入的圖像信息亮度值之間的差值。

色彩空間YCbCr的亮度信息分量與、色調信息的采樣比例為4∶2∶2，該比例是按照人類視覺對亮度信號變化敏感和對色度的變化不太敏感的規律來定義。

RGB與YCbCr色彩空間之前互換的公式［2］如下所示：

每個人都存在一定差別，每個人的膚色都有區別，表現出不一樣的皮膚顏色，外界的光照強度和視覺環境對膚色有一定的影響，可以通過顏色信息來分割膚色與背景顏色進行分離，實現膚色與背景分離提供理論依據。人的膚色，不僅不依賴于面部的細節特征，而且還具有相對的穩定性，還與大多數背景物體的顏色信息存在很大區別，因此，在膚色識別中,許多研究學者常用的顏色空間為YCbCr顏色空間來進行人物和背景分離。

RGB顏色空間隨著光強發生變化時，RGB顏色空間中R，G，B三個分量也會同時發生變化，容易受到光照強度的影響，而在YCbCr顏色空間中，受光強影響較小，也相對獨立，對膚色的聚類特性比較好，一張列車司機的彩圖可以通過YCbCr顏色空間將色度與亮度分離進行，Cb和Cr分量兩維獨立分布，能夠比較好地區分膚色的分布區域情況，因此YCbCr顏色空間比較適合人的膚色與背景分割和識別。

不同色彩空間的選擇，直接對膚色檢測的結果產生影響，目前常用于膚色檢測的常用色彩空間有YIQ、YUV、HIS、和YCbCr等顏色空間。徐俊等使用YCbCr色彩空間求出每個像素點屬于膚色的隸屬度，在復雜背景中獲得很好的人臉檢測效果。Zarit等證明HSV色彩空間檢測膚色像素性能最好。Sobottka等認為：使用H和S就足夠將膚色和背景分割開，除了不需要考慮V外，其對光照和陰影的影響也有較高的穩定性。因此，圖6所示列車司機膚色在HSV色彩空間的分布圖

圖6 列車司機在駕駛室原始圖和生成HSV空間圖

圖7 列車司機在駕駛室生成H分量、V分量、S分量

3 車司機膚色建模

該高斯模型也是目前傳統常用的膚色模型，其通過計算圖像的像素的頻率估計并得到一個膚色概率圖，根據圖像的信息數值閾值來確定人的膚色和背景顏色，克服了幾何模型的缺點。用高斯概率密度函數分布，將一個事物分解為若干的概率密度函數（正態分布曲線）形成的模型，高斯模型主要實現思路是將圖像灰度直方圖所反映的圖像中某個灰度值出現的概率的估計。對于復雜的圖像所包含的感興趣區域和背景區域相差比較大，而且背景區域和感興趣區域在灰度上有一定的差異，在實現灰度直方圖將呈現出一個峰對應于感興趣區域，另一個峰對應于背景的中心灰度的雙峰-谷形狀，可以解決圖像的分割問題。

傳統的膚色建模方法有：閾值法、直方圖統計、一維高斯模型、混合高斯模型和區域級檢測。膚色RGB色彩空間變換到YCbC空間中，在—空間中空間的高斯分布，對于彩色圖像中每個像素，計算該點屬于皮膚像素的概率，該點離高斯分布中心和膚色的相似度，彩色圖像轉化成灰度圖，其中每個像素的灰度值對應該點與膚色的相似度。

通過大量對膚色像素點測試及訓練后,選取的膚色模型的經驗值參數為：

膚色樣本庫中分量的頻率直方圖如圖8所示，分量的頻率直方圖，分量的頻率直方圖，圖中橫坐標表示正則化頻率，縱坐標表示概率。

圖8 列車司機的YCbCr空間分量

圖9 列車司機YCbCr各個分量頻譜直方圖

由上圖可知，列車司機分布圖可知，和分量窄高斯分布，分布主要在100級別左右，分布集中，方差小的特性，這樣我們就可以很容易提取和分量列車司機的一些特性。

在YCbCr空間上由色度和構成的二維平面上膚色分布是相對比較集中的，可以用Gauss分布來描述，圖10是列車司機的圖片大小為（3848，4088）提取主顏色示意圖，這樣就很容易分離皮膚和背景顏色。

圖10 列車司機主顏色提取

訓練的時候，需要確定的是均值和。如下面的公式：

計算人臉的皮膚相似度時，我們采用了下面的公式：

4 人臉檢測

由于目前硬件設備采集的彩色圖象都是在RGB色彩空間，在RGB彩色空間中由于收到光照強度影響，每個分量膚色的差異不明顯，分割背景圖比較困難，而膚色的人臉檢測技術需要選取膚色顏色空間和建立膚色模型因此，在膚色區域的亮、色分離（皮膚與背景圖分離）常常將RGB色彩空間轉化為YCbCr色彩空間（YCbCr色彩空間），適用于膚色在色度上的差異遠小于亮度上差異的特點，RGB色彩空間可以根據它們之間的關系式直接轉換為YCbCr色彩空間。經膚色分割后得到二值圖像會出現背景原色與人的皮膚顏色相似的像素點以及噪聲的產生被誤認為膚色像素點或者小區域。人臉的局部區域如眼睛、頭發、眉毛等非膚色區域而導致的整個人臉的非完全填充，需要對檢測后的人臉圖像進行二次形態處理，將處理好的二值圖像進行水平、垂直投影到膚色比較集中的區域。利用檢測到的人臉矩形區域可以對圖像進行分割，獲得其中的ROI（region of interest）“感興趣區域”，該區域是提取出的需處理的區域，該區域包含了圖像的主要信息和關鍵信息，可以在處理中近似代替原始圖像，在檢測到人臉區域后，要將ROI區域保存下來作為新的人臉圖像，ROI人臉區域得到興趣landmark關鍵點。

5 實驗結果及分析

本文提出了一種基于YCbCr高斯膚色模型的人臉檢測算法，利用人臉膚色分量具有類高斯的分布特性，將其引入CbCr高斯膚色模型中，建立膚色模型，以線性加權的方式完成融合判斷，以此獲得列車司機在途行駛過程圖像中獲取可能的人臉區域，具體主要實現思路（如圖11所示）如下。

圖11 軌道交通列車司機人臉檢測流程

在列車駕駛室里采集列車的圖像，將獲得列車司機的RGB圖像轉換到YCbCr色彩空間中；統計采集到列車司機的圖像像素點個數；對統計到列車司機圖像像素點個數后，建立司機膚色模型；計算某個像素點出現概率；判斷閾值，進行先腐蝕后膨脹的開運算；消除噪點（雜點），計算列車司機皮膚區域的面積，計算矩形區域的面積；根據膚色區域的長和寬，去除非人的區域；將列車司機的人臉區域框出來，顯示定位列車司機人臉區域，然后將進一步對列車司機的眼睛進行判斷是否疲勞。

本文實驗室基于在Intel（R）Core（TM）i7-9750H CPU@2.60 GHz2.59 GHz16.0 GB（15.8 GB可用）的環境下，采用MATLAB 6．0分別編程實現，圖12所示列車司機膚色似然圖和二值化圖、圖13所示列車司機人臉定位過程圖。

圖12 列車司機膚色似然圖和二值化圖

圖13 列車司機人臉定位過程

本文對于在列車行駛過程中提出一種面向軌道交通列車司機人臉檢測方法，主要是將利用人臉膚色分量具有類高斯的分布特性，將其引入CbCr高斯膚色模型中，建立YCbCr高斯膚色模型的人臉檢測思路，包括顏色空間選擇、高斯膚色模型建立、閾值計算、形態學濾波和應用算法訓練人臉分類器的過程，并分析人臉檢測的準確性和實時性。實驗結果表明，復雜光照下對列車司機人臉檢測能有效提高人臉檢測率和降低誤檢率，為后續根據PERCLOS算法檢測出列車駕司機是否在疲勞駕駛，系統就會發出預警信號以及驗證PERCLOS深度學習疲勞檢測的方法準確性研究奠定一定基礎。