基于車窗區域定位的出租汽車駕駛員蓄須行為的自動檢測技術研究

汪祖云，廖惠敏，黃訓平，劉鵬宇，賈克斌

（1.北京市交通執法總隊，北京 100044；2.北京工業大學 信息學部，北京 100124；3.未來網絡科技高精尖創新中心，北京 100124；4.先進信息網絡北京實驗室，北京 100124；5.計算智能與智能系統北京市重點實驗室，北京 100124）

0 引言

交通運輸業是服務性行業的重要組成部分，也是國民經濟的基礎性和先導性產業，其發展水平與國民經濟的發展有著極為重要的聯系。如何采取有效措施，加強和完善交通運輸行業的監管，成為政府部門的一項重要工作。在社會各界致力于發展智能交通的背景下，智能交通領域科技執法方面的問題已成為當下的研究熱點[1]。為了加大對交通運輸業的監管力度，各交通執法部門不斷探索非現場執法，以提高執法效能，有效減少執法人員與違法人員的直接接觸，使執法更加公正客觀[2]。

出租汽車是交通運輸行業不可或缺的一部分，在北京、上海等特大城市交通場站，由于客流密度極大，出租車供不應求的現象大量存在，在這種情況下，執法人員的工作強度和執法難度大大增加。同時，出租車行業又屬于服務行業的范疇，被譽為“城市的流動名片”，因此出租車駕駛員的面貌、著裝等體現個人素養的方面也被納入交通執法部門的執法范疇，蓄須行為就是其中之一。在交通場站等復雜環境下，利用視頻監控圖像，實現蓄須行為的自動檢測，將極大減輕執法人員的工作壓力，提升工作效率。

目前，針對出租車駕駛員蓄須行為自動檢測技術的研究較少，國內外大部分的研究重點還是針對特定簡單環境下的蓄須檢測。Cai等[3]提出基于人臉特征點和膚色分割的胡子檢測算法，該算法較依賴顏色信息，因此檢測準確率比較容易受到光線的影響。Gu等[4]提出一種結合紋理特征的胡須檢測方法，但是該方法針對人臉數據進行檢測，難以在實際中應用。Wang等[5]提出了一種基于圖像脫色和紋理特征的胡須檢測算法，但是該算法主要針對男女性別識別。Dhahri等[6]等提出了一種利用三維信息來檢測和去除胡須的方法，該方法將人臉分成五部分進行操作，在背景復雜度高的場景中很難應用。Le等[7]提出了一種利用自商算法和稀疏矩陣實現胡須檢測的方法，在標準數據集下能取得良好的檢測效果。以上文獻大部分檢測算法僅在特定測試數據集中驗證有效，不能確保其在實際應用中的有效性。

針對上述研究存在的問題，本文提出一種可適用于復雜場景下的出租車駕駛員蓄須行為的自動檢測方法。首先，該方法以車窗區域檢測代替完整出租車檢測的方式，準確定位出租車駕駛員位置。然后，對圖像的亮度通道進行基于MSR算法的圖像增強，降低光線對圖像的影響。最后，利用人臉檢測庫（libfacedetection）對下巴區域進行準確定位。最后，利用膚色信息和灰度閾值分割相結合的方法來判定該駕駛員是否存在蓄須行為。

1 車窗區域檢測

在交通監控視頻中，場景具備一定的復雜性，因此需要對出租車駕駛員進行精準定位，也就是對出租車駕駛室進行精準定位。本文利用出租車特有的車頂燈設計，結合包含駕駛室的車窗區域（以下統稱車窗區域），提出一種基于Haar-Adaboost算法的車窗區域檢測方法[8]。同時為降低算法的誤檢率，提出了一種基于車頂燈的滑動顏色直方圖匹配方法，通過二次檢測，刪除第一次誤檢的區域。

1.1 Haar-Adaboost算法

Haar特征指的是一種矩形特征，其值可表示為黑色矩形區域的灰度值與白色矩形區域的灰度值的差，以此來生成圖像特征矩陣。不同的Haar特征模板功能也不相同，常用的Haar特征模板如圖1所示。

圖1 常用Haar特征模板

Adaboost算法是一種改進的Boosting算法[9]。該算法不需要弱分類器的先驗知識。它的核心是為相同的訓練集訓練不同的弱分類器，然后將這些弱分類器合成強分類器，最后將強分類器級聯成最終分類器。圖2是由分類器進行級聯和檢測出租車的過程。

圖2 Adaboost分類器檢測流程

通過在圖像上使用不同大小的矩形窗口進行多尺度掃描，并使用級聯分類器判斷掃描的每個矩形窗口。如果一個矩形窗口特征通過了所有的級聯分類器，表明該區域是出租車車窗區域（可獲取當前圖像中車輛的位置），否則表示該區域不是出租車車窗區域。

本文采用的訓練集包含2 767張車窗區域正樣本和7 219張環境負樣本，如圖3所示，正樣本統一歸一化為28×20個像素點，負樣本歸一化為480×360個像素點。同時設置每3個弱分類器構成一個強分類器，最終將訓練好的Haar-Adaboost分類器用交通監控視頻進行測試，試驗結果如圖4所示。

圖3 部分訓練正負樣本

圖4 車窗區域初步檢測結果

1.2 滑動顏色直方圖匹配

顏色直方圖相似度的高低可以反映兩幅圖像的相似程度[10]。本文利用前文檢測到的車窗區域，截取包含車頂燈的部分，將該部分設置為ROI。利用本文提出的滑動基于顏色直方圖匹配的檢測方法對ROI進行二次檢測，以有效降低誤檢率。匹配過程如圖5（a）所示。

通過將ROI分成三等份，將每一部分與車頂燈進行顏色直方圖匹配（采用巴氏距離計算匹配相似度），可以得到匹配曲線。通過100張包含車頂燈的ROI和100張不包含車頂燈的ROI進行上述匹配，最后把每部分匹配結果取均值處理，試驗結果如圖5（b）所示。

圖5 顏色直方圖匹配過程和結果圖

試驗結果說明包含車頂燈和不包含車頂燈的ROI的滑動顏色直方圖匹配結果的差異主要體現在Part2，包含車頂燈計算出的巴氏距離要明顯小于其他部分，利用這一差異，設定區分是否包含車頂燈的標準，如公式（1）所示。

DBi(i=1,2,3)為每部分計算出的巴氏距離，當ROI區域第二部分（Part2）的匹配結果小于等于0.2（匹配結果為1，表示匹配成功）時，停止相似度匹配，判定包含車頂標志。當ROI區域第二部分（Part2）的匹配結果大于0.2，但第一部分（Part1）和第三部分（Part3）匹配結果都比第二部分（Part2）高0.3時，則同樣表示匹配成功。否則，將該區域認定為誤檢區域。

利用交通監控視頻對算法性能進行測試，結果如圖6所示。從圖6中可知，原先誤檢區域被消除。

圖6 算法性能測試結果

2 基于亮度通道的MSR算法

在實際環境中，出租車駕駛員處于半封閉的車內，導致車內容易產生偏光現象，從而對后續的特征點定位和胡須分割產生很大的干擾，因此，需要對圖像進行光線平衡。本文采用基于亮度通道的MSR算法，將車窗區域的圖像轉到HSV顏色空間，進行基于亮度通道（V通道）的MSR圖像增強，以降低光線對圖像的影響[11-12]。

根據Retinex理論，人眼感知物體的亮度取決于環境的照明和物體表面對照射光的反射，其數學表達式如公式（2）所示：

式（2）中：I(x,y)為被觀察者或攝像機接收到的圖像信號；L(x,y)為環境光的照射分量；R(x,y)為攜帶目標物體圖像細節信息的反射分量。

將（2）式兩邊取對數，則可消除入射光的影響，得到物體的真實面貌，即有關系式：

將這個原理運用到圖像處理上，即針對已經獲得的圖像數據I(x,y），計算出對應的R(x,y)，則R(x,y)即視為增強后的圖像。Retinex理論的提出者指出，這個L(x,y)可以通過對圖像數據I(x,y)進行高斯模糊得到，多尺度指的是多種高斯模糊半徑。因此，通過對分離出的V通道進行MSR圖像增強，既能還原圖像被光線影響的細節，又能保留圖像本來的色彩。圖7是對被光線影響的出租車駕駛室的圖像增強結果。從圖7中可以看出，駕駛員的臉部和出租車等細節都有很大程度的恢復。

3 下巴提取和胡須分割

人臉檢測發展至今已經比較成熟，本文基于人臉檢測庫（libfacedetection）進行人臉特征點提取，該庫在檢測速度上是Haar-Adaboost算法的2～3 倍[13]。libfacedetection將標記的68個特征點作為人臉檢測結果。本文將3～13和31～35號特征點相連，構成下巴區域的外輪廓；將48～59號特征點相連，構成下巴區域的內輪廓（嘴唇區域）。將外輪廓包含區域減去內輪廓包含區域構成下巴區域[14-15]，如圖8所示。

圖7 MSRBVC算法恢復結果

圖8 下巴區域

本文提取的下巴區域包含的信息只有膚色和胡須。因此本文采用直接驗證和間接驗證相結合的方法來對胡須進行分割。直接驗證利用胡須像素較膚色像素更深的特征，采用灰度閾值法進行胡須分割。間接驗證把下巴區域的非膚色像素看作胡須像素來對胡須進行分割。

3.1 灰度閾值法

灰度閾值法即將原彩色圖像轉換為單通道的灰度圖像，利用胡須和膚色的灰度信息分布在不同的灰度級，設置合適的閾值，將胡須像素點分割出來。圖9（a）為各灰度閾值的分割效果，圖9（b）為各灰度閾值的運算結果。

基于盡可能多地分割出胡須像素點的考慮，根據試驗結果，本文將閾值設定為100。

3.2 膚色檢測

本文基于Ycrcb顏色空間對膚色進行檢測[16-18]，因為該空間受亮度影響小，膚色會產生良好的類聚。根據經驗，像素點的Cr,Cb值滿足：133≤Cr≤173,77≤Cb≤127，那么該點被認為是膚色像素點。

將膚色檢測結果和灰度閾值法分割結果進行與運算，得到最終的胡須分割圖像，如圖9（b）所示。最后，統計胡須像素點所占下巴區域的像素比例，若達到違法條件，則判定該駕駛員存在蓄須行為。

圖9 各灰度閾值的分割效果和與運算結果

4 試驗結果分析

為驗證本文提出的出租車駕駛員蓄須行為檢測方法的有效性，隨機抽取了3段交通監控視頻進行檢測，視頻所包含的有效信息如表1所示。部分試驗結果如圖10所示。

表1 測試視頻中包含的有效信息

圖10 算法測試結果

當判定該名駕駛員存在蓄胡須行為時，在檢測結果圖上疊加紅色字符“Beard”。

三段視頻的檢測結果匯總如表2所示。

表2 檢測結果匯總

在檢測到蓄須的駕駛員中，包含全部的正樣本。即蓄須行為的檢出率達到100%，但是存在一定數量的誤檢。試驗結果表明，本文提出的方法能夠有效識別出租車駕駛員的蓄須行為，盡管存在一定的誤檢，依然能極大緩解交通執法部門的執法壓力。

5 結論

針對出租車給交通執法帶來的壓力日益增長，本文首先提出了一種出租車駕駛員蓄須行為的自動檢測方法，該方法用車窗區域檢測代替傳統的整車檢測，既能避開車輛部分遮擋問題，又能快速鎖定駕駛員位置，同時提出一種滑動顏色直方圖匹配的方法以降低車窗區域檢測的誤檢率。其次，利用基于亮度通道的MSR算法對圖像細節進行恢復，使該方法在光線影響較大的情況下也能有較高的檢測準確率。最后，將膚色檢測和灰度閾值法相結合，直接和間接地對胡須進行分割，增加了算法的魯棒性。通過實際應用，證明了該方法在復雜環境中的有效性和可行性，后續將針對誤檢問題進行優化。