面向智能人機交互的魯棒的實時多人臉檢測

趙新超 袁家政

1(北京市信息服務工程重點實驗室 北京 100101) 2(北京聯合大學計算機技術研究所 北京100101)

?

面向智能人機交互的魯棒的實時多人臉檢測

趙新超1袁家政2

1(北京市信息服務工程重點實驗室 北京 100101)2(北京聯合大學計算機技術研究所 北京100101)

人臉檢測在人機交互HRI(Human-Robot Interaction)過程中起著重要作用，它能夠讓智能教育機器人IER(Intelligent Educational Robot)識別用戶或說話人。提出一種智能視覺算法，可以實時地從復雜的場景中檢測出所出現的多個人臉，并過濾掉那些看起來像人臉但并不是人臉的圖像。實時的人臉檢測使用基于Adaboost的角點級聯分類器[1,2,23,29]，并對該檢測算法進行了改進，以實現從單一人臉檢測到多人臉檢測。此外，改進的算法也考慮了各種可能的頭部姿態，如俯仰、偏轉、傾斜等。實驗結果充分證明了所提出的機器人視覺算法進行人臉檢測的魯棒性和高效性。

人機交互 人臉檢測 智能機器人 多姿態

0 引 言

人臉檢測和人臉識別是智能機器人在進行人機交流和合作過程中必須具備的基本功能之一[3-4]。在本文中，主要關注于各種人機交互技術中的一個重要問題：人臉檢測。我們提出一個智能的視覺算法幫助機器人魯棒地從各種復雜的場景中檢測出人臉。近年來，人臉相關的視覺算法在眾多實際應用領域中吸引了人們的廣泛關注[5-7]，這是因為它作為人機交互的重要的一部分，直接關系到機器人能否在實際應用環境中和用戶進行正常的交流和合作[28,30]。不精確的人臉檢測將導致不良的人機交互和用戶體驗效果。因此，一個高準確率的魯棒的實時多人臉檢測算法對于智能教育機器人來說是至關重要的[26,31]。

1 相關工作

從近幾年的文獻中看出，許多國內外研究人員致力于智能交互機器人的研究。Bernhard Froba等使用卡爾曼濾波[13-14]解決智能移動機器人系統中的人臉跟蹤問題[8]。Kwang Ho An等通過Adaboost學習算法選擇和訓練用盡可能少的具有決定性的特征，以達到準確檢測人臉初始位置、大小、視角的目的[9]。Paul Viola等用Adaboost訓練算法實現基于完整圖像的實時人臉檢測[10]。X Xie等提出一種基于人眼特征跟蹤的實時跟蹤算法[11]。相比之前的方法，為了實現從圖像或視頻序列幀中快速檢測出其中包含的多個人臉[24,27]，我們修改和完善Adaboost人臉檢測算法[15,21]，提出一種新方案，它對場景和頭部姿態多變的問題具有較高的魯棒性。該方法不僅提高了人臉檢測的準確率，同時也保證了實時檢測的速度。

2 人臉檢測方法

2.1 傳統方法

盡管在過去，國內外研究人員曾提出一些人臉檢測算法用于實時應用環境[16]，如機器人系統。但仍有一些不足之處常常限制著這些應用的使用和推廣[20]。

(1) 場景問題

當一個新的人物對象進入場景的可視區域，那么他理應被檢測到，此時檢測器該如何響應。另外，當周圍場景與待檢測目標人物比較接近的時候，具有較強的混淆性，此時檢測器又會做何響應。

(2) 頭部姿態問題[18,25]

一般情況下，有兩種可能導致檢測器失效。第一是目標人物離開場景的可視區域，這個屬于正常情況。而第二是目標人物的頭部姿態超出了常規的變化范圍，但目標人物仍在場景可視區域范圍內，這屬于異常情況。根據我們的調查和分析，頭部姿態主要分為三類：俯仰(繞X軸方向)、偏轉(繞Y軸方向)、和傾斜(繞Z軸方向)。

因此，我們改進并提出新的人臉檢測算法來解決傳統算法的不足之處。整個系統的流程框架如圖1所示。

圖1 人臉檢測系統流程圖

2.2 改進的方法

所提算法原理如圖2所示。傳統的AdaBoost算法基于圖像序列進行人臉檢測[12]，將圖像序列加載到系統將花費大量的時間，我們將它稱之為全局AdaBoost人臉檢測GAFD(Global AdaBoost Face Detection)算法，該算法執行效率很低，尤其是當它運行在實時智能機器人系統中時。

圖2 算法的流程圖

為了滿足快速多人臉檢測的需求，我們改進傳統的AdaBoost算法，利用跟蹤到的人臉的狀態來減少算法的執行時間，我們將它稱之為局部Adaboost人臉檢測LAFD(Local AdaBoost Face Detection algorithm)算法。LAFD首先假設在圖像中只有一個人臉，跟蹤并展示人臉的當前狀態[8]。然后，跟蹤器通過卡爾曼濾波檢測[13-14]、預測序列化圖像之間的人臉的最新狀態。根據對跟蹤器的預測結果的分析，可以獲得被稱為感興趣區域ROI(Region Of Interest)的局部圖像。這樣LAFD算法在實時環境中將有很大的執行效率提升。其中的跟蹤控制器控制GAFD和LAFD的運行時間，并維護所跟蹤的人臉的狀態。

本文中提出了一些針對傳統Adaboost算法缺陷的改進。改進的算法提供了人臉的相關性，用于感興趣區域的選擇，而對于從選擇的感興趣區域中檢測人臉來說不必要的冗余信息，該方法可以將其減至最小。首先選擇并標記一定數量的正樣本和負樣本，然后將它們作為訓練集進行訓練，再用所提出的方法從感興趣區域提取特征。通過如下步驟，一些弱的分類器逐漸被提升為一個強大的分類器。

(3) 歸一化權重ωt，t=1,2,…,T。使它服從概率分布：

(4) 優化權重誤差：

一個弱分類器h(x,f,p,θ)由特征f，閾值θ和一個極性p組成：

其中x表示一幅圖像的一個24×24像素的子窗口，p表示不等式的方向。

(5) 選擇最優化權重誤差的分類器：

ht(x)=h(x,ft,pt,θt)

其中ft、pt和θt對應最小化的εt。

當樣本xi分類正確時，ei=0；反之，ei=1。

3 實驗及結果

為了評估本文所提出的方法的效率和準確率，我們使用兩個數據集進行實驗。一個是MIT+CMU正面人臉數據集和CMU側面人臉數據集，這個數據集和Viola-Jones算法[19]使用的數據集相同。另外一個是我們自己的數據集。我們使用6 500幅560×420像素的彩色圖像對所提出的方法進行測試，這些圖像是從互聯網上的照片和視頻中采集的。每幅圖像都有著不同復雜程度的場景和不同的光照條件，其中包含一個或多個人臉。每個人臉的大小、姿態、位置和表情都各不相同。尤其是大部分圖像中的人臉是多姿態的，包括旋轉的正面人臉和不同情況的側面人臉。

我們在配置為英特爾酷睿2雙核2.8 GHz CPU、4 GB內存的主機上進行測試。圖3展示了一個單一的人臉檢測結果，我們只將人臉區域用一個盡可能小的矩形框標記出來，而不關心其他區域。圖4展示了一個復雜場景下的多人臉檢測結果，圖像中的場景和目標人物對象比較相似，具有很高的混淆性；另外，目標人物的表情也不相同。圖5展示了一個多姿態的多人臉檢測結果，候選圖像中每個人的頭部姿態、朝向、位置、大小都不相同。

圖3 單一人臉檢測結果圖

圖4 復雜場景下的多人臉檢測結果圖

圖5 多姿態多人臉檢測結果圖

4 實驗結果分析

用不同算法進行人臉檢測的實驗結果之間的比較如表1所示。

表1 人臉檢測結果比較

我們在MIT+CMU數據集和我們自己的數據集上，將我們的方法與前人的工作進行了性能比較。基于各種各樣的人臉檢測實驗結果比較，表明我們的檢測算法可以獲得較高的檢測正確率(最高達96.3%)，比文獻[15]傳統的Adaboost方法高出約10個百分點，比文獻[22]改進的Adaboost方法高出約7個百分點；另外，檢測的平均速度上也比兩者分別快了大約25 ms和22 ms。

我們的算法能夠提高檢測的正確率，同時保持相對較低的誤檢率的原因是我們在設計算法和處理樣本的時候，考慮了多種的復雜場景以及多變的頭部姿態可能對最終檢測結果產生的影響，以期提高算法的正確性和魯棒性。因此，我們的算法能夠比其他算法獲得相對較好的檢測效果。

此外，我們的算法能以26幀/秒的速度在視頻幀上執行，其中每幀大小為560×420像素。因此，該算法能滿足實時人臉檢測的要求，并為實時的人臉識別、表情識別等任務提供良好的輸入[17]。

5 結 語

本文實現了一種新的基于圖像序列的魯棒的多人臉檢測方法，用于面向智能教育機器人應用的智能人機交互系統。實驗結果證實了所提出的方法的有效性和計算效率的提高，證明了該方法的優勢，保證正確性的同時結合效率的提升，兼具準確性和魯棒性等優點。

我們計劃將所提出的方法用于智能自主導航機器人以實現人機的自然互動，使得機器人在展覽中心和博物館中引導游客自主地進行參觀和游覽。具體來說，所提出的方法將為人臉識別和人臉屬性分析提供有效的輸入，以供人們用于不同的會話場景。

未來的工作包括利用極線約束處理立體視覺來擴展人臉檢測算法，使得本文所提出的方法能夠更加廣泛地應用于集成的智能人機交互系統。

[1] Zhu J, Chen Z. Real Time Face Detection System Using Adaboost and Haar-like Features[C]// International Conference on Information Science and Control Engineering. IEEE, 2015:404-407.

[2] Sun S, Xu Z, Wang X, et al. Real-time vehicle detection using Haar-SURF mixed features and gentle AdaBoost classifier[C]// Control and Decision Conference. IEEE, 2015:1888-1894.

[3] Ge S S, Fua C H. Queues and Artificial Potential Trenches for Multirobot Formations[J]. Robotics IEEE Transactions on, 2005, 21(4):646-656.

[4] Ge S S. Social robotics: Integrating advances in engineering and computer science [J]. Computer Telecommunications & Information Technology Mae Fah Luang University Chang Rai, 2007, 5(1):9-12.

[5] Yang M H, Kriegman D J, Ahuja N. Detecting Faces in Images: A Survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(1):34-58.

[6] Zhao W, Chellappa R, Phillips P J, et al. Face recognition:A literature survey[J]. Acm Computing Surveys, 2003, 35(4):399-458.

[7] Osadchy M, Cun Y L, Miller M L. Synergistic face detection and pose estimation with energy-based model [J]. Journal of Machine Learning Research, 2007, 8(1):1017-1024.

[8] Froba B, Kublbeck C. Face Tracking by Means of Continuous Detection[C]// Conference on Computer Vision and Pattern Recognition Workshop. IEEE Computer Society, 2004:65.

[9] Kwang Ho An, Dong Hyun Yoo, Sung Uk Jung, et al. Robust multi-view face tracking [C]// 2005 IEEE/IRSJ International Conference on Intelligent Robots and Systems. 2005:1905-1910.

[10] Viola P, Jones M. Robust Real-time Object Detection [J]. International Journal of Computer Vision, 2001, 57(2):87-89.

[11] Xie Xangdong, Sudhakar R, Zhuang Hanqi. Real-time eye feature tracking from a video image sequence using Kalman filter [J]. IEEE Transactions on Systems, Man and Cybernetics, 1995, 25(12):1568-1577.

[12] Blais F. Review of 20 Years of Ranges Sensor Development [J]. SPIE-the international society for optics and photonics, 2004, 13(1):228-240.

[13] Kalman R E. A New Approach to Linear Filtering and Prediction Problems [J]. Transactions of the ASME-Journal of Basic Engineering, 1960, 82 (Series D): 35-45.

[14] Greg Welch, Gary Bishop. An Introduction to the Kalman Filter [J]. University of North Carolina at Chapel Hill, 1995, 32(7):127-132.

[15] Wu B, Ai H, Huang C, et al. Fast rotation invariant multi-view face detection based on real Adaboost[C]// IEEE International Conference on Automatic Face and Gesture Recognition, 2004. Proceedings. IEEE Xplore, 2004:79-84.

[16] Abualkibash M, Mahmood A, Moslehpour S. A near real-time, parallel and distributed adaptive object detection and retraining framework based on AdaBoost algorithm [C] //High Performance Extreme Computing Conference. 2015:1-8.

[17] Liu W, Lv J, Yu B, et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification [C] //2015 IEEE Intelligent Vehicles Symposium (IV). 2015:41-46.

[18] Wei Liuliu, Liu Mingyang. Multi-pose Face Detection Research based on Adaboost [C] //2016 Eighth International Conference on Measuring Technology and Mechatronics Automation (ICMTMA). 2016:409-412.

[19] Putro M D, Adji T B, Winduratna B. Adult image classifiers based on face detection using Viola-Jones method [C] //International Conference on Wireless and Telematics. 2015:1-6.

[20] Cheney J, Klein B, Jain A K, et al. Unconstrained face detection: State of the art baseline and challenges [C] //International Conference on Biometrics. 2015:229-236.

[21] Abualkibash M, Mahmood A, Moslehpour S. A near real-time, parallel and distributed adaptive object detection and retraining framework based on AdaBoost algorithm [C] //High Performance Extreme Computing Conference. 2015:1-8.

[22] Ma S, Du T. Improved Adaboost Face Detection [C] //International Conference on Measuring Technology & Mechatronics Automation, 2010, 2:434-437.

[23] Zhu J, Chen Z. Real Time Face detection System Using Adaboost and Haar-like Features [C] //International Conference on Information Science & Control Engineering. 2015:404-407.

[24] Aniruddha Dey. A contour based procedure for face detection and tracking from video [C] //International Conference on Recent Advances in Information Technology. 2016:483-488.

[25] Wei L, Liu M. Multi-pose Face Detection Research based on Adaboost [C] //Eighth International Conference on Measuring Technology & Mechatronics Automation. 2016:409-412.

[26] Meyer G P, Alfano S, Do M N. Improving face detection with depth [C] //IEEE International Conference on Acoustics, Speech and Signal Processing. 2016:1288-1292.

[27] Dutta Pranti, Nachamai M. Detection of faces from video files with different file formats [C] //International Conference on Microelectronics, Computing and Communications. 2016:1-6.

[29] Savas B K, Ilkin S, Becerikli Y. The realization of face detection and fullness detection in medium by using Haar Cascade Classifiers[C]// Signal Processing and Communication Application Conference. 2016:2217-2220.

[30] Mykoniatis K, Angelopoulou A, Akbas A S, et al. Multi-method modeling and simulation of a face detection robotic system[C]// IEEE Systems Conference. IEEE, 2016:1-6.

[31] Dahal B, Alsadoon A, Prasad P W C, et al. Incorporating skin color for improved face detection and tracking system [C] //IEEE Southwest Symposium on Image Analysis and Interpretation. 2016:173-176.

ROBUSTREAL-TIMEMULTI-FACEDETECTIONFORINTELLIGENTHUMAN-ROBOTINTERACTION

Zhao Xinchao1Yuan Jiazheng2
1(BeijingKeyLaboratoryofInformationServiceEngineering,Beijing100101,China)2(InstituteofComputerTechnology,BeijingUnionUniversity,Beijing100101,China)

Face detection plays a crucial role in developing Human-Robot Interaction (HRI) for Intelligent Educational Robot (IER) to recognize users or speakers. In this paper, we introduce an intelligent vision algorithm that is able to detect human face from complex scene and filter out all the non-face but face-like images. The human face is detected in real-time environment using the approach called Adaboost-based Corner Cascade Classifier[1,2,23,29], and the real human face detection is improved to implement from single-face detection to multi-face detection. Furthermore, variable head pose is taken into account, such as pitch, roll, yaw, etc. The proposed robot vision algorithm for human detection is tested to be effective and robust through real-time experiments.

Human-robot interaction Face detection Intelligent robot Multi-pose

2016-08-11。國家自然科學基金項目(61571045)；國家科技支撐計劃項目(2014BAK08B02)。趙新超，碩士生，主研領域：深度學習，數據挖掘，模式識別。袁家政，教授。

TP242.6+2

A

10.3969/j.issn.1000-386x.2017.08.029