基于深度卷積神經網絡的人眼檢測

劉俊超 陳志軍 樊小朝 閆學勤 王宏偉

摘 要： 基于人眼檢測的駕駛員疲勞檢測研究中，受戴眼鏡、光照強度和人臉姿態變化、閉眼以及面部遮擋等復雜背景影響，現有方法難以準確檢測人眼位置的問題越來越嚴重，故提出一種基于深度卷積神經網絡的人眼檢測方法。對其進行網絡優化及損失優化，把人眼檢測作為一種回歸問題來求解，實現了整個過程端到端，即從輸入原始圖片到最后的人眼類別和位置的輸出。該方法在ORL人臉數據庫中全部圖像的人眼檢測準確率為98.39%，在AR人臉數據庫中沒有戴墨鏡的人眼檢測準確率為95.15% ，實驗結果驗證了所提方法的有效性、高準確率和較強的泛化能力。

關鍵詞： 人眼檢測； 深度學習； 卷積神經網絡； 網絡優化； 損失優化； 泛化能力

中圖分類號： TN911.23?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2018）18?0072?04

Eye detection based on deep convolutional neural networks

LIU Junchao， CHEN Zhijun， FAN Xiaochao， YAN Xueqin， WANG Hongwei

（School of Electrical Engineering， Xinjiang University， Urumqi 830047， China）

Abstract： In the driver fatigue detection research based on eye detection， the problem that it is difficult for the existing methods to accurately detect the eye position is becoming more and more serious due to the influences of complex backgrounds such as glasses wearing， light intensity， facial pose variation， eye closure， and facial occlusion. Therefore， an eye detection method based on deep convolutional neural networks is proposed. Network optimization and loss optimization are performed for the method. The eye detection is solved as a regression problem， so as to realize a whole end?to?end process which is from input of original images to output of eye classification and position at last. The method has an accuracy rate of 98.39% for eye detection of all images in the ORL face database， and an accuracy rate of 95.15% for detection of eyes （without wearing sunglasses） in the AR face database. The experimental results verified the effectiveness， high accuracy and strong generalization capability of the proposed method.

Keywords： eye detection； deep learning； convolutional neural network； network optimization； loss optimization； generalization capability

0 引 言

長期以來，我國一直都是汽車消費大國，汽車行業的高速發展是我國經濟繁榮、科技進步的一個縮影。由于汽車的大量增加，現在的交通問題更加嚴重。據中國統計年鑒（2013）數據顯示，截至2012年末，我國全年交通事故發生數總計約為20萬起，其中，汽車事故大約為14萬起，占交通事故總數的70%以上，交通事故死亡總計大約6萬人，汽車事故死亡大約4.4萬人，占交通事故死亡總數的73%以上， 疲勞駕駛是汽車事故發生的主要原因[1]。最近幾十年，計算機視覺技術應用廣泛，在圖像中準確的人眼檢測是計算機視覺技術的核心，更是人臉識別、虹膜識別、視線追蹤和疲勞駕駛檢測的關鍵技術。

當前，人眼檢測方法常用的有邊緣提取方法[2?3]、積分投影方法[4]和模板匹配方法[5]等。邊緣提取方法是用邊緣檢測和Hough變換來定位眼睛中心，能檢測虹膜，但對圖像質量和分辨率要求極高，在頭部偏轉和閉眼時不能準確檢測；積分投影方法用圖像在水平方向和垂直方向上的幾何投影來確定眼睛位置，能快速定位，但在光照強度變化和人臉姿態變化時不能準確檢測；模板匹配方法是通過原來圖像的像素灰度來檢測眼睛，魯棒性較好，但在戴眼鏡和光照變化時不能準確檢測。

針對以上方法存在的不足，本文提出了一種基于深度卷積神經網絡的人眼檢測方法，該方法能自動學習圖像中有效的人眼特征，魯棒性較好，泛化能力強，并分析優化了其中的網絡結構、損失函數等參數對人眼檢測的影響。在ORL和AR人臉數據庫中分別對不戴眼鏡和戴眼鏡、光照強度和人臉姿態變化、睜眼和閉眼以及面部遮擋的人臉圖像進行驗證，結果證明了深度卷積神經網絡對人眼檢測的有效性，并得到了較高的人眼檢測準確率。

1 卷積神經網絡結構

卷積神經網絡是深度學習神經網絡中的一種，其比較特殊，一般有卷積層、下采樣層和全連接層。對于卷積層來說，其中每個輸入的神經元，都有自己的接入區域，并通過這個接入區域獲取這個區域的信息，獲取信息之后，定位自己與自己所在區域的地址；對于下采樣層而言，其各個層面都有好幾個反應層面的信息，把每個反應層面看作一個幾何平面，使得各個層面的權值共享；對于全連接層而言，一般有好幾個卷積層面和下采樣層面相互連接，最終輸出。類似下采樣層中的權值共享這種網絡，更接近于生物本身的神經，一來減少了權值數量，二來降低了網絡的復雜程度[6?9]。卷積神經網絡基本結構圖如圖1所示。

對于卷積層，其計算公式表示為：

[xlj=fi∈Mjxl-1i×klij+blj] （1）

式中：[xlj]表示現在這層的信息map；[xl-1i]表示前一層的信息map；[klij]表示由[l-1] 層到[l]層產生的信息map的卷積核；[blj]表示[l]層得出map產生的額外偏置；[Mj]表示接入maps的集合。

對于下采樣層，其計算公式表示為：

[xlj=f（βljdown（xl-1j）+blj）] （2）

式中，[down（·）]表示下采樣函數。一般操作都是對輸入圖像[N×N]塊的所有像素求和，以便使輸出圖像尺寸大小縮小[N]倍。所有輸出map各自對應一個乘偏置[β]和一個加偏置[b]。

對于全連接層，其計算公式表示為：

[xoutj=fi∈Mjxout-1i×koutij+boutj] （3）

2 基于深度卷積神經網絡的人眼檢測

2.1 基于深度卷積神經網絡的人眼檢測模型

本文人眼檢測模型如圖2所示。

2.2 優化深度卷積神經網絡

優化深度卷積神經網絡是把眼睛檢測作為回歸問題來求解，實現了整個過程端到端，即從輸入原始圖片到最后的人眼類別和位置的輸出。

首先，網絡對輸入的原始圖片均等分割，分為[S×S]個小塊，然后對分割的每一個小塊檢測。一旦眼睛的橫縱坐標落在了目標區域中，便用這個目標區域對眼睛做出檢測。從圖3就可以看出，紅點落在了（3，2）和（3，5）兩個小塊中，在這兩個小塊返回的預測值最高，所以這兩個小塊存在需要檢測的目標。優化后的深度卷積神經網絡如圖3所示。

圖3中，每個小塊都有5個信息，分別是x，y，w，h和confidence。x，y分別是預測bounding box（邊緣框）的橫坐標和縱坐標；w，h分別是bounding box的寬度和高度。

一般在訓練過程中，x，y分別是bounding box坐標距離現在坐標的差值，同時集合在區間[0，1]；w，h分別是圖片的寬和高，同樣在區間[0，1]；confidence是現在的bounding box對眼睛的誤差估計，其計算公式表示為：

[confidence=P（eye）×IOU] （4）

式中：若bounding box包含eye，則[P（eye）=1]；否則[P（eye）=0]；IOU表示bounding box與eye重疊面積的預測值。

最后，網絡輸出是[S×S×（B×5+Class）]。[S]表示維度大小；B是每個小塊輸出的bounding box個數；Class是類別數量。

盡管每一小塊能對B個bounding box進行判斷，可是最后把IOU較高的那個bounding box表示為eye的結果。

2.3 優化損失

2.3.1 損失函數定義

損失函數定義，其計算公式表示為：

[loss=i=0S2（CoordError+IOUError+ClassError）] （5）

式中：ClassError表示類別誤差；IOUError表示IOU誤差；CoordError表示預測值和標簽值誤差。

2.3.2 損失函數優化

函數中的CoordError，IOUError和ClassError對loss的作用值是不一樣的，所以在計算loss時，用[λ1]來改變CoordError。在計算IOUError時，有目標的小塊與沒有eye的小塊，它們的IOUError對loss的作用值是不一樣的。假如用一樣的權值，那么沒有eye的小塊的confidence值幾乎為0，使有目標小塊的confidence在計算中增大誤差。為解決這個問題，用[λ2]改變IOUError，在誤差一樣時，小目標大于大目標對結果的作用[10?11]。對此問題，網絡對目標的w和h做平方根來運算，表示為：

[loss=λ1i=0S2j=0B1eyei，j（xi-xi）2+（yi-yi）2+λ2i=0S2j=0B1eyei，jwi-wi2+hi-hi2+λ2i=0S2j=0B1eyei，jCi-Ci2+Ci-Ci2x+i=0S21eyei，jc∈Classes（pi（c）-pi（c））2] （6）

式中：第一個大括號是坐標的誤差；第二個大括號是IOU誤差；第三個大括號是類別誤差。[x，y，w，C，p]為網絡的預測值；[x，y，w，C，p]為標注值。

3 實驗結果與分析

實驗是在Intel[?] CoreTM i5?6300HQ處理器，4 GB內存，操作系統為Linux（Ubuntu 14.04）的PC機上運行的，使用的開發環境為caffe。

在ORL和AR人臉數據庫中分別對本文的人眼檢測方法進行驗證。另外，為了驗證本文方法的泛化能力，訓練數據集從ORL人臉數據庫中隨機選取每一類的7個樣本，剩余樣本作為測試集。

圖4～圖6分別為不戴眼鏡和戴眼鏡、人臉姿態變化、睜眼和閉眼的部分ORL人臉數據庫中人眼檢測結果。圖7為光照強度變化和面部遮擋的部分AR人臉數據庫中人眼檢測結果。從檢測結果可以發現，本方法對不戴眼鏡和戴眼鏡、光照強度和人臉姿態變化、睜眼和閉眼以及面部遮擋的人臉圖像具有較強的魯棒性，泛化能力強，可以準確檢測人眼。

在這里，使用文獻[12]中提出的人眼檢測準確率標準，相對誤差err，其計算公式表示為：

[err=max（dl，dr）dlr] （7）

式中，設[Eyel，Eyer]分別為標記的左眼位置和右眼位置，[Eyel，Eyer]分別為本文方法得出的左眼位置和右眼位置，則[dl，dr，dlr]分別為[Eyel-Eyel，Eyer-Eyer，Eyel-Eyer]的距離。因為[dlr]大約是眼睛的2倍寬度，所以當[err<0.25]時，則認為檢測結果是準確的。

為了滿足實際需求，取[err<0.10]作為檢測標準，人眼檢測方法對比如表1所示。

表1是在ORL人臉數據庫中用傳統積分投影、傳統模板匹配和本文方法對其全部圖像做了一個人眼檢測方法對比。結果表明：當誤差[err<0.25]時，本文方法人眼檢測準確率為98.39%，略高于傳統積分投影和傳統模板匹配方法；當誤差[err<0.10]時，本文方法人眼檢測準確率為95.73%，高于傳統積分投影和傳統模板匹配方法。表明本文方法具有較高的人眼檢測準確率。

本文方法泛化能力驗證如表2所示。

表2是在AR沒有戴墨鏡的人臉數據庫中用本文方法對其自身的泛化能力做了一個驗證。由于本文方法在ORL人臉數據庫中對其進行訓練，ORL人臉數據庫中沒有戴墨鏡，所以并沒有對戴墨鏡的進行訓練。結果表明：當誤差[err<0.25]時，本文方法人眼檢測準確率為95.15%；當誤差[err<0.10]時，本文方法人眼檢測準確率為93.64%。表明本文方法具有較強的泛化能力。

4 結 論

本文提出一種基于深度卷積神經網絡的人眼檢測方法，對其網絡和損失進行優化，把人眼檢測作為一種回歸問題來求解，簡化了整個過程，實現了端到端，即從輸入原始圖片直接到最后的人眼類別和位置的輸出。實驗結果驗證了本文方法的有效性、高準確率和較強的泛化能力。

注：本文通訊作者為陳志軍。

參考文獻

[1] 國家統計局.中國統計年鑒[M].北京：中國統計出版社，2013.

National Bureau of Statistics. China statistical yearbook [M]. Beijing： China Statistics Press， 2013.

[2] PENG Yan， ZHOU Tian， WANG Shaopeng， et al. Design and implementation of a real?time eye tracking system [J]. The journal of China universities of posts and telecommunications， 2013， 20（S1）： 1?5.

[3] YOUNG D， TUNLEY H， SAMUELS R. Specialised hough transform and active contour methods for real?time eye tracking [J/OL]. [1995?07?01]. http：//users.sussex.ac.uk/～davidy/eyetrack_csrp.pdf.

[4] ZHOU Z H， GENG X. Projection functions for eye detection [J]. Pattern recognition， 2004， 37（5）： 1049?1056.

[5] SONG Fengyi， TAN Xiaoyang， LIU Xue， et al. Eyes closeness detection from still images with multi?scale histograms of principal oriented gradients [J]. Pattern recognition， 2014， 47（9）： 2825?2838.

[6] CHEN X， XIANG S， LIU C L， et al. Vehicle detection in satellite images by parallel deep convolutional neural networks [C]// Proceedings of 2nd IAPR Asian Conference on Pattern Recognition. Naha： IEEE， 2014： 181?185.

[7] HARIHARAN B， ARBEL?EZ P， GIRSHICK R， et al. Simultaneous detection and segmentation [C]// Proceedings of European Conference on Computer Vision. Switzerland： Springer International Publishing， 2014： 297?312.

[8] SERMANET P， EIGEN D， ZHANG X， et al. OverFeat： integrated recognition， localization and detection using convolutional networks [J/OL]. [2014?02?24]. https：//arxiv.org/pdf/1312.6229v4.pdf.

[9] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of 25th International Conference on Neural Information Processing Systems. Lake Tahoe： Curran Associates Inc.， 2012： 1097?1105.

[10] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J/OL]. [2015?04?23]. https：//arxiv.org/abs/1406.4729.

[11] WANG X， YANG M， ZHU S， et al. Regionlets for generic object detection [C]// Proceedings of IEEE International Conference on Computer Vision. Sydney： IEEE， 2014： 17?24.

[12] JESORSKY O， KIRCHBERG K J， FRISCHHOLZ R W. Robust face detection using the Hausdorff distance [C]// Proceedings of 3rd International Conference on Audio?and Video?based Biometric Person Authentication. Halmstad： Springer， 2001： 90?95.