基于DCNN的人臉特征點(diǎn)檢測(cè)及面部朝向計(jì)算

郭克友，馬麗萍，胡 巍

北京工商大學(xué) 材料與機(jī)械工程學(xué)院，北京100048

1 引言

據(jù)統(tǒng)計(jì)，在交通事故中，由于駕駛員失誤導(dǎo)致的交通事故占據(jù)92%～95%[1]。而其中疲勞駕駛和注意力分散是駕駛員在駕駛過(guò)程中面臨的最危險(xiǎn)的駕駛狀態(tài)。因此對(duì)駕駛員駕駛狀態(tài)進(jìn)行有效檢測(cè)，對(duì)于防范交通事故的發(fā)生有著重要的作用。面部朝向特征作為駕駛員特征檢測(cè)中的重要組成部分，在駕駛員精神狀態(tài)判斷中占有重要地位。面部特征點(diǎn)定位是計(jì)算機(jī)視覺(jué)中的重要問(wèn)題，因?yàn)樵S多視覺(jué)任務(wù)依賴(lài)于準(zhǔn)確的面部特征點(diǎn)定位結(jié)果，如面部識(shí)別、面部表情分析、面部動(dòng)畫(huà)等。雖然近幾年面部特征點(diǎn)定位被廣泛研究，并且得到了巨大的成功，但是由于部分遮擋、光照、較大的頭部旋轉(zhuǎn)和夸張的表情變化等因素，導(dǎo)致人臉圖像具有復(fù)雜多樣性，因此駕駛員面部特征點(diǎn)定位仍然面臨著巨大的挑戰(zhàn)。

在人臉特征點(diǎn)定位的研究領(lǐng)域，目前主流的方法大致可以分為基于深度學(xué)習(xí)的人臉特征點(diǎn)定位方法和基于回歸的人臉特征點(diǎn)定位方法[2]。基于回歸的人臉特征點(diǎn)定位方法是近幾年的一個(gè)研究方向，可以看作是主動(dòng)形狀模型（Active Shape Model，ASM）[3]算法相關(guān)改進(jìn)的另外一個(gè)方向，就是對(duì)形狀模型本身的改進(jìn)。基于深度學(xué)習(xí)的人臉特征點(diǎn)定位方法是近兩三年以來(lái)的一個(gè)研宄方向。深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言處理方面取得了重大進(jìn)展，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在特征提取方面有著卓越的性能。香港中文大學(xué)的湯曉鷗教授團(tuán)隊(duì)2013年提出深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）方法[4]，利用卷積神經(jīng)網(wǎng)絡(luò)將5個(gè)關(guān)鍵點(diǎn)的定位精度提升到很高的水平。之后基于深度學(xué)習(xí)的方法逐漸取代了基于形狀索引特征和決策樹(shù)的傳統(tǒng)回歸方法。當(dāng)前有許多其他高效的人臉檢測(cè)和特征提取算法，文獻(xiàn)[5]進(jìn)行了詳細(xì)的分類(lèi)與比較，主要有主動(dòng)形狀模型（ASM）和主動(dòng)外觀模型（Active Appearance Model，AAM）類(lèi)方法、統(tǒng)計(jì)能量函數(shù)類(lèi)方法、回歸分析方法、深度學(xué)習(xí)方法、分類(lèi)器方法、批量提取方法。其中，深度學(xué)習(xí)在物體檢測(cè)領(lǐng)域取得了優(yōu)異成果。多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Multi-Task Cascaded Convolutional Neural Network，MTCNN）算法[6]是當(dāng)前使用較為廣泛的人臉檢測(cè)算法，該算法采用多任務(wù)級(jí)聯(lián)網(wǎng)絡(luò)，同時(shí)進(jìn)行人臉檢測(cè)和人臉特征點(diǎn)檢測(cè)，獲得了較高的精度及較快的檢測(cè)速度。Face Net[7]提出基于度量學(xué)習(xí)的損失函數(shù)Trilet Loss，將人臉映射到歐式特征空間的特征向量上，對(duì)相同類(lèi)別和不同類(lèi)別樣本間的距離進(jìn)行了約束，其人臉識(shí)別在LFW上達(dá)到很高精度。國(guó)內(nèi)大連理工大學(xué)的張明恒等[8]基于支持向量機(jī)（Support Vector Machine，SVM）對(duì)駕駛員的面部朝向進(jìn)行檢測(cè)，利用圖像分割算法提取駕駛員面部特征，由眼睛、嘴部形成的特征三角形與人臉模板間的相互位置關(guān)系構(gòu)成反映駕駛員面部朝向的特征向量，并利用此特征向量訓(xùn)練SVM分類(lèi)器，對(duì)駕駛員的面部朝向進(jìn)行分類(lèi)。但該算法僅能得到駕駛員面部是否發(fā)生了左右和上下偏轉(zhuǎn)，精度較低，且分割算法易受光照等影響，魯棒性較差。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明在提取特征和分類(lèi)方面具有有效性[9]，同時(shí)它也被證明針對(duì)遮擋具有魯棒性。因此，本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)解決人臉5點(diǎn)特征點(diǎn)（眼角、鼻子、嘴角）預(yù)測(cè)問(wèn)題的方法。通過(guò)添加更多的卷積層穩(wěn)定地增加網(wǎng)絡(luò)的深度，并且在所有層中使用非常小的3×3卷積濾波器，有效減小了參數(shù)，避免了過(guò)擬合問(wèn)題，更好地解決了人臉特征點(diǎn)檢測(cè)問(wèn)題，其在精度和速度上都取得了良好的效果。

2 實(shí)驗(yàn)研究

2.1 DCNN網(wǎng)絡(luò)結(jié)構(gòu)

人臉特征點(diǎn)檢測(cè)的方法有很多[10]，本文主要從增加姿態(tài)的魯棒性的角度出發(fā)，分別對(duì)現(xiàn)有深度學(xué)習(xí)在人臉特征點(diǎn)定位、人臉識(shí)別上的算法進(jìn)行分析與總結(jié)，并提出基于DCNN模型的人臉特征點(diǎn)檢測(cè)，用多個(gè)深度卷積網(wǎng)絡(luò)分別提取全局、局部以及姿態(tài)恢復(fù)后的人臉圖像特征，能夠得到對(duì)姿態(tài)、部分遮擋等具有不變性的特征。對(duì)微調(diào)卷積神經(jīng)網(wǎng)絡(luò)（Tweaked Convolutional Neural Networks，TCNN）、級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Cascaded Convolutional Neural Networks，Cascaded CNN）、DCNN這3種算法的相對(duì)精度進(jìn)行了實(shí)驗(yàn)比較。比較結(jié)果表明，文獻(xiàn)[11]提出的檢測(cè)算法在精度上具有很大優(yōu)勢(shì)。通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得出能夠?qū)θ四樚卣鼽c(diǎn)進(jìn)行快速有效檢測(cè)的分類(lèi)器。本文參考文獻(xiàn)[12]的訓(xùn)練算法進(jìn)行了改進(jìn)，并進(jìn)行CNN網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練的面部特征點(diǎn)有5個(gè)，包括2個(gè)眼角、1個(gè)鼻子、2個(gè)嘴角。選擇檢測(cè)特征點(diǎn)為眼角而非眼珠，是因?yàn)檠劢瞧D(zhuǎn)的角度與頭部轉(zhuǎn)向角度保持一致，減小了面部朝向計(jì)算的誤差。該算法總共包含三層CNN網(wǎng)絡(luò)，第一層包含3個(gè)CNN網(wǎng)絡(luò)，第二層和第三層都擁有10個(gè)CNN網(wǎng)絡(luò)，利用三層結(jié)構(gòu)，實(shí)現(xiàn)了人臉特征點(diǎn)由粗到精定位的過(guò)程。第一層的3個(gè)CNN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)3個(gè)不同的輸入，第一個(gè)CNN網(wǎng)絡(luò)的輸入為一整張人臉圖片，第二個(gè)CNN網(wǎng)絡(luò)結(jié)構(gòu)的輸入圖片僅包含了眼睛和鼻子部分，第三個(gè)CNN網(wǎng)絡(luò)結(jié)構(gòu)的輸入只包含了鼻子和嘴巴區(qū)域。然后訓(xùn)練完成后將分類(lèi)結(jié)果取平均得到特征點(diǎn)粗定位。得到粗定位后，將包含5個(gè)特征的更小的范圍輸入到第二層10個(gè)CNN中，每個(gè)特征的兩次訓(xùn)練結(jié)果取平均。第三層利用第二層的輸出結(jié)果進(jìn)一步訓(xùn)練，用以提高精度。算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

在圖1第一層DCNN F1結(jié)構(gòu)設(shè)計(jì)過(guò)程中，原文網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)結(jié)構(gòu)將最后一層卷積展開(kāi)以后，直接進(jìn)行全連接操作。由于最后一個(gè)卷積層的特征是高度融合圖像后的特征，包含信息很多，多次激活函數(shù)的作用使得細(xì)節(jié)特征丟失嚴(yán)重。因此參考文獻(xiàn)[12]提到的方法對(duì)最后一層網(wǎng)絡(luò)進(jìn)行改進(jìn)，即將最后兩層網(wǎng)絡(luò)進(jìn)行特征融合，得到一個(gè)新的特征層，以這層為基礎(chǔ)再進(jìn)行全連接操作（線(xiàn)性變換）。進(jìn)行這樣的融合以后，全鏈接層的參數(shù)增長(zhǎng)很多，在這個(gè)既包含細(xì)節(jié)又包含全局特征的基礎(chǔ)上進(jìn)行回歸操作，效果有一定提升，第一層的訓(xùn)練精度更加準(zhǔn)確。改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。原網(wǎng)絡(luò)的激活函數(shù)為雙曲正切函數(shù)，改進(jìn)網(wǎng)絡(luò)的采用ReLU激活函數(shù)，很好地解決了飽和問(wèn)題，并且ReLU函數(shù)計(jì)算效率高且誤差收斂速度快。

本文使用的DCNN總共包含10個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，即1個(gè)輸入層、4個(gè)卷積層、3個(gè)池化層、2個(gè)全連接層。網(wǎng)絡(luò)中所有卷積層的大小都為3×3，采用3×3大小的卷積[13]是能夠捕獲上下左右和中心概念的最小尺寸。此外兩個(gè)卷積層n×n的堆疊具有(2n-1)×(2n-1)的有效接收域[14]，即兩個(gè)3×3卷積層串聯(lián)能夠擁有5×5大小的感受野，可以替代更大的卷積尺寸并保持較小卷積的優(yōu)點(diǎn)，

圖1 CNN結(jié)構(gòu)

圖2 第一層CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖3 改進(jìn)的第一層CNN網(wǎng)絡(luò)結(jié)構(gòu)

從而能夠有效減少參數(shù)個(gè)數(shù)且擁有更多的非線(xiàn)性變換，使得提取的特征比單個(gè)更具區(qū)分性。由于卷積操作會(huì)損失圖像邊緣，為了保證卷積后的圖像大小與原圖一致，設(shè)置相應(yīng)的步長(zhǎng)為1，使得像素逐個(gè)滑動(dòng)，并將邊緣擴(kuò)充設(shè)置為1，即寬度和高度都擴(kuò)充了兩個(gè)像素。卷積運(yùn)算表示為：

其中，xi和yj分別是第i個(gè)輸入圖和第j個(gè)輸出圖，kij表示第i個(gè)輸入圖和第j個(gè)輸出圖之間的卷積核，bj是第j個(gè)輸出圖的偏差，*表示卷積。在池化層中，采用最大池化的方式，即使鄰域內(nèi)特征點(diǎn)取最大，因?yàn)樵摲绞侥芨玫靥崛〖y理。DCNN在全局神經(jīng)網(wǎng)絡(luò)中使用兩個(gè)全連接層，雖然這樣增加了模型的參數(shù)，但是使得模型表達(dá)能力和非線(xiàn)性表達(dá)能力更強(qiáng)，卷積神經(jīng)網(wǎng)絡(luò)更加有效與魯棒。

其中卷積層和池化層都可視化[15]，圖像經(jīng)過(guò)卷積以后，圖片很好地去除了無(wú)用信息，留下了回歸所需要的人臉邊緣信息。如圖4顯示的是一張被頭發(fā)遮擋的圖像經(jīng)過(guò)第一層卷積的結(jié)果。圖5顯示了第一個(gè)網(wǎng)絡(luò)前三層特征圖經(jīng)過(guò)卷積以后出現(xiàn)的變化。可以看出，經(jīng)過(guò)多層卷積以后，特征圖變多，特征變復(fù)雜，但是已經(jīng)脫離了人臉原來(lái)的基本輪廓，人眼已經(jīng)無(wú)法理解其特征的具體含義。圖像經(jīng)過(guò)卷積處理，得到特征圖進(jìn)行池化處理，如圖6所示，特征圖經(jīng)過(guò)池化操作以后，盡管特征圖的多樣性使大致輪廓得到保留，但是細(xì)節(jié)信息丟失嚴(yán)重。正是這個(gè)原因，在實(shí)現(xiàn)代碼的時(shí)候，使用了融合前幾層特征與最后一層特征的方法，以提高回歸出的特征點(diǎn)的精度。

圖4 圖像經(jīng)過(guò)第一層卷積的結(jié)果

圖5 網(wǎng)絡(luò)1前三層卷積特征圖

圖6 特征圖經(jīng)過(guò)Pooling后的結(jié)果

2.2 基于DCNN檢測(cè)面部特征點(diǎn)

2.2.1 訓(xùn)練方法

本文總共需要訓(xùn)練3個(gè)網(wǎng)絡(luò)，第一級(jí)的網(wǎng)絡(luò)輸入進(jìn)行了數(shù)據(jù)增強(qiáng)（data argument）[16]，輸入的圖片進(jìn)行了對(duì)稱(chēng)（reflect）和旋轉(zhuǎn)（rotation）變換，旋轉(zhuǎn)方向?yàn)椤?°。第一層的3個(gè)網(wǎng)絡(luò)分開(kāi)訓(xùn)練，每個(gè)迭代1 000 000次，權(quán)重W的學(xué)習(xí)率為0.01，常數(shù)向量b的學(xué)習(xí)率為0.02，學(xué)習(xí)率的更新策略為Inverse Decay，即每次反向傳播以后使用式（2）更新每次的學(xué)習(xí)率：

這里，learning是學(xué)習(xí)率，base lr=0.01，γ=0.000 1，power=0.75,iter指迭代次數(shù)。學(xué)習(xí)率每次反向傳播以后都在遞減，如圖7所示。W權(quán)重和常數(shù)b更新的方法使用Momentum Stochastic Gradient Descent[17]。這個(gè)方法收斂波動(dòng)小，速度快。其中前一次的Momentum衰減率為0.9。

圖7 訓(xùn)練中的學(xué)習(xí)率反向傳播

第二級(jí)和第三級(jí)網(wǎng)絡(luò)中的每個(gè)網(wǎng)絡(luò)單獨(dú)訓(xùn)練，迭代次數(shù)為100 000次，二、三層網(wǎng)絡(luò)的迭代次數(shù)不宜過(guò)大，因?yàn)橹皇俏⒄{(diào)網(wǎng)絡(luò)，并且網(wǎng)絡(luò)較淺。二、三級(jí)的網(wǎng)絡(luò)輸入進(jìn)行了數(shù)據(jù)增強(qiáng)，輸入的圖片進(jìn)行了對(duì)稱(chēng)變換，不進(jìn)行旋轉(zhuǎn)變換。將ground truth的patch圖像中的人臉特征點(diǎn)所在位置的label進(jìn)行均值為0的高斯擾動(dòng)，使其偏離原來(lái)位置，將擾動(dòng)過(guò)的label和patch一起作為第二、三層的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。其中權(quán)重W的學(xué)習(xí)率為0.01，常數(shù)向量b的學(xué)習(xí)率為0.02，學(xué)習(xí)率的更新策略為Inverse Decay，對(duì)應(yīng)的base lr=0.01,γ=0.0001,power=0.75。權(quán)重W和常數(shù)b更新的方法仍然使用Momentum Stochastic Gradient Descent。

2.2.2 訓(xùn)練模型

選擇標(biāo)準(zhǔn)人臉庫(kù)進(jìn)行實(shí)驗(yàn)，得到人臉圖像之后，根據(jù)輸入的坐標(biāo)數(shù)據(jù)和人臉檢測(cè)得出的數(shù)據(jù)，分析出人臉的具體位置，并定位出特征點(diǎn)的具體位置，輸入特征點(diǎn)像素?cái)?shù)據(jù)進(jìn)行訓(xùn)練。為了得到最優(yōu)的訓(xùn)練模型，本文對(duì)人臉庫(kù)中的人臉圖像進(jìn)行了自動(dòng)分析，分析結(jié)果主要包括四類(lèi)圖像：第一類(lèi)是在無(wú)約束條件下捕獲的面部經(jīng)常被遮擋、找不到特征點(diǎn)的圖像，例如眼睛可能被頭發(fā)、太陽(yáng)鏡或帶有黑色框架的近視眼鏡遮擋。第二類(lèi)是局部面部特征的外觀在不同的拍照姿勢(shì)（例如正面、正面、上下）之間差別很大，并且一些五官（例如面部輪廓的一側(cè)）甚至可以完全被側(cè)臉的另一邊擋住，人臉大幅度旋轉(zhuǎn)（大于45°）造成特征點(diǎn)丟失的圖像。第三類(lèi)是由于光照（光譜、光源分布和強(qiáng)度不同）的多樣性可能會(huì)明顯改變整個(gè)臉部的外觀，并使某些五官的詳細(xì)紋理丟失，使人臉呈現(xiàn)陰影部分，導(dǎo)致特征點(diǎn)無(wú)法準(zhǔn)確判別的圖像。圖8顯示的是前三類(lèi)圖像。第四類(lèi)是特征點(diǎn)相對(duì)清晰可判別的圖像。本文對(duì)第四類(lèi)圖像進(jìn)行訓(xùn)練。

圖8 人臉圖像初步分類(lèi)

為了使訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)模型達(dá)到最優(yōu)，本文分別選取了不同數(shù)量的樣本進(jìn)行訓(xùn)練，接著對(duì)訓(xùn)練好的模型進(jìn)行檢測(cè)，并且對(duì)檢測(cè)結(jié)果進(jìn)行了平均誤差分析，對(duì)不同的樣本數(shù)量檢測(cè)的平均誤差結(jié)果進(jìn)行了對(duì)比，其中第二級(jí)訓(xùn)練對(duì)比結(jié)果如圖9所示。根據(jù)對(duì)比結(jié)果，樣本數(shù)量為8 000的模型檢測(cè)效果最佳，平均誤差最小。因此本文選取的訓(xùn)練樣本數(shù)目是8 000，檢測(cè)樣本數(shù)目是2 500。

圖9 不同訓(xùn)練樣本的平均誤差檢測(cè)結(jié)果

2.2.3 分析檢測(cè)結(jié)果

訓(xùn)練完成后，為了檢測(cè)模型的訓(xùn)練精度，求出了訓(xùn)練完成后各個(gè)層的模型在test數(shù)據(jù)集上精度的直方圖。如圖10所示的第三層的誤差分布，其中橫坐標(biāo)是預(yù)測(cè)值（prediction）里距離真實(shí)值（ground-truth）歸一化之后的值。縱坐標(biāo)為圖片數(shù)量，即誤差在某個(gè)范圍內(nèi)圖片的數(shù)量。橫坐標(biāo)取值范圍應(yīng)該在0～0.05之間，預(yù)測(cè)值大于0.05，表明預(yù)測(cè)的特征點(diǎn)在圖像之外，為無(wú)效預(yù)測(cè)。圖片以0.05為界限（紅線(xiàn)），誤差大于0.05為無(wú)效預(yù)測(cè)。

圖10 Level3的誤差分布

從圖10可以看出，隨著神經(jīng)網(wǎng)絡(luò)平均去方差和微調(diào)（Finetune）的操作，精度明顯提高，誤差分布也越來(lái)越向0集中。圖11則顯示了三層網(wǎng)絡(luò)預(yù)測(cè)同一個(gè)人臉特征點(diǎn)的結(jié)果，基本可以準(zhǔn)確預(yù)測(cè)人臉的5個(gè)特征點(diǎn)。并且訓(xùn)練的CNN模型已經(jīng)學(xué)出了人臉的五官結(jié)構(gòu)。圖12顯示的是人臉五點(diǎn)密度分布，訓(xùn)練的CNN不但在無(wú)幾何約束的情況下學(xué)習(xí)出了人臉的五點(diǎn)結(jié)構(gòu)，而且這五點(diǎn)的密度分布也比較集中在一個(gè)相對(duì)小的區(qū)域，這個(gè)高度集中區(qū)域就是誤差比較小的區(qū)域。因此盡管圖片的某些特征點(diǎn)可能被遮擋，但是該網(wǎng)絡(luò)結(jié)構(gòu)在缺失局部圖像數(shù)據(jù)的情況下，仍然能給出遮擋特征點(diǎn)的正確位置，如圖13所示。當(dāng)圖像角度發(fā)生不同方向變化時(shí)仍然能準(zhǔn)確地檢測(cè)出圖像的特征點(diǎn)，如圖14所示。從預(yù)測(cè)結(jié)果來(lái)看，本文對(duì)于各種不同情景，如不同膚色、有無(wú)眼鏡、不同光照等均適用。

圖11 三層網(wǎng)絡(luò)預(yù)測(cè)同一個(gè)人特征點(diǎn)的結(jié)果

圖12 test結(jié)果密度圖

圖13 遮擋點(diǎn)預(yù)測(cè)

圖14 不同角度預(yù)測(cè)

檢測(cè)結(jié)果如表1所示，可以看出本文算法具有更高的準(zhǔn)確率，用第三層網(wǎng)絡(luò)訓(xùn)練的模型檢測(cè)特征點(diǎn)誤差率最低，鼻子的檢測(cè)準(zhǔn)確率最高是98.07%，5個(gè)特征點(diǎn)的平均檢測(cè)率是97.96%。將同一數(shù)據(jù)用TCNN[18]和Cascaded CNN[19]算法分別做了檢測(cè)，并且將實(shí)驗(yàn)結(jié)果與本文的DCNN算法檢測(cè)結(jié)果進(jìn)行比較。特征點(diǎn)平均檢測(cè)率對(duì)比結(jié)果如表2所示。由表2可以看出，本文算法的識(shí)別率均優(yōu)于其他兩種方法。

表1 人臉特征點(diǎn)檢測(cè)準(zhǔn)確率

表2 不同方法實(shí)驗(yàn)結(jié)果對(duì)比

3 面部朝向計(jì)算實(shí)驗(yàn)與分析

首先驗(yàn)證算法可行性。測(cè)試圖片為筆記本拍攝，距離面部1 m，利用棋盤(pán)格標(biāo)定法獲取內(nèi)參矩陣，同時(shí)在被拍攝位置利用激光筆將頭部繞y左右方向轉(zhuǎn)動(dòng)0°～30°，以每5°為轉(zhuǎn)動(dòng)刻度的視線(xiàn)方向做出標(biāo)記，并拍攝記錄照片。然后利用之前訓(xùn)練好的模型進(jìn)行臉部特征點(diǎn)檢測(cè)。再根據(jù)檢測(cè)之后輸出的特征點(diǎn)坐標(biāo)，計(jì)算雙眼角與嘴角所成平面與正視時(shí)此平面的單應(yīng)性矩陣[20]。最后利用等效算法結(jié)合特征點(diǎn)約束求解駕駛員面部轉(zhuǎn)角。具體的算法流程如圖15所示。計(jì)算過(guò)程是根據(jù)兩個(gè)相機(jī)對(duì)同一場(chǎng)景拍攝的圖片，可由單應(yīng)性關(guān)系確定相機(jī)間的相對(duì)位置關(guān)系，可以標(biāo)定攝像機(jī)得到內(nèi)參矩陣K[21]：

圖15 算法流程圖

相機(jī)從兩個(gè)不同視角拍攝該平面得到的圖像分別為I1和I2,X在圖像上對(duì)應(yīng)的投影點(diǎn)分別為U1=[u1v11]T和U2=[u2v21]T，則圖像對(duì)(I1,I2)單應(yīng)性矩陣[22]A可以表示為：

設(shè)

因采用齊次坐標(biāo)的表示形式，故可令a33=1，待求矩陣有8個(gè)未知量，則可由眼角和嘴角4個(gè)點(diǎn)得出以下關(guān)系式：

由式（5）求解該線(xiàn)性方程組即可得到單應(yīng)性矩陣A，且令A(yù)=[h1h2h3]。再對(duì)單應(yīng)性矩陣進(jìn)行分解，利用之前求出的內(nèi)參矩陣的逆矩陣K-1得到3×3的旋轉(zhuǎn)矩陣R[23]：

確定分解結(jié)果后，設(shè)用歐拉角[24]表示的旋轉(zhuǎn)矩陣Q=RzRyRx，則Q=R，并利用歐拉角公式可解得相機(jī)旋轉(zhuǎn)角度，見(jiàn)式（8）。頭部轉(zhuǎn)動(dòng)角度與相機(jī)旋轉(zhuǎn)角度相反。

式中，θx表示繞x軸旋轉(zhuǎn)的角度，Rnm表示R矩陣中第n行第m列的數(shù)。

利用式（8）進(jìn)行實(shí)驗(yàn)。其中繞y軸旋轉(zhuǎn)的部分角度計(jì)算誤差結(jié)果如表3所示。誤差曲線(xiàn)如圖16所示，真值與計(jì)算值幾乎平行，而計(jì)算值基本趨向誤差值，是一個(gè)小范圍值，說(shuō)明計(jì)算誤差很小。

表3 測(cè)試圖片計(jì)算結(jié)果

圖16 真值、計(jì)算值與誤差對(duì)比曲線(xiàn)

通過(guò)測(cè)試數(shù)據(jù)可以得到，實(shí)驗(yàn)以y軸為轉(zhuǎn)向進(jìn)行旋轉(zhuǎn)，誤差最低是0.11°，誤差最大是4.9°，誤差控制在1°～5°之間，證明本文算法可以有效判別面部轉(zhuǎn)向。下一步打算采用實(shí)車(chē)實(shí)驗(yàn)來(lái)驗(yàn)證算法精度。

4 結(jié)束語(yǔ)

本文利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)駕駛員面部特征點(diǎn)進(jìn)行檢測(cè)，精確地提取了全局高級(jí)特征，直接預(yù)測(cè)面部5個(gè)特征點(diǎn)的坐標(biāo)。實(shí)驗(yàn)結(jié)果表明，所提方法實(shí)現(xiàn)了非常高的精度，并且具有比其他方法更好的性能。此外，本文方法對(duì)姿態(tài)、光照、表情和嚴(yán)重遮擋（這在非受控場(chǎng)景中是常見(jiàn)的）具有魯棒性。并且計(jì)算雙眼角與嘴角所成平面的單應(yīng)性矩陣，結(jié)合單應(yīng)性矩陣分解提出了一種計(jì)算駕駛員面部轉(zhuǎn)向的算法，角度判斷的誤差在1°～5°，實(shí)驗(yàn)結(jié)果表明算法具有可靠的精度。后續(xù)工作計(jì)劃將算法應(yīng)用到駕駛員注意力實(shí)時(shí)檢測(cè)[25]中，以驗(yàn)證算法在車(chē)輛行駛過(guò)程中的穩(wěn)定性。